脸书靠AI辨识图片中的文字，每天可过滤10亿则

为了提升图片搜寻及加强过滤有害及其他不当资讯，脸书(Facebook)发展了图片中文字的辨识技术，并宣称现在每天已经可以过滤10亿则图片。

脸书与Instagram平台上的大量相片中有各种不同文字型式，有的是层叠在表情符号上、或有的是镶嵌在店家大门、招牌或餐厅菜单上。脸书和Instagram上的相片数量、文字型式及支援的语言种类之多，传统光学字元辨识（OCR）只能辨识字元但不理解图片的上下文。

为解决这个问题，脸书开发出了大规模机器学习系统Rosetta，它如今每天从超过10亿帧脸书和IG的公开图片和影片讯框中即时萃取出文字，输入已经训练可以同时理解文字和图片的文字辨识模型中。

Rosetta萃取图片中文字的过程包含二个步骤。先以Faster R-CNN侦测可能包含文字的矩形区块，再以经过连结时间序列分类损失(Connectionist Temporal Classification loss, CTC loss)训练过的完整卷积神经网络（Convolutional Neural Networks, CNN）来辨识及转录出该区块中的文字。他们是将文字辨识视为一种解决序列预测问题的过程，输入端是包含文字的图片，结果就是图像中字元排成序列，之后利用CTC loss来训练这个序列模型，结果就能辨识出任意长度的文字，以及训练中没有见过的文字。

现在这个模型不只能辨识英文，目前也支援阿拉伯及印度语，克服了文字由右到左或是堆叠字元的挑战。

现在脸书已经能有效每天辨识脸书和IG上超过10亿公开的图片，这些萃取出来的文字都被平台上的分类器用来即时纠出违反政策的仇恨、暴力内容、用于脸书的图片搜寻功能中，或改善动态消息中的个人化内容。

脸书表示，下一步要处理的挑战包含图片经过旋转、变型、模糊化、或其他扭曲方式使文字不易辨读、照片中文字和街景混杂、平台上愈来愈多的影片内容，以及现有英文及拉丁语系文字外的更多文字支援，Rosetta现有技术对这些内容仍力有未逮。