【直击Web科技最前线：字节跳动AI实验室负责人马维英】AI盛行降低了专业门槛，让网络数位内容创作走向民主化

开发出今日头条、抖音（Tik Tok）等热门手机App的中国企业字节跳动（ByteDance），如何透过AI来改变网络数位内容的产制与传播？字节跳动副总裁兼AI实验室负责人马维英表示，AI能降低内容创作的门槛，让内容产业不再由技术、财富持有者来主导，而是赋予每个人都有产出高品质内容的机会，随着AR/VR技术成熟，让虚实内容的界线不再壁垒分明，再加上AI、5G技术崛起，人们能更容易接触、运用网络，马维英将这些转变称为“内容创作的民主化”。

马维英说，在自己的学生时期，约1990年代初期，当时知识的传递大多靠纸本书籍，由人群中占少数的作家担任知识传递的角色，直到PC、网络技术进入家家户户，透过搜索引擎的技术，人民才开始能透过网站更容易的搜寻资讯，不过，当时大部分的网络内容，还是由职业性组织所提供（Occupationally Generated Contents）。

进入了智能手机的时代后，社交通讯App兴起，人们转为以手机界面作为浏览、传播资讯的平台，尽管内容生产者还是专业人士居多，但已经逐渐走向一般个人。直到现在，随着AI、5G、IoT技术的到来，相较于过去20年，不仅知识的传播与搜寻更便利，所有科技工具也不再难以接触，让个人也能更容易生成并传播内容，“AI能够降低专业内容创作的门槛。”

马维英举例，文章推荐引擎App今日头条，就是AI促使内容搜寻技术转变的例子。今日头条透过资料探勘与个人化推荐机制，除了根据用户浏览行为来推荐文章，用户检索关键字时，也运用个性化排序技术来提供内容，也就是说，“你使用的频率越高，App就会更加个人化、智能化。”他更表示，随着不断更新深度学习模型，搜索引擎检索功能也不断改良，人们获得资讯的方式与过去有很大的差异。

而全球用户月活跃用户超过5亿人的抖音，更是靠AI降低内容创作的门槛，一跃成为全球年轻社群最爱用的短影片创作平台之一。透过在手机端即时执行AI任务，用户能制造各类特效，进而创作短影片来分享生活，除了作为一般娱乐用途，也能利用短片来广告，或传播具有教育性、新闻性、商业类型的内容。

抖音如何用AI辅助内容创作？

马维英介绍了各类短影片的AI应用。比如在影像辨识方面，抖音提供人脸、身形、身体关节点、手势辨识等技术，让用户透过与手机互动，即时触发特效来创作，实际的功能，包括运用3D姿势辨识技术，让用户摆动身体的同时创建动态虚拟人物，或透过手势辨识技术，来与背景环境互动，甚至结合生成对抗网络（GAN）技术，来生成用户脸部年轻、老化、不同性别的状态，而商业化的运用，还能结合脚部姿势追踪技术，模拟用户试穿鞋子的过程。

在扩增实境（AR）方面，抖音目前能做到在用户拍摄地标的过程中，辨识地标影像并加入动画特效。马维英说明，这项技术的开发，需要先搜集各大地标不同角度的照片，建构出3D虚拟模型，再让用户下载到手机中。当用户手机定位到位于特定地标附近，并透过拍摄画面确定所在方位后，就能即时根据画面加上AR特效，比如上海的东方明珠，就能加入类似飞碟环绕的特效。

而在语音辨识方面，抖音除了应用语音理解技术，来标签各种音乐类型，进而向用户进行个人化音乐推荐，也开发语音转文字（ASR）、文字转语音（TTS）等技术，自动生成影片字幕、辨识歌词，用户也能用来编辑影片字幕、或制作有声书。此外，抖音也开发了节奏追踪技术，根据音乐节奏来自动编辑影片，让影片转折处符合节奏的变化，甚至开发出音乐创作的功能，根据用户选择的节奏与和弦，透过作曲算法自动生成背景音乐，再由用户加入歌声，来录制出一首完整的创作歌曲。

除了各种辅助内容创作的AI技术，所有内容影片的分类与标签，也会用AI来做大规模的影片理解。比如透过物件分类、侦测、追踪，以及语义分割、表情分析等技术，来自动抓出一只彩妆广告的代言者身份、年纪、性别、表情、口红品牌、色号、彩妆颜色等资讯，定义出如消费品、高档化妆品、高档彩妆等关键词来进行分类。

同时，针对抖音中假影片的问题，研究团队开发对抗式ML技术来侦测；面对影片盗用造成侵权的问题，研究团队则透过多种技术侦测相似的内容来一一比对，马维英表示：“这个问题非常有挑战性，因为影片内容不一定会完全重复，使用者会聪明地加工来躲避审查。”但他强调，这些问题很重要，他们也致力寻找解决方法，“要找到科技应用与滥用间的平衡，做对的事情。”

不单用一种AI模型，字节跳动也会混合多个模型。比如结合ASR、NLU、个性化TTS等技术，开发出能根据影片谈话内容即时口译成其他语言的技术，还能模仿口译声音与原影片相似。又或者AI小记者的技术，则是透过结合影像理解与文字生成技术，根据影片自动以文字描述关键情节，比如辨识一只足球赛影片的球员与其行为，纪录下哪个球员在何时进球得分，自动生成文字描述来完成一篇报导。

马维英认为，AI时代的新机会，是运用AI来赋予人们创造内容的能力，且要进一步让AI能够创作内容与理解内容，辅助人类来读写。