网络上充满各式内容的影片,对使用者来说,最好可以快速知道影片有不有趣,而对于微软Bing影片搜寻功能来说,问题则是如何提供影片概览,帮助使用者决定是否要花时间点击并观看影片。微软提到,提供影片摘要是非常困难的工作,不像人类可以直觉的指出影片的主场景,电脑难以内化这类内隐知识或遵照一个概括的规则辨识。
影片摘要分为动态摘要与静态摘要,动态摘要是将影片切割成数个小区间,选取或是组合一段固定时间长的重要片段,供使用者预览,微软表示,他们有资料指出,80%使用者注视缩图的时间少于10秒,也就是说,使用者并没有太多的耐心观看预览,最后微软采用了静态摘要方法。
微软Bing中提供的影片静态摘要,除了一个主要缩图代表影片外,在影片下方还会呈现4张缩图,让使用者一眼就可以看出影片大致内容。首先第一步,要为影片产生主缩图,而为了训练机器学习模型分辨好或坏的缩图,微软从影片中随机挑出30帧画面,并交给人类评委,以主观喜好评估这些画面,考量代表性、图像品质以及吸引力等属性,为画面打分数,分为3个等级可以为0、0.5或是1分。
除了使用人工制造的训练资料,微软也使用了大量来自这些图像的特征,来训练增强树回归模型(Boosted Trees Regression Model),这个模型使用这些资料推测影片上的其他画面,并且输出0到1之间的分数,来帮助后续选出最佳的影片缩图。微软提到,采用图像的特征非常广泛,包括对比度、模糊度、噪声等级等核心图像品质特征外,还有使用脸部侦测,以侦测图像脸部数量、脸部大小以及位置等特征。另外,也使用了动作侦测以及画面差异特征,视觉相似与位置相同的画面,会被集结成序列称为场景,场景和相对应画面也被当作训练的特征。
有了这些特征,微软使用深度神经网络,在图像品质标签上训练高维度图像向量,这些向量被用来捕捉画面布局的品质,而得分最高的推测画面,将被用来作为代表影片的主要缩图。
第二步则要产生4帧一组的缩图,微软提到,这4张缩图的重点在于全面性与代表性,而这反而相对于前一步来说,更具技术挑战,微软除了无法单纯使用最高分的4个画面来当缩图,因为这些画面可能都来自于相同场景,再来,他们也无法要求人工产生训练资料,因为很难要使用者从一千帧的影片中,选出最具代表性的4帧。
为了处理缩图的综合性,微软在目标函数引入相似因子,尝试最大化缩图集的图像品质总分,并且加入参数来调整相似度。微软提到,他们将问题转为贪婪最佳化的问题,以解决运算复杂性,由于他们无法列举所有4帧画面组合的可能性,也由于在计算主缩图,花费了许多心力,因此微软也决定将主缩图纳入4帧缩图组之一,有了第一张缩图作为起点,接下来选择3张缩图来最大化总分,而大幅简化了这项工作的复杂度。
微软提供两组缩图供人类评委判断最佳的组合,一组是从影片随机截取画面,另一组则由最佳化方法产生,人类需要选择较好的一组,而这个训练资料将被用来训练新的目标函数,以导出缩图集模型。
微软于Bing影片搜寻部署了这项更新,以4帧计算出来的缩图,减少使用者搜索图片的时间,并花更多的时间在观看影片上。
相关文章
- YouTube更新违反规定政策,提升惩处透明度和一致性
2023-12-31 14:00:52
- 传苹果将把中国iCloud正式交给本地化经营 苹果手机icloud换区存储操作
2023-12-27 18:34:43
- 刘德华代言什么手机?刘德华成华为Mate 60 RS非凡大师华为5G新手机代言人
2023-09-26 21:55:08
- WebOS新系统:Palm Pre手机最新款高价登港
2023-06-23 15:39:14
- 帮助企业组织对抗勒索软件,资安通报机构设立防护专区,可协助事前、事中与事后因应
2023-06-22 09:36:10
- 蔚来全系产品降价3万 取消免费换电 换一次电池180元
2023-06-12 17:27:49
- 电商平台三巨头开打最大规模折扣 价格战再次打响
2023-03-05 18:58:40
- 爱立信节省成本裁员四千人 爱立信全球员工总数五分之一
2023-02-24 22:27:29
- 蜜芽关停近况,八位数重金买三字顶级新域名mia.com也关闭
2023-02-23 16:18:14
- 联想CEO杨元庆:联想集团需要裁员32%削减部分业务支出
2023-02-18 12:45:25
- 蓝色光标2022营收亏损18亿 客户预算减少明显
2023-02-18 12:40:08
- 三星工厂或将80%生产转至越南 因本地劳动力成本上升
2023-02-17 23:09:16
- 香港八达通卡如何激活?没用失效过期余额怎么办
2023-02-17 18:34:51
- 中兴通讯被曝将裁员20% 称只裁国外的
2023-02-17 18:33:26
- 苹果新iPhone15Pro手机终于改用USB-C(火牛)数据线??Lightning充电接口退出
2023-02-17 16:57:22
- 突发!蓝色光标曾为中国民企500强龙头 如今业绩亏损断崖下跌
2023-02-16 14:31:19
- 三星发布自家carplay车载中控系统 Car Mode for Galaxy 可以连接carplay吗?
2023-02-14 00:53:17
- Opera浏览器宣布集成ChatGPT 一键生成网页内容摘要
2023-02-14 00:32:08
- 谷歌google计划重返进入中国市场?但结果可能令你失望
2023-02-13 16:57:15
- Zoom紧急裁员1300人 佔员工总数15%
2023-02-08 14:59:11
最新资讯
- YouTube更新违反规定政策,提升惩处透明度和一致性2023-12-31 14:00:52
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万92023-12-28 19:41:57
- 吉利飙逾6% 电动车品牌极氪新车款极氪007昨上市 预售价格22.99万元2023-12-28 19:30:28
- 日本丰田汽车厂11月全球产量创新高2023-12-28 19:26:02
手机
- 中国11月手机出货量增34% 5G手机出货量2709.2万部2023-12-28 19:27:57
- 荣耀发布新一代旗舰荣耀Magic5系列,新款上市价格分期0首付3999元起2023-03-06 16:12:32
- 美国商务部指违禁,长江存储被美国拜登制裁名单面临停工裁员2023-02-17 18:41:53
- 苹果Apple iOS车载系统CarPlay支持哪些更多汽车品牌2023-02-02 17:33:27
- 香港去哪买三星手机回来吗? 买香港便宜售价手机市场地点和网站2023-02-02 11:03:11
数码
- 华为5G芯片正式亮相:预示华为将发首款5G手机2023-08-31 13:22:33
- 腾讯传计划放弃虚拟现实VR硬件计划2023-02-17 23:32:30
- 三星手机份额大跌!三星手机中国市场份额变化国内仅剩3%2023-02-01 17:06:15
- 三星手机份额大跌在中国没市场了!国内市场占有率仅剩1%国外比苹果销量高2023-02-01 16:59:53
- vivo发布2022 vivoNEX手机极简易浏览器下载:简洁流畅无广告!2022-12-02 17:29:30
科技
- 中兴受美国制裁事件 被罚了20亿美元过程事件始末 中兴被制裁后公司现状2023-11-02 22:12:46
- B站怎么炸崩了哔哩哔哩服务器今日怎么又炸挂了?技术团队公开早先原因2023-03-06 19:05:55
- 苹果iPhoneXS/XR手机电池容量续航最强?答案揭晓2023-02-19 15:09:54
- 华为荣耀两款机型起内讧:荣耀Play官方价格同价同配该如何选?2023-02-17 23:21:27
- google谷歌原生系统Pixel3 XL/4/5/6 pro手机价格:刘海屏设计顶配版曾卖6900元2023-02-17 18:58:09