Google前阵子释出AI相机Clips,最近则在AI研究部落格公开用Google Clips自动捕捉重要瞬间和短片的实验方法,找来摄影专家手动为训练资料集的影片片段评分,让AI模型学习如何辨识出有趣的拍摄场景。
Google研究团队过去一直在研究如何用深度学习方法,让电脑视觉算法辨识拍摄照片的元素,像是人、微笑、宠物、日落、知名的景点等,Google Clips的设计围绕着3个重要的原则。
首先,所有的计算都必须在行动装置上完成,这样一来,除了可以延长相机电池的寿命之外,还能够减少延迟性,在行动装置上执行计算也意味着,所有的拍摄片段都只会存在装置上,并不会外流,同时可以保护用户隐私,用户能够自行选择是否要储存和分享。
第二个原则是团队希望相机可以拍摄短片,而不是只有单张的照片,因为动作更能够保留当时的回忆,且拍摄短片比起照片,更容易捕捉到重要的时刻。
最后一个原则是要聚焦于捕捉人和宠物的镜头,而不是一些抽象场景的艺术照片,也就是说,Google的研究团队不会尝试着教导Clips如何调整构图、色彩平衡、光线等,而是让Clips自动聚焦于包含人和宠物有趣互动的场景。
而Google研究团队是如何训练Clips捕捉重要的拍摄时刻和场景?如同许多机器学习的训练过程,要先从训练资料集开始,首先Google研究团队建立了包含数千个影片的资料集,且该资料有多种不同的场景、性别、年龄和种族,接着,研究团队找来专业的摄影师和影片的剪辑专家,手动挑选出短片中最好的片段,这些挑选过的片段能够让算法模拟。
不过,要训练算法学习主观的判断是非常有挑战性的,需要有合适的量化指标让算法了解内容的品质,像是从完美到最糟的。为了解决这个问题,研究团队收集了第二个资料集,为了要为整段影片创造出连续的品质分数,团队将影片分成多个片段,随机挑选两个片段,让摄影专家选出较好的片段。
研究团队不让专家直接对影片评分,而是透过成对的对比方法,因为二选一的方式,比直接给予一个品质评分,更为直观、简单,专家用成对对比方式的挑选结果也较为一致,能够让研究团队计算影片品质分数,Google从超过1,000支影片中,收集了超过5千万对的片段,来让人类专家评分。
完成资料集后,就进入训练模型的阶段,要训练神经网络模型评估相机拍摄每张照片的品质,首先先假设系统了解场景内的主角,像是人、狗、树等,如果假设正确,就能利用辨识照片内容来预测品质分数。
为了能够辨识训练资料集中照片的物体,研究团队利用Google相片和图片搜寻服务背后的机器学习技术,该技术可辨识超过27,000种不同的物体、概念和动作的标签,由专家挑选出大约数百种需要的标签,来设计辨识模型。
为了让辨识模型可以在装置上预测任何照片的品质,Google研究团队训练了电脑视觉模型 MobileNet相片内容模型(Image Content Model),来模仿以服务器预测的模型,该压缩的模型可以从照片中辨识出最多有趣的元素,将不相关的内容排除。
最后一个步骤即是从输入照片的内容,预测品质分数,除了用训练资料集来确保预测的准确度之外,研究团队还为已知的有趣场景调整品质分数的权重,像是重复出现的脸部、微笑和宠物、拥抱、亲吻和跳舞等。
有了预测有趣场景的模型后,相机就能根据预测结果,即时决定要捕捉哪些画面,大多数的机器学习模式都是用来辨认照片中的物体,但是,Google Clips要辨认的目标更为模糊且主观,因此需要结合客观和意义的内容,来让专家建立主观的AI预测模型,此外,Clips的运作模式并非全自动,而是需要与人类一同合作,为了拍摄到更好的结果,需要由人确保相机镜头聚焦于有趣的场景。
相关文章
- YouTube更新违反规定政策,提升惩处透明度和一致性
2023-12-31 14:00:52
- 传苹果将把中国iCloud正式交给本地化经营 苹果手机icloud换区存储操作
2023-12-27 18:34:43
- 刘德华代言什么手机?刘德华成华为Mate 60 RS非凡大师华为5G新手机代言人
2023-09-26 21:55:08
- WebOS新系统:Palm Pre手机最新款高价登港
2023-06-23 15:39:14
- 帮助企业组织对抗勒索软件,资安通报机构设立防护专区,可协助事前、事中与事后因应
2023-06-22 09:36:10
- 蔚来全系产品降价3万 取消免费换电 换一次电池180元
2023-06-12 17:27:49
- 电商平台三巨头开打最大规模折扣 价格战再次打响
2023-03-05 18:58:40
- 爱立信节省成本裁员四千人 爱立信全球员工总数五分之一
2023-02-24 22:27:29
- 蜜芽关停近况,八位数重金买三字顶级新域名mia.com也关闭
2023-02-23 16:18:14
- 联想CEO杨元庆:联想集团需要裁员32%削减部分业务支出
2023-02-18 12:45:25
- 蓝色光标2022营收亏损18亿 客户预算减少明显
2023-02-18 12:40:08
- 三星工厂或将80%生产转至越南 因本地劳动力成本上升
2023-02-17 23:09:16
- 香港八达通卡如何激活?没用失效过期余额怎么办
2023-02-17 18:34:51
- 中兴通讯被曝将裁员20% 称只裁国外的
2023-02-17 18:33:26
- 苹果新iPhone15Pro手机终于改用USB-C(火牛)数据线??Lightning充电接口退出
2023-02-17 16:57:22
- 突发!蓝色光标曾为中国民企500强龙头 如今业绩亏损断崖下跌
2023-02-16 14:31:19
- 三星发布自家carplay车载中控系统 Car Mode for Galaxy 可以连接carplay吗?
2023-02-14 00:53:17
- Opera浏览器宣布集成ChatGPT 一键生成网页内容摘要
2023-02-14 00:32:08
- 谷歌google计划重返进入中国市场?但结果可能令你失望
2023-02-13 16:57:15
- Zoom紧急裁员1300人 佔员工总数15%
2023-02-08 14:59:11
最新资讯
- YouTube更新违反规定政策,提升惩处透明度和一致性2023-12-31 14:00:52
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万92023-12-28 19:41:57
- 吉利飙逾6% 电动车品牌极氪新车款极氪007昨上市 预售价格22.99万元2023-12-28 19:30:28
- 日本丰田汽车厂11月全球产量创新高2023-12-28 19:26:02
手机
- 中国11月手机出货量增34% 5G手机出货量2709.2万部2023-12-28 19:27:57
- 荣耀发布新一代旗舰荣耀Magic5系列,新款上市价格分期0首付3999元起2023-03-06 16:12:32
- 美国商务部指违禁,长江存储被美国拜登制裁名单面临停工裁员2023-02-17 18:41:53
- 苹果Apple iOS车载系统CarPlay支持哪些更多汽车品牌2023-02-02 17:33:27
- 香港去哪买三星手机回来吗? 买香港便宜售价手机市场地点和网站2023-02-02 11:03:11
数码
- 华为5G芯片正式亮相:预示华为将发首款5G手机2023-08-31 13:22:33
- 腾讯传计划放弃虚拟现实VR硬件计划2023-02-17 23:32:30
- 三星手机份额大跌!三星手机中国市场份额变化国内仅剩3%2023-02-01 17:06:15
- 三星手机份额大跌在中国没市场了!国内市场占有率仅剩1%国外比苹果销量高2023-02-01 16:59:53
- vivo发布2022 vivoNEX手机极简易浏览器下载:简洁流畅无广告!2022-12-02 17:29:30
科技
- 中兴受美国制裁事件 被罚了20亿美元过程事件始末 中兴被制裁后公司现状2023-11-02 22:12:46
- B站怎么炸崩了哔哩哔哩服务器今日怎么又炸挂了?技术团队公开早先原因2023-03-06 19:05:55
- 苹果iPhoneXS/XR手机电池容量续航最强?答案揭晓2023-02-19 15:09:54
- 华为荣耀两款机型起内讧:荣耀Play官方价格同价同配该如何选?2023-02-17 23:21:27
- google谷歌原生系统Pixel3 XL/4/5/6 pro手机价格:刘海屏设计顶配版曾卖6900元2023-02-17 18:58:09