AI算法:这个AI 演算法可以让照片里的人跳出来,打破次元壁
2018-12-31 15:12
打破次元壁!这个AI 演算法可以让照片里的人跳出来。
《哈利波特》世界里有一种神奇的魔法报纸,报中照片上的人物可以动起来,看起来有点像GIF 图。在故事里这当然是「魔法」的功劳,现实世界中还没有造出这样的报纸。不过,华盛顿大学的几个科学家不死心,他们想用AI 演算法来让照片中的人动起来。
▲ 图片来源:Haven & Hearth
这种技术叫做Photo Wake-Up。先来看一下效果,他们在照片、海报和艺术画上都进行了实验。
首先向我们走来的是篮球运动员库里,看起来是刚进了球。
然后是钢铁人。哎,你从太空回来了?
打破次元壁!这个AI 演算法可以让照片里的人跳出来
是超级赛亚人孙悟空!只是原地跳了几下...... 我以为他要变身了
打破次元壁!这个AI 演算法可以让照片里的人跳出来
还有一位长相奇怪的女子,原来是毕卡索的《女孩与船》。
打破次元壁!这个AI 演算法可以让照片里的人跳出来
是不是很酷炫?这些人物就像是从画中走出来的一样,不仅从2D 变成了3D,还能做各种动作。
其实类似的尝试之前就有人做过,把照片里的2D 形象映射到3D 模型上,然后让它们动起来。不过结果嘛,像是行尸走肉。
打破次元壁!这个AI 演算法可以让照片里的人跳出来
因为2D 形像都是从某一个固定角度去看的,用3D 模型的标准去控制,会出现不匹配的情况。更不用说毕卡索画里的人,根本没有一个合适的模型来匹配。让2D 形象动起来还有一个难点,就是身体部位的重叠部分不好控制,走路的时候哪只手在前?哪只手在后?还要被身体挡住。这些复杂的问题不解决,根本无法做到栩栩如生。
打破次元壁!这个AI 演算法可以让照片里的人跳出来
团队给出的解决方案是AI 演算法。首先将2D 形象与3D 形变模型匹配,标记出身体各部位的位置。然后按照形变演算法,一步步构建网格。按照关键点位置控制网格,还原出皮肤资料,构建好贴图。最后,把贴图放回到原图中,用演算法填充背景,人物就可以随便跑了!
打破次元壁!这个AI 演算法可以让照片里的人跳出来
团队还特别提到,头部姿势的准确性对动起来的人十分重要,因为大部分人会将注意力放在人物的脸上。因此,他们的演算法还可以辨识形象的头部角度,还有注视方向。
打破次元壁!这个AI 演算法可以让照片里的人跳出来
为了让这个演算法可以实际应用,团队还提供一个调整的选项,允许使用者改动关键点的位置。
这项技术可以被用到AR、VR 中,配合相应设备来使用。想像一下,未来我们在博物馆中看的艺术画,可能是动起来的。
相关文章
- 鐜嬪仴鏋楄瀹跺嵃娓歌墖鏇濆厜 缃戝弸锛氳繖娆$湡鏄传绌烽檺鍒朵簡鎴戜滑鐨勬兂鍍忓姏
2018-04-16 16:32
- 涓夊搴﹀叏鐞冨彲绌挎埓璁惧鍑鸿揣閲忎笂娑94.6%锛岃嫻鏋滅ǔ鈥
2019-12-10 17:52
- Samsung鏂颁笓鍒╂洕鍏夊叏闈㈠睆娌℃湁鍒樻捣
2018-05-13 13:33
- 鍏ㄥ箙楂橀熻繛鎷岰anon1DX鍗曟満鍞28800鍏
2018-04-09 17:32
- 鍗庝负Mate X棰勮渚涜揣20涓囧彴宸﹀彸
2019-06-30 15:50
- 杞婚噺绾у叆闂ㄦ満锛欶ujifilmX-M1鏃犲弽鐧诲満
2018-01-03 12:00
- 闂厜鐏珶鏈夎繖涔堝鑺辨牱榄呰摑E2璇勬祴
2018-05-29 19:33
- 涓寰幆缁忔祹鐮旂┒闄㈠湪娌у窞鎴愮珛
2020-12-28 16:52
- 2018鏄ヨ妭绗竴鏂版満 榄呰摑E3鑳岄潰璁捐鎹夌溂
2019-02-19 05:37
- iPhone6Plus鎼滀笉鍒癢iFi 鎵嬫満搴楁病淇ソ 澶х鎬濊矾娓呮櫚涓鎷涙悶瀹
2018-05-02 14:31
- 闃块噷YunOS鍗冲皢鍒版潵 鐩墠宸叉湁鍥戒骇鎵嬫満鏀寔 鏈熷緟鍚楋紵
2018-04-29 20:31
- 闇稿睆浜嗭紒闂嵎缃戝叓鍛ㄥ勾鎰熸仼鍥為娲诲姩鐏儹杩涜涓紒
2021-07-22 19:46
- 360鎽勫儚鏈3C浜戝彴鐢垫睜鐗堝紑鍚鍞 鍒涙柊鈥滀笉鎻掔數鈥
2021-03-20 09:54
- 澶栧獟鎶ラ亾锛歀G姝g爺鍙戞柊娆剧炕鐩栧紡鍙姌鍙犳墜鏈
2018-07-06 05:31
- 鎵庡厠浼牸澶绾︿細缁欏瀛愯█浼犺韩鏁 鎵庡厠浼牸瀹堕娆℃洕鍏
2019-12-05 18:53
- 5799鍏冭捣 涓夋槦GalaxyS9/S9锛嬪媰鑹绾㈢増鍙戝竷 涓夊ぇ濂崇浠h█
2018-05-08 17:32
- 鍗板害閫爄Phone缁堜簬涓婂競 浣嗘灉绮変緷鏃у緢澶辨湜
2018-09-22 00:32
- 鏇寸敓琛岃柂閰珽TC锛氭櫤鑳借柂閰競鍦虹殑棰嗚窇鑰
2019-08-20 11:55
- 榄斿吔浜夐湼锛氬畧鍩庡叧鍗$殑璁惧畾鍗佸垎缁忓吀 閭d箞鎴樺焦涓渶缁忓吀鐨勬槸鍝叧锛焈甯屽皵鐡﹀鏂
2019-06-30 14:46
- 鑴戞礊椋樺嚭澶╅檯鐨勭鐮旈槦浼嶅紑鍙戝嚭3D鎵撳嵃姘磋川妫娴嬪櫒
2018-08-05 18:31