AI算法:这个AI 演算法可以让照片里的人跳出来,打破次元壁

2018-12-31 15:12

导读: 打破次元壁!这个AI 演算法可以让照片里的人跳出来。 《哈利波特》世界里有一种神奇的魔法报纸,报中照片上的人物可以动起来,看起来有点像GIF 图。在故事里这当然是「魔法」的功劳,现实世界中还没有造出这样的报纸。不过,华盛顿大学的几个科学家不死心,

打破次元壁!这个AI 演算法可以让照片里的人跳出来。

《哈利波特》世界里有一种神奇的魔法报纸,报中照片上的人物可以动起来,看起来有点像GIF 图。在故事里这当然是「魔法」的功劳,现实世界中还没有造出这样的报纸。不过,华盛顿大学的几个科学家不死心,他们想用AI 演算法来让照片中的人动起来。

▲ 图片来源:Haven & Hearth

 

这种技术叫做Photo Wake-Up。先来看一下效果,他们在照片、海报和艺术画上都进行了实验。

 

首先向我们走来的是篮球运动员库里,看起来是刚进了球。

 

 

然后是钢铁人。哎,你从太空回来了?

 

打破次元壁!这个AI 演算法可以让照片里的人跳出来

 

是超级赛亚人孙悟空!只是原地跳了几下...... 我以为他要变身了

 

打破次元壁!这个AI 演算法可以让照片里的人跳出来

 

还有一位长相奇怪的女子,原来是毕卡索的《女孩与船》。

 

打破次元壁!这个AI 演算法可以让照片里的人跳出来

 

是不是很酷炫?这些人物就像是从画中走出来的一样,不仅从2D 变成了3D,还能做各种动作。

 

其实类似的尝试之前就有人做过,把照片里的2D 形象映射到3D 模型上,然后让它们动起来。不过结果嘛,像是行尸走肉。

 

打破次元壁!这个AI 演算法可以让照片里的人跳出来

 

因为2D 形像都是从某一个固定角度去看的,用3D 模型的标准去控制,会出现不匹配的情况。更不用说毕卡索画里的人,根本没有一个合适的模型来匹配。让2D 形象动起来还有一个难点,就是身体部位的重叠部分不好控制,走路的时候哪只手在前?哪只手在后?还要被身体挡住。这些复杂的问题不解决,根本无法做到栩栩如生。

 

打破次元壁!这个AI 演算法可以让照片里的人跳出来

 

团队给出的解决方案是AI 演算法。首先将2D 形象与3D 形变模型匹配,标记出身体各部位的位置。然后按照形变演算法,一步步构建网格。按照关键点位置控制网格,还原出皮肤资料,构建好贴图。最后,把贴图放回到原图中,用演算法填充背景,人物就可以随便跑了!

 

打破次元壁!这个AI 演算法可以让照片里的人跳出来

 

团队还特别提到,头部姿势的准确性对动起来的人十分重要,因为大部分人会将注意力放在人物的脸上。因此,他们的演算法还可以辨识形象的头部角度,还有注视方向。

 

打破次元壁!这个AI 演算法可以让照片里的人跳出来

 

为了让这个演算法可以实际应用,团队还提供一个调整的选项,允许使用者改动关键点的位置。

 

这项技术可以被用到AR、VR 中,配合相应设备来使用。想像一下,未来我们在博物馆中看的艺术画,可能是动起来的。

相关文章

最新资讯

  • Twitter绂佹鐢ㄦ埛鍒嗕韩鏈彇寰椾粬浜哄悓鎰忕殑鐓х墖鍙婂奖鐗
    2021-12-01 12:48
  • 鎹紶涓浗楠囧鎵撶畻鏀堕泦宸插姞瀵嗙殑楂樹环鍊艰祫鏂欙紝寰呴噺瀛愮數鑴戝彇寰楅噸澶х獊鐮村悗绔嬪嵆瑙e瘑
    2021-12-01 12:48
  • 鍙颁紒閾舵彮闇茬綉閾剁郴缁熺炕鏂拌繃绋嬶紝2闃舵杞瀷绯荤粺鏋舵瀯锛屽厛瀹瑰櫒鍖栧啀瀵煎叆寰湇鍔℃妧鏈
    2021-12-01 11:47
  • Scythe 澶ч暟鍒鎺ㄥ嚭 Thermal Elixer G 瀵肩儹纭呰剛鈥
    2021-12-01 10:51
  • AWS鏂版湇鍔¤浼佷笟鑷缓5G涓撶綉
    2021-12-01 10:48

手机

  • 涓鍔9RT濂戒笉濂斤紵涓嶆劎涓衡滀笉灏嗗氨鈥濈殑鏃楄埌鎵嬫満
    2021-11-25 17:44
  • 涓鍔9RT濂戒笉濂斤紵灞忓箷鍐嶅崌绾т綋楠屽浣曪紵
    2021-11-24 16:45
  • 涓鍔9RT濂戒笉濂斤紵涓鍔 9RT閫傞厤120Hz楂樺抚妯″紡
    2021-11-18 16:43
  • 涓鍔9RT姝e紡鍙戝竷 鍏ㄩ潰鍔犳枡鎬ц兘婊¤
    2021-11-16 18:43
  • 涓鍔9RT鍊煎緱涔板悧 鎬ц兘寰堟鍒峰嚭娴佺晠鏂伴珮搴
    2021-10-22 15:45

数码

  • iphone13娓増鍙互鍦ㄥぇ闄嗕繚淇悧 娓増iphone13鍦ㄥぇ闄嗚兘淇濅慨鍚
    2021-12-01 12:46
  • 鎽╂墭缃楁媺edgex30鎬庝箞鏍峰煎緱鍏ユ墜鍚 edgex30鍙傛暟浼樼己鐐
    2021-12-01 12:46
  • ios15淇′换鎺堟潈鍦ㄥ摢璁剧疆 ios15杞欢鎺堟潈淇′换姝ラ
    2021-12-01 11:45
  • 绱㈠凹Xperia 5 III鍥借鐗堝敭浠6599鍏冿細濯茬編涓撲笟寰崟鐩告満
    2021-12-01 11:45
  • realme GT2 Pro灏嗘垚鍏ㄧ悆绗簩涓彂甯冮獊榫8鏃楄埌鐨勬墜鏈
    2021-12-01 10:46

科技

  • 鑻辩壒灏斿甯冧慨澶嶅彶璇楃骇婕忔礊锛氱啍鏂拰骞界伒鏈夋湜琚叏闈㈤殧鏂
    2018-03-23 09:34
  • 涓叴閫氳鎴愮珛缁堢瀛愬叕鍙哥洰鏍囦笁骞村唴閲嶈繑鍥藉唴鎵嬫満涓绘祦鑸炲彴
    2018-03-23 09:34
  • KTM锛氱數鍔ㄨ秺閲庤溅锛熸垜涔熺暐鎳傜暐鎳 18骞碖TMFreerideE-XC鏀规鎯呮姤
    2018-03-23 09:34
  • 鐪嬪ソSiC鏅跺渾闇姹傚闀 鐩稿叧鍘傚晢鏋佸姏绋充綇SiC鍩烘澘渚涘簲婧
    2018-03-23 09:34
  • 鏈潵5骞达紝澶ф暟鎹骇涓氬皢杩庢潵鍝簺鍙橀潻
    2021-12-01 10:45