AI算法:这个AI 演算法可以让照片里的人跳出来,打破次元壁

2018-12-31 15:12

导读: 打破次元壁!这个AI 演算法可以让照片里的人跳出来。 《哈利波特》世界里有一种神奇的魔法报纸,报中照片上的人物可以动起来,看起来有点像GIF 图。在故事里这当然是「魔法」的功劳,现实世界中还没有造出这样的报纸。不过,华盛顿大学的几个科学家不死心,

打破次元壁!这个AI 演算法可以让照片里的人跳出来。

《哈利波特》世界里有一种神奇的魔法报纸,报中照片上的人物可以动起来,看起来有点像GIF 图。在故事里这当然是「魔法」的功劳,现实世界中还没有造出这样的报纸。不过,华盛顿大学的几个科学家不死心,他们想用AI 演算法来让照片中的人动起来。

▲ 图片来源:Haven & Hearth

 

这种技术叫做Photo Wake-Up。先来看一下效果,他们在照片、海报和艺术画上都进行了实验。

 

首先向我们走来的是篮球运动员库里,看起来是刚进了球。

 

 

然后是钢铁人。哎,你从太空回来了?

 

打破次元壁!这个AI 演算法可以让照片里的人跳出来

 

是超级赛亚人孙悟空!只是原地跳了几下...... 我以为他要变身了

 

打破次元壁!这个AI 演算法可以让照片里的人跳出来

 

还有一位长相奇怪的女子,原来是毕卡索的《女孩与船》。

 

打破次元壁!这个AI 演算法可以让照片里的人跳出来

 

是不是很酷炫?这些人物就像是从画中走出来的一样,不仅从2D 变成了3D,还能做各种动作。

 

其实类似的尝试之前就有人做过,把照片里的2D 形象映射到3D 模型上,然后让它们动起来。不过结果嘛,像是行尸走肉。

 

打破次元壁!这个AI 演算法可以让照片里的人跳出来

 

因为2D 形像都是从某一个固定角度去看的,用3D 模型的标准去控制,会出现不匹配的情况。更不用说毕卡索画里的人,根本没有一个合适的模型来匹配。让2D 形象动起来还有一个难点,就是身体部位的重叠部分不好控制,走路的时候哪只手在前?哪只手在后?还要被身体挡住。这些复杂的问题不解决,根本无法做到栩栩如生。

 

打破次元壁!这个AI 演算法可以让照片里的人跳出来

 

团队给出的解决方案是AI 演算法。首先将2D 形象与3D 形变模型匹配,标记出身体各部位的位置。然后按照形变演算法,一步步构建网格。按照关键点位置控制网格,还原出皮肤资料,构建好贴图。最后,把贴图放回到原图中,用演算法填充背景,人物就可以随便跑了!

 

打破次元壁!这个AI 演算法可以让照片里的人跳出来

 

团队还特别提到,头部姿势的准确性对动起来的人十分重要,因为大部分人会将注意力放在人物的脸上。因此,他们的演算法还可以辨识形象的头部角度,还有注视方向。

 

打破次元壁!这个AI 演算法可以让照片里的人跳出来

 

为了让这个演算法可以实际应用,团队还提供一个调整的选项,允许使用者改动关键点的位置。

 

这项技术可以被用到AR、VR 中,配合相应设备来使用。想像一下,未来我们在博物馆中看的艺术画,可能是动起来的。

相关文章

最新资讯

  • Adobe绗笁璐㈠钀ユ敹28.3浜跨編鍏冿紝鍑鍒╂鼎鍚屾瘮澧19%
    2019-09-18 08:49
  • 鑻规灉鍐嶆潬鑴镐功锛宨OS 13鎻愰啋鐢ㄦ埛娉ㄦ剰闅愮椋庨櫓
    2019-09-18 08:49
  • 閲嶆嬀涓铓婅窡鏈轰箰瓒o細NEOGEO 澶嶅彜澶ф帲
    2019-09-17 17:03
  • 銆愭憚褰便傚笀璇淬戞潕浼熻壇 - 绾綍鏃跺埢姣旂編鏇撮噸瑕
    2019-09-17 17:03
  • 杞欢宸ョ▼杩堝叆鏂伴樁娈碉細鍙俊寮鍙戞墠澶熺‖鏍
    2019-09-17 17:04

手机

  • Google Pixel 4 鍙戣〃鏃堕棿纭畾 灏嗕簬 10/15 姝e紡浜浉骞跺悓姝ユ洿鏂板搴櫤鎱ц缃
    2019-09-17 17:01
  • OPPO Reno 2 瀹炴満鍔ㄧ溂鐪 鍙版咕鏈蹇崄鏈堜腑涓婂競
    2019-09-16 16:48
  • 骞充环 S855 鏃楄埌鏈哄皬绫 9T Pro 鍔ㄦ墜鐜 渚濇棫鏄珮鎬т环姣旀墜鏈轰唬琛
    2019-09-16 14:46
  • 2019 iPhone 鏂版満鍙婅嫻鏋滃懆杈规帹鑽愬ぇ姹囨暣 灏忕紪鎺ㄨ崘涓嶈俯闆峰ぇ娓呭崟 缁濆鑳借浣犵殑鎵嬫満鐒曠劧涓鏂 蹇湅鐪嬩綘鎯宠浠涔 鎴戜滑閫氶氶佽閫佸嚭鍘
    2019-09-16 12:46
  • 澶栧獟涓娆℃敹鍒颁簡21寮 Google Pixel 4 XL 鐨勬硠瀵嗙収 鍗存壘涓嶅埌闀跨劍闀滃ご鐨勮瘉鎹
    2019-09-15 15:48

数码

  • OPPO VOOC闂厖瀹舵棌鍏ㄩ潰鍗囩骇 鎼浇Reno Ace銆並5鈥
    2019-09-18 07:50
  • Google 灏嗕簬 10 鏈 15 鏃ヤ妇鍔炵‖浠跺彂甯冧細
    2019-09-17 09:52
  • 涓鍔 7T 绯诲垪灏嗕簬 9 鏈 26 鏃ュ彂甯
    2019-09-17 09:52
  • iPhone XS/XR 涔熸敮鎸佲滃闀滃ご鍚屾鎽勫儚鈥濆姛鑳
    2019-09-17 09:52
  • 涓夋槦鎵嬫満鏂颁笓鍒╂洕鍏夛細婊戠洊寮忔姌鍙犲睆
    2019-09-17 09:52

科技

  • 寮鎾粰浣犲埛涓窘瀹佽埌鏄粈涔堟 鎶栭煶鍒蜂釜杈藉畞鑸版槸鍟ユ剰鎬濅粙缁
    2019-09-18 08:47
  • 缃楁案娴╁彂澹版槑锛氫笌FLOW绛夌數瀛愮儫浼佷笟娌℃湁浠讳綍鍏崇郴
    2019-09-18 08:47
  • 澧炲己鐗圢EX锛熺綉鍙嬶細绛夊仛鍑烘潵鍐嶈鍚
    2018-08-01 01:31
  • 闄ㄧ煶涓殑钃濊壊鏅朵綋琛ㄦ槑澶槼缁忓巻浜嗕粈涔堬紵
    2018-08-01 01:31
  • 澶╂枃瀛﹀鏈鏂板叕甯冿細鍖楁瀬鏄熺殑闀挎湡闅愯棌鐗规
    2018-08-01 01:31