Stable Diffusion 嵌入现实世界,能在墙上直接长出小猫咪,手机可玩
消息来源:baojiabao.com 作者: 发布时间:2024-06-01
注意看,你面前是一堵平平无奇的墙。
现在,你可以按照自己的意愿,让它直接凭空长出点东西来。
比如…… 一只小猫咪?
没错,Stable Diffusion 又可以搞新花活了!
这一次的重点在于,Stable Diffusion 的触手扩展到现实世界 -- 和 WebAR 相结合。
作者是个软件工程师小哥 Stijn Spanhove,经常在推特主页发些关于 WebAR 或 XR 的视频。
目前,这条凭空长猫的视频热度还挺不错。
新世界的大门打开,有网友对 AR+SD 的兴趣更浓了:
还有人说:
这简直就是《反恐精英》一个酷毙了的新版本啊!
一起来看看这个有点酷的新东西吧~
SD 与 AR 一起玩
首先,拿起手机,然后随意选择一堵墙,透过屏幕界面锁定它:
选定一块心仪区域,把它圈起来,全部涂黑。
输入提示词:
一只可可爱爱的小猫咪,涂鸦风格,数字艺术
接着点击输入框下方的 Diffusion 按钮,直接快进到见证奇迹的时刻。
此时,无论从哪个角度看,墙上都有一幅《喵娜丽莎》在微笑地看着你了。
这个视频,是小哥利用火到没边、门槛又低的 Stable Diffusion,结合 WebAR,搞出的第一个实验产品。
他在评论区和围观网友讨论了具体的工作流程。
第一步,冻结帧,把它作为生成图像的表面纹理,并让它拥有世界定位和设备跟踪相机。
第二步,向服务器发送 API 请求,并附上冻结帧(图像)和文本提示(Stable Diffusion)。
整个工作中,将 Stable Diffusion 嵌入现实世界是利用 AR 完成的。
关于绘制纹理,小哥则使用了 Raycast(一款完全可扩展的快捷启动器)。
整个过程简单利落,引发了网友新的思考。
目前有很多有趣的 NPU(嵌入式神经网络处理器)硬件,手机的共享内存也超过 12GB。
在这个前提下,如果 Stable Diffusion 和 AR 一起玩这个工作能在本地运行,并且能够快到在类似的请求时间内,完成整个 512x512 图像生成,并在更快的 AI 上运行升级,一定非常有趣。
小哥自己也说,这个工作只是初尝试,一切只是 Stable Diffusion 和 AR 结合的开始。
但大多数网友觉得这已经是个很有趣的工作了,甚至想在上面"乱涂乱画"好几个小时。
AIGC 打破次元壁
Stable Diffusion 的风吹进现实世界,绝不是小哥一个人的想法。
具体的操作流程,基本都是在原基础上用 AR 加持。
就在这几天,另一位小哥用 Stable Diffusion,搞了个视频透视式光学透视式眼镜。
(搁这儿叠 buff 呢?)
具体来说,就是小哥用 Stable Diffusion 做了个虚拟的 AR 眼镜,然后在手机屏幕上透过眼镜镜片,实现 AR 效果。
生成的虚拟 AR 眼睛不仅有电量提示,透过它看现实,能呈现西部世界、丛林、异形等多种画面风格。
此外,还有人结合 Meta 旗下的 AR 创作工具 Spark AR,利用 Stable Diffusion,假装自己手握了一个方块小卡片。
就是上面还能播放动画的那种。
为了达到逼真效果,作者还在卡片表面叠了一个反光图层,让卡片呈现的光泽"像玻璃杯一样"。
不过,这次的 Stable Diffusion 产出的图像不是实时生成,而是事先录制的,因为当下的 Spark AR 版本还不支持 AI 和 ML。
"Very Nice,通过 Stable Diffusion,AI 和 AR 再一次紧密相连了。"
不管怎么说,Stable Diffusion 这么火,不仅靠的是跑出来的惊人结果,触及文本生成图像以外的领域时,实力也很强劲呀~
参考链接:
[1]https://twitter.com/stspanho/status/1581707753747537920
[2]https://twitter.com/ThoseSixFaces/status/1581606079380672512
[3]https://twitter.com/sergeyglkn/status/1580167837770870784
本文来自微信公众号:量子位 (ID:QbitAI),作者:衡宇
2022-12-21 17:42:46相关文章
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩
2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万9
2023-12-28 19:41:57
- 国家新闻出版署:认真研究《网络游戏管理办法(草桉徵求意见稿)》关切 实行前进一步完善
2023-12-28 19:14:56
- 天猫新规可以无条件申请“仅退款”了?淘宝天猫又离狗多多零元购近了一步
2023-12-28 18:57:55
- 印度以打击金融犯罪为由逮捕了两名 vivo 高管
2023-12-26 16:49:01
- 在国外微信收不到国内信息?微信和WeChat将被拆分
2023-12-15 10:40:15
- 苹果iPhone15 系列手机发布最新消息 预计上市发布时间9月
2023-08-06 23:21:02
- 华为将发布鸿蒙HarmonyOS4操作系统 功能五大升级支持设备清单
2023-08-06 23:17:37
- 整治自媒体网红账号 400万粉丝网红发布擦边视频被无限期封禁
2023-07-12 09:56:09
- 网传微信文件传输助手是真人是真的吗?微信官方回应
2023-06-27 15:53:32
- 电信移动送手机成了“信用购”?你上了运营商的贷款套路了吗?
2023-06-12 17:18:55
- 中国电信广东地区崩了无信号 客服回应已在核实处理
2023-06-08 15:39:04
- 消息称小米新能源汽车价格表正讨论定价区间:双版本不同配置,高配或超 35 万元
2023-03-06 12:56:03
- 华为因制裁被传或分拆剥离手机业务? 内部人士回应:可能性不大.
2023-03-05 23:26:41
- OPPO正式发布安第斯智能云,让终端更智能
2023-02-24 16:02:27
- 华为与OPPO签订全球专利交叉许可协议 包括5G蜂窝通信专利
2023-02-24 16:02:26
- 老蛙将推MINI镜头新品:目前未知具体规格 官宣将于12月20日发布
2023-02-24 16:02:26
- 首发全新35mm定制光学系统 努比亚Z50性能同样强悍
2023-02-24 16:02:25
- Redmi K60屏幕细节曝光:全系标配2K护眼柔性直屏+5000mAh大容量电池
2023-02-24 16:02:25
- OPPO Find N2今天发 合金金属折叠屏更轻了
2023-02-24 16:02:24