创企Glimpse模型让AI边推理边看图

现在的多模态AI看图,大多是先「看一眼」,把图像转成文字记号,之后全凭记忆作答。据TechCrunch报道,帕洛阿尔托创企Elorian周四发布首个模型Glimpse的研究预览版,想改变这种工作方式:让模型在推理过程中随时回原图核对——裁剪放大某个区域、从视频里抽取特定帧、甚至跑一段代码去测量和比对画面内容。该公司把这套机制称为「视觉草稿本」。
这个点子来自一次游戏夜。Elorian联合创始人兼CEO、前谷歌DeepMind研究员安德鲁·戴(Andrew Dai)去年拍下一张棋局结束时的桌游照片,问前沿模型谁赢了,结果模型答不上来。他说,桌游各自有一套视觉语言和符号体系,成年人扫一眼就能读懂,模型却猜不出这些符号的含义。「人类能看着一张没有任何文字的宜家安装图把家具装好,为什么AI模型不行?」
技术路线并非首创——OpenAI早在2025年就给o系列模型加过「推理中裁剪放大」。Elorian的差异化在于把整个模型从头围绕这一机制构建,而且做得便宜:官方称一个不大的团队只用几百块GPU就完成了训练,模型体量也远小于它对标的那些前沿系统。
定价上,Glimpse输入每百万token收0.6美元、输出3美元,比Sonnet、Sol这类中档模型便宜,又高于Haiku、Luna等轻量款。按照Elorian自己的评测,Glimpse在科学图表推理和短视频字幕两项任务上甚至超过了GPT-6 Astra,其他视觉推理任务成绩也具有竞争力——不过这些目前都还是公司自测口径。
公司背景颇为豪华:Elorian半年前出隐身时就拿到5500万美元种子轮、估值3亿美元,由Striker Venture Partners、Menlo Ventures和Altimeter Capital联合领投,英伟达和谷歌首席科学家Jeff Dean跟投。首发目标是坐拥海量视频数据的客户:机器人公司、科研实验室、媒体和创意行业。更长远的目标是从「看见」走向「行动」——用模型理解场景并直接控制机器人。戴放话,明年要做出「世界上最好的视觉推理模型」,在每一项视觉推理测试上领先。
编译自 TechCrunch,原标题:"Elorian's first AI model wants to reason with images, not just about them"