VISTA是什么
VISTA是何恺明团队挂上arXiv的论文所提出的一套解题框架,专门用来让现有大模型去打ARC-AGI-3这套AGI考卷。它不是一个新训练出来的模型,也不是一个端到端的智能体,而是一层套在现成大模型外面的"看与记"机制。它的核心论点是:过去半年顶尖模型在ARC-AGI-3上拿不到高分,问题不在模型的脑子,而是输入方式和记忆方式出了错。
按论文的设定,ARC-AGI-3是一组开局无规则说明、需要玩家自己摸索的交互式像素小游戏。官方递给模型的输入只是一张64×64的数字表,对人来说是一帧像素画,对模型来说只是4096个数字,相当于让人闭着眼听坐标去玩超级马里奥。
关键能力与原理
VISTA只做了两件事,但都做得很彻底。
第一件事是把数字表换回图片。论文对比显示,同样是GPT-5.6 Sol,只换输入形式,分数就从40左右一口气涨到接近满分区间。其他什么都不动,Claude Opus 5从40分直接打到满分。
第二件事是给模型配一本无损视觉"相册"。多模态模型的通病是图片看完就忘,上下文满了就被压缩或丢弃,等想回头核对细节时那一帧早就不在了。VISTA把游戏输出的每一帧画面全部按编号原样存档,模型可以随时调用inspect把任意一帧调出来重看,支持多帧并排对比、角落放大,还能用读像素接口拿到精确颜色。论文把这种"想看哪里就翻哪里、且翻相册不消耗游戏步数"的机制叫做"显式注意力"。
VISTA还自带两个笔记本:GUIDE.md用来记自己归纳出来的游戏规则,WORKING.md当草稿纸。整个系统没有任何新训练的模型,所有游戏共用同一份提示词,总共四句话,没有任何一句教模型具体怎么玩。
在算力上,看图也更省。文本版一局要烧掉七千万Token级别的输入,图片版只要三千多万Token,分数反而更高。
与代码路线的差异
VISTA之前,AI各自在ARC-AGI-3上卷出过高分方案,包括Tycho和Schema,它们的路线是让大模型给每个游戏写一套能跑的代码,硬造一个模拟器反复试错。比如一条跳棋规则,Schema写下了约四千行代码。
VISTA走了相反的路线,不写程序,只用自然语言在笔记里记下自己摸索出的规则。同一条跳棋规则,VISTA里的模型自己用三句话就描述清楚了。论文因此宣称VISTA是首个不靠写程序就在ARC-AGI-3上拿到满分或近满分的系统。这一点放到了游戏之外更关键,真实世界不可能有人提前给你写好一套几千行的模拟器。
成绩与适用场景
按论文记录,VISTA加持下的Claude Opus 5打通了全部25个公开游戏的183关,每个游戏都拿到满分,总步数只有人类第一次玩时的0.43倍。GPT-5.6 Sol同样全部通关,拿到99分。两份成绩都在ARC Prize官方平台上有记分卡。
这套"纯机械、零训练"的Harness还被论文拿去跑了其他任务,证明它不是只能用在ARC-AGI-3上:
- 套进带透视的3D画面,得分约84分;
- 套上GPT-5.6 Sol扔进34个网页游戏,包括超级马里奥、2048、我的世界等,任务成功率63.3%,超过人类小白;
- 在静态看图题上同样有效,原本连错的连线题用上相册后答对。
更值得注意的是它的提分幅度:即便用官方实现几乎交了白卷的某个320B开源模型,套上VISTA后分数被抬到60多分,提升达到几十倍的量级。
如何用起来
VISTA是一层可以直接套在大模型外面的Harness,本质上是工程化框架而非闭源服务。按论文的描述,使用思路是:
- 选好底座模型。论文里同时验证了Claude Opus 5、GPT-5.6 Sol和开源320B模型,模型越强,配合VISTA的收益越大,但即便弱模型也能被显著抬分。
- 把官方数字表输入换成真实的画面帧,让模型有"眼睛"。注意论文的实验结论是图片不是越大越好,默认8倍放大附近效果最均衡,放大到16倍分数反而掉到80多分。
- 接入视觉相册机制。每一帧画面要原样存档,给模型提供随时翻看、放大局部、读取像素颜色等操作接口,且这些动作不计入游戏步数。
- 给模型配两份笔记。一份记自己归纳出的规则,一份当草稿纸,用来在回合间持续沉淀经验。
- 提示词保持极简。VISTA对所有游戏共用同一份四句话的提示词,不写任何针对具体游戏的指引,让模型自己去摸索。
- 谨慎加大上下文窗口。默认上下文下分数最高,从200K拉到780K,每局输入涨到上亿Token,分数反而从99掉到93.9左右。
论文中给出的多帧对比、角落放大、按编号回看等具体操作方式,已经足以作为复现这套Harness的最小实现路径。
局限与边界
VISTA的能力很强,但也有明确的边界,需要把事实和推断分开看。
- 多给上下文、加大图片并不一定更好。论文实测显示上下文从200K拉到780K分数下降,图片从8倍放到16倍数字分数从接近满分掉到88.2左右,反而是放大4倍时分数最高。论文的解释是图片变大只占Token,模型并没有因此更懂。
- 视觉相册是"无损"的,但显存和存档成本随游戏时长线性增长。动辄几百步的游戏,每一帧都原样存档,对存储和检索都有要求。
- VISTA没有改变模型本身的推理能力,它提升的是输入和记忆。如果遇到的任务不是"看不清"或"记不住",这套Harness的收益会明显变小。
- 论文展示的任务集中在ARC-AGI-3、网页小游戏和静态看图题上,更复杂的真实任务还没有充分验证。
- "不靠写程序就能满分"这一点,目前只在ARC-AGI-3上得到证实,能否泛化到所有需要模拟器的场景,仍然是推断。
何恺明团队一年来在做什么
VISTA是团队一年内的第三篇ARC论文,串起三篇的是何恺明的博士生胡珂雅,三篇里两篇一作、一篇二作,本科来自上海交大ACM班。另外两位共同一作是MIT博士生Qiushi Han和Linlu Qiu,MIT副教授Cathy Wu也在作者之列。
三篇论文押的是同一件事:ARC是视觉问题。第一篇VARC用1800万参数的小号视觉模型从零训练,纯看图就追平了人类平均分;第二篇NAT-ARC先让模型在ImageNet上看猫看狗补课,抽象推理跟着变强;第三篇VISTA干脆小模型都不训练,直接给前沿大模型配"相册"。
这套打法也是在挑战整个行业的默认路线。过去几年大家都在拼命把模型做大、把推理拉长,智能的进步几乎都押在模型本身。VISTA让同一个Claude从40分打到满分,靠的却是模型外面的一双眼睛和一本相册。论文给出的下一步方向是具身环境,因为那里没有人会提前把世界翻译成一张数字表。