TIS-100 评测：Opus 5.5 与 GPT-6 Astra 打平

未分类 26分钟前程序员胖胖胖虎阿

1 0 0

这次登上 Hacker News 的 TIS-100 评测不只看答对多少，还要求模型在有限时间里把程序一遍遍改得更快、更省。结果 Anthropic 的 Opus 5.5 和 OpenAI 的 GPT-6 Astra 并列领先，数据上分不出谁更强。

TIS-100 是什么，测了什么

TIS-100 是一款写汇编的编程游戏。每道谜题给你十二个节点，每个节点只有两个寄存器、最多十五行代码，相邻节点交换数据还得互相等待。连两数相乘都是个小工程，玩家社区在公开排行榜上把这些程序打磨了十年。

评测团队把游戏和手册交给 16 个模型，但隐去了社区排行榜和现成代码，只给一个粗略的得分分布，然后让模型自己读手册、改程序、在真实游戏里运行，并且要求持续改进。规则有几处设计值得一提：

每个模型做全部 47 道游戏谜题加 8 道社区锦标赛谜题，共 55 道，每道只算一次尝试（pass@1）。
按难度给 10 到 45 分钟，模型能看到时钟，不能提前收工；提前停下会被提醒继续测试，提醒里不含任何解题提示。
游戏按周期、节点数、指令数三项打分，三者经常此消彼长，所以每道题比的是一条"权衡前沿"，而不是单一最优解。
一个结果要计入成绩，必须通过全新的游戏回放，并在独立模拟器上通过 100,000 次输入测试。

最后一条很关键，它把"碰巧跑通样例"和"真正写对程序"区分开了。

结果：两强并列，差异在细处

两个领先者的数据如下：

Opus 5.5：55 道全解，在 11 道题上找到新的前沿点，共 72 个点，纪录接近度 77.2。
GPT-6 Astra：55 道全解，同样在 11 道题上找到新前沿点，共 32 个点，纪录接近度 78.0。

Opus 5.5 找到的新点更多，GPT-6 Astra 离社区纪录更近，还在全部六种"超体积"设置里领先，也就是它的各种权衡方案覆盖的范围更广。接近度差距的 95% 置信区间是 -0.7 到 +2.4，包含零，所以研究者的结论是两者分不开。

往下看，Gemini 4 Argon 解出 54 道、8 道有新前沿；Sonnet 5.5 解出 53 道、7 道有新前沿；GPT-6.1 Sol 解出 54 道、6 道有新前沿。有意思的是 Gemini 3.8 Flash 解出 53 道却只在 1 道上有新突破，而 Fable 5.1 只解出 52 道，却在 5 道上找到新点。研究者据此指出：会解题和会优化是两种不同的能力。

整场评测共产生 133 个新前沿点，18 道谜题出现新前沿，还有 3 项绝对周期纪录被刷新。比如一道锦标赛谜题，社区最好成绩是 2694 个周期，Opus 5.5 第一次跑通用了 5669 个周期，16 分钟后打破纪录，最终做到 1918 个周期，快了 29%。不过几天之内，人类玩家就接手了模型的程序，并把其中大部分又改进了一轮。

为什么值得关注

我认为这次评测有三点比"谁第一"更有价值。

第一，它测的是持续改进能力。真实开发很少一次写完，TIS-100 逼着模型反复跑、看报错、再修改，更接近智能体干活的状态。

第二，它把可验证性做得很扎实。十万次输入测试加独立模拟器，让成绩很难靠蒙。

第三，人类很快超越模型，说明顶尖模型适合做"从零推到接近最优"的苦活，最后的精雕细琢还是人机配合更好。

对普通用户和开发者意味着什么

不要只看一张榜。 最近 OpenRouter 发布了一篇自建评测教程。它在 60 个合成任务上测试，GPT-6.1 Sol 三次重复 180 次全部通过，DeepSeek 成本最低、通过 157 次；而这组结果和公开排名的相关性很弱，Spearman 系数只有 0.109。换句话说，公开榜单上的名次未必能预测模型在你的任务上表现如何。TIS-100 也一样，它测的是极端约束下的底层编程，和写网页、做数据分析不是一回事。

选模型的实用做法：