“增加棋盘特征, 完整运行PPO。”GPT-6 AstraGPU 预算$0.00策略强度基线$$$$$短实验长训练训练所得策略对手最强网络 +268, 超过 2亿样本基线
“增加棋盘特征, 完整运行PPO。”GPT-6 AstraGPU 预算$0.00策略强度基线$$$$$短实验长训练训练所得策略对手最强网络 +268, 超过 2亿样本基线
查看另外五个研究示例
“提前停止,再调整奖励。”GPT-6 LunaGPU 预算$0.00策略强度基线$$$$$$$$短实验长训练训练所得策略对手对手训练策略19 次训练,多数提前停止; 最终+2.9
“提前停止,再调整奖励。”GPT-6 LunaGPU 预算$0.00策略强度基线$$$$$$$$短实验长训练训练所得策略对手对手训练策略19 次训练,多数提前停止; 最终+2.9
“Python 模拟太慢,用 JAX重写。”GPT-6.1 SolGPU 预算$0.00策略强度基线$$$$短实验长训练训练所得策略对手1098653121086531312965151210986161513109816151312109先重写模拟器, 循环赛得 70.8 分
“Python 模拟太慢,用 JAX重写。”GPT-6.1 SolGPU 预算$0.00策略强度基线$$$$短实验长训练训练所得策略对手1098653121086531312965151210986161513109816151312109先重写模拟器, 循环赛得 70.8 分
“学习率翻倍,重新训练。”DeepSeek V4 FlashGPU 预算$0.00策略强度基线$$$$$$$$短实验长训练训练所得策略对手训练出的网络全部输给未训练的网络
“学习率翻倍,重新训练。”DeepSeek V4 FlashGPU 预算$0.00策略强度基线$$$$$$$$短实验长训练训练所得策略对手训练出的网络全部输给未训练的网络
“跳过短实验,完整训练 1 小时。”GPT-6.1 SolGPU 预算$0.00策略强度基线$$$$短实验长训练训练所得策略对手对手训练策略最终方案比基线高 20.4 分
“跳过短实验,完整训练 1 小时。”GPT-6.1 SolGPU 预算$0.00策略强度基线$$$$短实验长训练训练所得策略对手对手训练策略最终方案比基线高 20.4 分
“每秒 553 步很慢,仍用它训练。”DeepSeek V4 ProGPU 预算$0.00策略强度基线$$短实验长训练训练所得策略对手91012131516891213151668101315589101213356910123568910继续使用慢速模拟器, 循环赛得22.5 分
“每秒 553 步很慢,仍用它训练。”DeepSeek V4 ProGPU 预算$0.00策略强度基线$$短实验长训练训练所得策略对手91012131516891213151668101315589101213356910123568910继续使用慢速模拟器, 循环赛得22.5 分

AI 智能体能训练出高水平的专用模型吗?在编写行为确定的代码方面,智能体已经展现了超越人类的能力。但机器学习提出了不同的挑战:算力有限,训练信号又带有噪声。我们给 AI 模型一笔 GPU 预算,请它们为宝可梦、Polytopia 和 Generals.io 等游戏训练高效的神经网络。智能体自行分配资源、实现并验证想法,目标是交出最强的最终策略。它们在研究判断、效率和成果上拉开了很大的差距。

训练成果:九场对局示例

对局由训练好的强化学习神经网络直接完成,全程无需大语言模型参与。展开游戏可查看对阵和赛果。

宝可梦 3 对 3
Polytopia
  • Claude Opus 5.5 对 GPT-6 Luna:Opus 策略训练 2 小时,Luna 使用训练 2 小时的基线策略。Opus 在第 27 轮获胜。
  • GPT-6 Astra 对基线:Astra 策略训练约 2 小时,基线策略训练 36 分钟。Astra 凭分数获胜。
  • Claude Opus 5.5 对 GPT-6.1 Sol:双方策略各训练 2 小时,Sol 凭分数获胜。
Generals.io

以下模型均为 11 月 20 日的决赛选手。

  • Claude Opus 5.5 对 GPT-6.1 Sol:Opus 获胜,占领 3 座城市。
  • GPT-6.1 Sol 对 DeepSeek V4 Pro:Sol 获胜,占领 4 座城市。
  • Claude Opus 5.5 对 Kimi K3.1 Pro:Opus 获胜,占领 3 座城市。

在英文原版播放对局回放

就像「氛围编程」(vibe coding)让定制软件大量涌现,「氛围训练」(vibe training)也有望让越来越多细分领域拥有自己的神经网络。能否高效做到这一点,取决于智能体如何衡量效果、选择实验,以及如何分配有限的训练机会。我们观察到,研究判断更好的智能体可以用更少的预算训练出高水平的策略。

结果模型总成绩

在涵盖 Polytopia、宝可梦、Hex(六角棋)、Generals.io 和《皇室战争》的八项研究任务中,七个前沿模型领跑,彼此差距很小。

图 1. 八项任务的综合研究指数(50 为参评者平均值)。横线表示删去任意一项任务后得分的范围。只参加 1 至 2 项任务的模型用空心点表示。Claude Opus 5.5 略微领先。GPT-6 Astra、GPT-6.1 Sol、Claude Fable 5.2、GPT-6.2 Astra 和 Gemini 4 Neon 与第一名相差不超过 4 分。Gemini 4 Carbon 排名第二,但只参加了两项任务。
至少 3 项任务1 至 2 项任务逐项剔除后的范围
35404550556065平均(50)综合指数(50 为平均值,10 分为一个标准差)1Claude Opus 5.5 (7)59.52Gemini 4 Carbon (2)58.93GPT-6 Astra (5)56.94GPT-6.1 Sol (6)56.95Claude Fable 5.2 (4)56.76GPT-6.2 Astra (3)56.07Gemini 4 Neon (3)55.88DeepSeek V4.1 Flash (4)54.59GPT-6.2 Sol (3)52.410GPT-6.1 Terra (3)50.811Kimi K3.1 Pro (3)50.512Gemini 4 Hydrogen (1)46.213Meta Muse Wonder (1)45.714GPT-6 Luna (4)45.515Inkling 2 Small (2)45.116GLM-5.3 (3)44.617Tencent Hy4 (1)43.718Kimi K3 (2)43.319DeepSeek V4 Pro (3)39.920DeepSeek V4 Flash (1)37.2
括号内为模型参加的任务数。各任务成绩见数据表。
至少 3 项任务1 至 2 项任务逐项剔除后的范围
3540506065平均(50)综合指数(50 为平均值,10 分为一个标准差)1. Claude Opus 5.5 · 7 项59.52. Gemini 4 Carbon · 2 项58.93. GPT-6 Astra · 5 项56.94. GPT-6.1 Sol · 6 项56.95. Claude Fable 5.2 · 4 项56.76. GPT-6.2 Astra · 3 项56.07. Gemini 4 Neon · 3 项55.88. DeepSeek V4.1 Flash · 4 项54.59. GPT-6.2 Sol · 3 项52.410. GPT-6.1 Terra · 3 项50.811. Kimi K3.1 Pro · 3 项50.512. Gemini 4 Hydrogen · 1 项46.213. Meta Muse Wonder · 1 项45.714. GPT-6 Luna · 4 项45.515. Inkling 2 Small · 2 项45.116. GLM-5.3 · 3 项44.617. Tencent Hy4 · 1 项43.718. Kimi K3 · 2 项43.319. DeepSeek V4 Pro · 3 项39.920. DeepSeek V4 Flash · 1 项37.2
括号内为模型参加的任务数。各任务成绩见数据表。
仅显示至少参加 3 项任务的模型(13 个)
至少 3 项任务逐项剔除后的范围
35404550556065平均(50)综合指数(50 为平均值,10 分为一个标准差)1Claude Opus 5.5 (7)59.52GPT-6 Astra (5)56.93GPT-6.1 Sol (6)56.94Claude Fable 5.2 (4)56.75GPT-6.2 Astra (3)56.06Gemini 4 Neon (3)55.87DeepSeek V4.1 Flash (4)54.58GPT-6.2 Sol (3)52.49GPT-6.1 Terra (3)50.810Kimi K3.1 Pro (3)50.511GPT-6 Luna (4)45.512GLM-5.3 (3)44.613DeepSeek V4 Pro (3)39.9
括号内为模型参加的任务数。各任务成绩见数据表。
至少 3 项任务逐项剔除后的范围
3540506065平均(50)综合指数(50 为平均值,10 分为一个标准差)1. Claude Opus 5.5 · 7 项59.52. GPT-6 Astra · 5 项56.93. GPT-6.1 Sol · 6 项56.94. Claude Fable 5.2 · 4 项56.75. GPT-6.2 Astra · 3 项56.06. Gemini 4 Neon · 3 项55.87. DeepSeek V4.1 Flash · 4 项54.58. GPT-6.2 Sol · 3 项52.49. GPT-6.1 Terra · 3 项50.810. Kimi K3.1 Pro · 3 项50.511. GPT-6 Luna · 4 项45.512. GLM-5.3 · 3 项44.613. DeepSeek V4 Pro · 3 项39.9
括号内为模型参加的任务数。各任务成绩见数据表。
综合研究与预测成绩
至少 3 项任务1 至 2 项任务逐项剔除后的范围
35404550556065平均(50)综合指数(50 为平均值,10 分为一个标准差)1Gemini 4 Carbon (3)61.32GPT-6.2 Astra (4)58.93Gemini 4 Neon (4)58.44Claude Opus 5.5 (8)57.35GPT-6 Astra (6)56.66Claude Fable 5.2 (5)56.47GPT-6.1 Sol (7)56.38GPT-6.2 Sol (4)52.99DeepSeek V4.1 Flash (5)51.810Gemini 4 Hydrogen (2)51.611GPT-6.1 Terra (3)49.712Kimi K3.1 Pro (4)48.313Meta Muse Wonder (2)46.914GPT-6 Luna (4)44.615GLM-5.3 (4)43.916Tencent Hy4 (2)43.617Kimi K3 (2)42.818Inkling 2 Small (3)42.119DeepSeek V4 Pro (3)39.120DeepSeek V4 Flash (1)37.7
括号内为模型参加的任务数。各任务成绩见数据表。
至少 3 项任务1 至 2 项任务逐项剔除后的范围
3540506065平均(50)综合指数(50 为平均值,10 分为一个标准差)1. Gemini 4 Carbon · 3 项61.32. GPT-6.2 Astra · 4 项58.93. Gemini 4 Neon · 4 项58.44. Claude Opus 5.5 · 8 项57.35. GPT-6 Astra · 6 项56.66. Claude Fable 5.2 · 5 项56.47. GPT-6.1 Sol · 7 项56.38. GPT-6.2 Sol · 4 项52.99. DeepSeek V4.1 Flash · 5 项51.810. Gemini 4 Hydrogen · 2 项51.611. GPT-6.1 Terra · 3 项49.712. Kimi K3.1 Pro · 4 项48.313. Meta Muse Wonder · 2 项46.914. GPT-6 Luna · 4 项44.615. GLM-5.3 · 4 项43.916. Tencent Hy4 · 2 项43.617. Kimi K3 · 2 项42.818. Inkling 2 Small · 3 项42.119. DeepSeek V4 Pro · 3 项39.120. DeepSeek V4 Flash · 1 项37.7
括号内为模型参加的任务数。各任务成绩见数据表。
查看数据表
排名模型指数(平均为 50)逐项剔除后的范围任务数各任务成绩
1Gemini 4 Carbon61.358.9–62.23Polytopia 空白起步: 61.5; 宝可梦 3 对 3: 76.6; 预测: +0.36
2GPT-6.2 Astra58.956.0–61.44Polytopia 空白起步: 39.8; 宝可梦 3 对 3: 75.4; Polytopia 效率: 1.21×; 预测: +0.37
3Gemini 4 Neon58.455.8–62.14Polytopia 空白起步: 73.2; 宝可梦 3 对 3: 73.5; Polytopia 效率: 0.95×; 预测: +0.36
4Claude Opus 5.557.355.4–59.58Polytopia 空白起步: 57.5; 宝可梦 3 对 3: 63.3; Polytopia 效率: 1.07×; Polytopia 35 美元: 67.9; 六角棋 9×9: 90.4; Generals.io: 78.8; Generals.io 慢速模拟器: 96.5; 预测: +0.22
5GPT-6 Astra56.653.9–57.86Polytopia 空白起步: 77.4; 宝可梦 3 对 3: 67.7; Polytopia 35 美元: 59.2; 六角棋 9×9: 78.5; Generals.io: 78.5; 预测: +0.30
6Claude Fable 5.256.454.4–58.05Polytopia 空白起步: 67.8; 宝可梦 3 对 3: 69.3; Polytopia 效率: 1.27×; Polytopia 35 美元: 59.1; 预测: +0.29
7GPT-6.1 Sol56.354.1–59.17Polytopia 空白起步: 70.7; 宝可梦 3 对 3: 70.8; Polytopia 35 美元: 54.2; 六角棋 9×9: 90.0; Generals.io: 70.4; Generals.io 慢速模拟器: 89.9; 预测: +0.29
8GPT-6.2 Sol52.949.3–58.04Polytopia 空白起步: 71.9; 宝可梦 3 对 3: 72.5; Polytopia 效率: 0.80×; 预测: +0.28
9DeepSeek V4.1 Flash51.847.6–54.75Polytopia 效率: 1.37×; Polytopia 35 美元: 65.0; 六角棋 9×9: 69.4; Generals.io: 16.5; 预测: +0.21
10Gemini 4 Hydrogen51.646.2–55.72Polytopia 空白起步: 35.5; 预测: +0.31
11GPT-6.1 Terra49.746.9–54.33Polytopia 35 美元: 60.5; 六角棋 9×9: 62.8; Generals.io: 65.3
12Kimi K3.1 Pro48.345.3–51.54Polytopia 空白起步: 56.8; Polytopia 效率: 1.15×; Generals.io 慢速模拟器: 26.0; 预测: +0.19
13Meta Muse Wonder46.945.7–48.32Polytopia 空白起步: 34.2; 预测: +0.23
14GPT-6 Luna44.643.0–46.44宝可梦 3 对 3: 58.3; Polytopia 35 美元: 59.0; 六角棋 9×9: 69.6; Generals.io: 13.4
15GLM-5.343.940.5–46.94Polytopia 空白起步: 27.7; 宝可梦 3 对 3: 51.7; 皇室战争: 48.4; 预测: +0.20
16Tencent Hy443.643.3–44.92Polytopia 空白起步: 27.7; 预测: +0.20
17Kimi K342.842.2–44.82宝可梦 3 对 3: 57.2; 皇室战争: 39.7
18Inkling 2 Small42.140.9–45.13宝可梦 3 对 3: 57.6; 皇室战争: 42.1; 预测: +0.16
19DeepSeek V4 Pro39.137.3–44.53宝可梦 3 对 3: 57.9; Generals.io 慢速模拟器: 40.4; 皇室战争: 31.1
20DeepSeek V4 Flash37.7—1Polytopia 空白起步: 7.6
查看完整数据表(20 个模型)
排名模型指数(平均为 50)逐项剔除后的范围任务数各任务成绩
1Claude Opus 5.559.557.5–61.27Polytopia 空白起步: 57.5; 宝可梦 3 对 3: 63.3; Polytopia 效率: 1.07×; Polytopia 35 美元: 67.9; 六角棋 9×9: 90.4; Generals.io: 78.8; Generals.io 慢速模拟器: 96.5
2Gemini 4 Carbon58.953.9–59.42Polytopia 空白起步: 61.5; 宝可梦 3 对 3: 76.6
3GPT-6 Astra56.953.5–58.15Polytopia 空白起步: 77.4; 宝可梦 3 对 3: 67.7; Polytopia 35 美元: 59.2; 六角棋 9×9: 78.5; Generals.io: 78.5
4GPT-6.1 Sol56.954.4–60.26Polytopia 空白起步: 70.7; 宝可梦 3 对 3: 70.8; Polytopia 35 美元: 54.2; 六角棋 9×9: 90.0; Generals.io: 70.4; Generals.io 慢速模拟器: 89.9
5Claude Fable 5.256.754.1–58.54Polytopia 空白起步: 67.8; 宝可梦 3 对 3: 69.3; Polytopia 效率: 1.27×; Polytopia 35 美元: 59.1
6GPT-6.2 Astra56.051.7–58.33Polytopia 空白起步: 39.8; 宝可梦 3 对 3: 75.4; Polytopia 效率: 1.21×
7Gemini 4 Neon55.851.7–60.03Polytopia 空白起步: 73.2; 宝可梦 3 对 3: 73.5; Polytopia 效率: 0.95×
8DeepSeek V4.1 Flash54.549.6–58.74Polytopia 效率: 1.37×; Polytopia 35 美元: 65.0; 六角棋 9×9: 69.4; Generals.io: 16.5
9GPT-6.2 Sol52.447.1–59.33Polytopia 空白起步: 71.9; 宝可梦 3 对 3: 72.5; Polytopia 效率: 0.80×
10GPT-6.1 Terra50.847.9–55.33Polytopia 35 美元: 60.5; 六角棋 9×9: 62.8; Generals.io: 65.3
11Kimi K3.1 Pro50.547.1–55.23Polytopia 空白起步: 56.8; Polytopia 效率: 1.15×; Generals.io 慢速模拟器: 26.0
12Gemini 4 Hydrogen46.2—1Polytopia 空白起步: 35.5
13Meta Muse Wonder45.7—1Polytopia 空白起步: 34.2
14GPT-6 Luna45.543.7–47.24宝可梦 3 对 3: 58.3; Polytopia 35 美元: 59.0; 六角棋 9×9: 69.6; Generals.io: 13.4
15Inkling 2 Small45.144.3–49.92宝可梦 3 对 3: 57.6; 皇室战争: 42.1
16GLM-5.344.639.7–49.83Polytopia 空白起步: 27.7; 宝可梦 3 对 3: 51.7; 皇室战争: 48.4
17Tencent Hy443.7—1Polytopia 空白起步: 27.7
18Kimi K343.342.5–47.32宝可梦 3 对 3: 57.2; 皇室战争: 39.7
19DeepSeek V4 Pro39.937.6–45.13宝可梦 3 对 3: 57.9; Generals.io 慢速模拟器: 40.4; 皇室战争: 31.1
20DeepSeek V4 Flash37.2—1Polytopia 空白起步: 7.6

我们先在每项任务内将分数标准化,再汇总各项结果。指数 50 分代表参评模型的平均水平,10 分对应一个标准差。误差线反映删去任意一项任务对模型得分的影响。参加任务越少,分数所依据的证据就越有限。加入预测任务的视图单独纳入了模型预测训练结果的能力。

我们如何设计基准

我们希望智能体自行回答研究人员在实验之间需要做的判断:哪个想法值得测试?每次训练应该跑多久?练习赛成绩达到什么水平,才值得投入剩下的预算?每个智能体都拿到同类工作区,其中有游戏规则、模拟器代码、可编辑的训练代码和配置,以及命令行工具,可以在 NVIDIA L40S 上启动实验、运行练习赛并提交成果。

练习赛给智能体提供研究期间可以利用的反馈。最终评测由主办方在留出的对局上完成,并让各最终策略相互进行循环赛。我们也用原样的起始方案训练了基线模型,以衡量智能体带来的改进。以下三种设置调整了提交内容和研究预算的计量方式。

设置一

提交训练好的网络

智能体使用同一笔算力预算做实验、训练,并挑选一个检查点。我们直接评测提交的权重,就像团队在部署前评测模型一样。
在 Generals.io 中,智能体拥有 4.5 个 GPU 小时,每一步操作也有计算量上限。

设置二

按 GPU 时间限额提交训练方案

智能体在固定的 GPU 小时数内做实验,然后提交训练代码和配置。我们将每个方案从头重训,检验交接后能取得怎样的成绩。
在宝可梦 3 对 3 中,智能体有 4 个 GPU 小时改进可用的起始方案,主办方随后重训 1 小时。

设置三

按美元预算提交训练方案

智能体用固定的云计算预算做实验,然后提交训练方案。我们重训该方案,检查节省的训练成本能否抵消研发支出。
在 Polytopia 中,智能体最多可花 23 美元,并同时租用两块 GPU。

图 2. Polytopia 从空白起步。折线表示各智能体截至当时训练出的最强网络。菱形表示将最终提交方案从头重训 15 分钟所得结果。Elo 以训练 15 分钟的 PPO 基线为零点。
GPT-6 AstraGemini 4 NeonClaude Fable 5.2GPT-6.2 AstraGPT-6.1 SolClaude Opus 5.5Gemini 4 CarbonKimi K3.1 ProGemini 4 HydrogenMeta Muse WonderTencent Hy4GLM-5.3DeepSeek V4 Flash
−1500−1000−50003 分6 分15 分30 分1 小时2 小时5 小时相对于训练 15 分钟的 PPO 基线的 Elo已消耗的研究 GPU 小时2 亿样本基线(80%)15 分钟基线(50%)2,000 万样本(22%)未训练(<1%)
GPT-6 AstraGemini 4 NeonClaude Fable 5.2GPT-6.2 AstraGPT-6.1 SolClaude Opus 5.5Gemini 4 CarbonKimi K3.1 ProGemini 4 HydrogenMeta Muse WonderTencent Hy4GLM-5.3DeepSeek V4 Flash
−1500−1000−50003 分6 分15 分30 分1 小时2 小时5 小时相对于训练 15 分钟的 PPO 基线的 Elo已消耗的研究 GPU 小时
查看线性时间刻度
GPT-6 AstraGemini 4 NeonClaude Fable 5.2GPT-6.2 AstraGPT-6.1 SolClaude Opus 5.5Gemini 4 CarbonKimi K3.1 ProGemini 4 HydrogenMeta Muse WonderTencent Hy4GLM-5.3DeepSeek V4 Flash
−1500−1000−50000 小时1 小时2 小时3 小时4 小时5 小时相对于训练 15 分钟的 PPO 基线的 Elo已消耗的研究 GPU 小时2 亿样本基线(80%)15 分钟基线(50%)2,000 万样本(22%)未训练(<1%)
GPT-6 AstraGemini 4 NeonClaude Fable 5.2GPT-6.2 AstraGPT-6.1 SolClaude Opus 5.5Gemini 4 CarbonKimi K3.1 ProGemini 4 HydrogenMeta Muse WonderTencent Hy4GLM-5.3DeepSeek V4 Flash
−1500−1000−50000 小时1 小时2 小时3 小时4 小时5 小时相对于训练 15 分钟的 PPO 基线的 Elo已消耗的研究 GPU 小时
查看各模型的最强网络及重训结果
  • GPT-6 Astra:共 25 个网络,最强网络对 15 分钟基线的估计胜率为 82%(Elo +268,训练 4.68 GPU 小时 后得到 ppo22)。最终方案重训 15 分钟后的估计胜率为 76%(Elo +202)。
  • Gemini 4 Neon:共 22 个网络,最强网络对 15 分钟基线的估计胜率为 79%(Elo +226,训练 4.33 GPU 小时 后得到 v19ep2mb1k)。最终方案重训 15 分钟后的估计胜率为 73%(Elo +169)。
  • Claude Fable 5.2:共 24 个网络,最强网络对 15 分钟基线的估计胜率为 77%(Elo +213,训练 3.53 GPU 小时 后得到 ent20)。最终方案重训 15 分钟后的估计胜率为 73%(Elo +169)。
  • GPT-6.2 Astra:共 6 个网络,最强网络对 15 分钟基线的估计胜率为 77%(Elo +212,训练 1.08 GPU 小时 后得到 frontier)。最终方案重训 15 分钟后的估计胜率为 16%(Elo −289)。
  • GPT-6.1 Sol:共 24 个网络,最强网络对 15 分钟基线的估计胜率为 74%(Elo +179,训练 3.82 GPU 小时 后得到 deepgated)。最终方案重训 15 分钟后的估计胜率为 68%(Elo +131)。
  • Claude Opus 5.5:共 23 个网络,最强网络对 15 分钟基线的估计胜率为 52%(Elo +14,训练 3.83 GPU 小时 后得到 ppo15)。最终方案重训 15 分钟后的估计胜率为 49%(Elo −4)。
  • Gemini 4 Carbon:共 12 个网络,最强网络对 15 分钟基线的估计胜率为 49%(Elo −6,训练 1.73 GPU 小时 后得到 v7multiscale)。最终方案重训 15 分钟后的估计胜率为 47%(Elo −19)。
  • Kimi K3.1 Pro:共 24 个网络,最强网络对 15 分钟基线的估计胜率为 40%(Elo −68,训练 4.15 GPU 小时 后得到 batch256s2)。最终方案重训 15 分钟后的估计胜率为 42%(Elo −54)。
  • Gemini 4 Hydrogen:共 25 个网络,最强网络对 15 分钟基线的估计胜率为 31%(Elo −138,训练 4.46 GPU 小时 后得到 ppov22full)。最终方案重训 15 分钟后的估计胜率为 12%(Elo −354)。
  • Meta Muse Wonder:共 21 个网络,最强网络对 15 分钟基线的估计胜率为 14%(Elo −315,训练 1.87 GPU 小时 后得到 train8)。最终方案重训 15 分钟后的估计胜率为 11%(Elo −362)。
  • Tencent Hy4:共 24 个网络,最强网络对 15 分钟基线的估计胜率为 5%(Elo −521,训练 3.43 GPU 小时 后得到 v17full)。最终方案重训 15 分钟后的估计胜率为 5%(Elo −524)。
  • GLM-5.3:共 24 个网络,最强网络对 15 分钟基线的估计胜率为 3%(Elo −625,训练 2.26 GPU 小时 后得到 full10)。最终方案重训 15 分钟后的估计胜率为 1%(Elo −754)。
  • DeepSeek V4 Flash:共 22 个网络,最强网络对 15 分钟基线的估计胜率为 <1%(Elo −1429,训练 2.75 GPU 小时 后得到 v18)。最终方案重训 15 分钟后的估计胜率为 <1%(Elo −1424)。

GPT-6 Astra 在研究期间训练出的最强网络,略胜我们调优后用 2 亿样本训练的基线。它的方案从头重训后,在所有提交方案中排名第一,成绩仍低于这条调优基线。

效率与回本智能体找到的方案有多高效?

平均而言,能用 GPU 做实验的智能体比预算只有 1 美分的智能体表现更好。在有足够预算做实验的组别中,同一预算下各方案的差距远大于不同预算档之间的差距。大多数预算为 8.70 美元的研究在约两小时内便花完了预算,因此延长截止时间,主要相当于在相同开销下多观察了一次尝试。

我们用算力效率倍数衡量一个方案:与原样基线相比,在训练出同等强度的网络时能节省多少算力。只有当节省的算力足以抵消发现方案时花掉的 GPU 小时,改进才真正回本。因此,我们把 Polytopia 预算扫描中可运行的 38 套方案都重训了 8 小时,并将研究开销计入总成本。只有 9 套方案超过 1×,在 8 小时内回本。不过,最好的方案收益很大。Gemini 4 Neon 花 8.58 美元找到的方案,训练 8 小时即可达到基线训练约 108 小时的水平(约 313 美元,根据基线 64 小时实测曲线外推)。即使计入研究开销,基线所需的算力仍约为它的 10 倍。第二名是 GPT-6.2 Astra 花 8.67 美元找到的方案,达到 1.7×。

图 3. Polytopia 的总成本与算力效率倍数。分子是基线达到同一 Elo 所需的训练成本;分母是方案的研究 GPU 开销与实际训练费之和。单张 L40S 每小时 2.90 美元,模型词元费用不计入。超过 1× 表明方案已经回本。空心点强于基线 64 小时实测的最强结果,其倍数来自拟合曲线外推。「仅训练算力」忽略研究开销,每根柱表示一个模型的最佳方案,按 6、7、8 小时检查点取几何平均,避免单个幸运检查点决定结果。外推柱的误差线为 8 小时检查点的 95% 区间。
Opus 5.5 方案GPT-6.2 Sol 方案GPT-6.2 Astra 方案Claude Fable 5.2 方案Kimi K3.1 Pro 方案DeepSeek V4.1 Flash 方案Gemini 4 Neon 方案原样基线(1×)从头重训 1 小时,两个随机种子
1/161/81/41/21×2×4×8×16×$0$5$10$15$20$25$30$35$40$45$50总开销:研究 GPU 开销 + 训练费(单张 L40S,每小时 2.90 美元)算力效率倍数:基线达到同等强度的成本 ÷ 方案总成本(对数刻度)基线,1×Gemini 4 Neon, $8.58 研究:≈10×
Opus 5.5 方案GPT-6.2 Sol 方案GPT-6.2 Astra 方案Claude Fable 5.2 方案Kimi K3.1 Pro 方案DeepSeek V4.1 Flash 方案Gemini 4 Neon 方案原样基线(1×)从头重训 1 小时,两个随机种子
1/161/81/41/21×2×4×8×16×$0$10$20$30$40$50总开销:研究 + 训练算力效率倍数(对数刻度)
查看仅训练算力的比较
1/21×2×4×8×16×32×64×算力效率倍数(仅训练,6、7、8 小时几何平均,对数刻度)Gemini 4 Neon,最佳方案($8.70):≈13×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 约 108 小时(超出基线 54 小时 的实测范围;8 小时结果的 95% 区间为 6.0× 至 41×)Gemini 4 Neon≈13×外推GPT-6.2 Astra,最佳方案(8.70 美元、限时 2 小时):2.0×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 19 小时GPT-6.2 Astra2.0×Kimi K3.1 Pro,最佳方案(8.70 美元、限时 2 小时):1.5×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 13 小时Kimi K3.1 Pro1.5×Opus 5.5,最佳方案($8.70):1.5×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 11 小时Opus 5.51.5×Claude Fable 5.2,最佳方案(8.70 美元、限时 4 小时):1.3×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 12 小时Claude Fable 5.21.3×DeepSeek V4.1 Flash,最佳方案($2.90):1.3×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 10 小时DeepSeek V4.1 Flash1.3×GPT-6.2 Sol,最佳方案($23):1.1×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 9.8 小时GPT-6.2 Sol1.1×
1/21×2×4×8×16×32×64×仅训练算力(对数刻度)Gemini 4 Neon,最佳方案($8.70):≈13×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 约 108 小时(超出基线 54 小时 的实测范围;8 小时结果的 95% 区间为 6.0× 至 41×)Gemini 4 Neon≈13×外推GPT-6.2 Astra,最佳方案(8.70 美元、限时 2 小时):2.0×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 19 小时GPT-6.2 Astra2.0×Kimi K3.1 Pro,最佳方案(8.70 美元、限时 2 小时):1.5×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 13 小时Kimi K3.1 Pro1.5×Opus 5.5,最佳方案($8.70):1.5×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 11 小时Opus 5.51.5×Claude Fable 5.2,最佳方案(8.70 美元、限时 4 小时):1.3×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 12 小时Claude Fable 5.21.3×DeepSeek V4.1 Flash,最佳方案($2.90):1.3×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 10 小时DeepSeek V4.1 Flash1.3×GPT-6.2 Sol,最佳方案($23):1.1×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 9.8 小时GPT-6.2 Sol1.1×
查看数据表
方案研究开销训练 8 小时的总开销基线达到同等水平的训练时长算力效率倍数(含研究)仅训练
Gemini 4 Neon, $8.70$8.58$32约 108 小时(外推)≈10×≈13×
GPT-6.2 Astra, 8.70 美元、限时 2 小时$8.67$3219 小时1.7×2.4×
Gemini 4 Neon, $2.90$2.86$2613 小时1.4×1.6×
Claude Fable 5.2, $2.90$2.77$2611 小时1.3×1.4×
Kimi K3.1 Pro, 8.70 美元、限时 2 小时$7.62$3113 小时1.2×1.6×
DeepSeek V4.1 Flash, $2.90$2.61$2610 小时1.2×1.3×
DeepSeek V4.1 Flash, 零样本$0.01$239.2 小时1.1×1.1×
Claude Fable 5.2, 8.70 美元、限时 4 小时$8.01$3112 小时1.1×1.5×
Opus 5.5, $8.70$8.28$3211 小时1.0×1.4×
DeepSeek V4.1 Flash, $8.70$7.98$3111 小时1.0×1.3×
GPT-6.2 Astra, $8.70$8.61$3211 小时1.0×1.3×
Opus 5.5, 零样本$0.00$237.8 小时1.0×1.0×
Opus 5.5, $2.90$2.67$267.9 小时0.88×1.0×
Claude Fable 5.2, 8.70 美元、限时 2 小时$7.42$319.1 小时0.86×1.1×
DeepSeek V4.1 Flash, 8.70 美元、限时 2 小时$7.56$318.9 小时0.84×1.1×
GPT-6.2 Sol, $8.70$8.57$328.3 小时0.76×1.0×
DeepSeek V4.1 Flash, 8.70 美元、限时 4 小时$8.09$317.9 小时0.74×1.0×
GPT-6.2 Astra, 零样本$0.01$235.9 小时0.73×0.73×
Kimi K3.1 Pro, $2.90$2.69$266.5 小时0.73×0.82×
Kimi K3.1 Pro, $8.70$8.29$327.9 小时0.73×1.0×
Claude Fable 5.2, $8.70$8.38$327.6 小时0.70×0.95×
GPT-6.2 Sol, $2.90$2.78$266.1 小时0.69×0.77×
Opus 5.5, 8.70 美元、限时 2 小时$7.37$317.2 小时0.68×0.90×
Claude Fable 5.2, 零样本$0.01$235.4 小时0.68×0.68×
Gemini 4 Neon, 8.70 美元、限时 2 小时$6.59$306.8 小时0.66×0.85×
GPT-6.2 Astra, $2.90$2.87$265.9 小时0.65×0.73×
Opus 5.5, 8.70 美元、限时 4 小时$8.42$326.7 小时0.62×0.84×
Gemini 4 Neon, 零样本$0.01$234.9 小时0.62×0.62×
GPT-6.2 Sol, $23$23$469.8 小时0.62×1.2×
DeepSeek V4.1 Flash, $23$21$449.3 小时0.61×1.2×
GPT-6.2 Sol, 8.70 美元、限时 4 小时$8.38$326.2 小时0.57×0.78×
GPT-6.2 Sol, 零样本$0.01$234 小时0.49×0.50×
Kimi K3.1 Pro, 8.70 美元、限时 4 小时$8.49$325.4 小时0.49×0.67×
Kimi K3.1 Pro, $23$23$467.7 小时0.49×1.0×
Opus 5.5, $23$23$467.1 小时0.45×0.89×
Claude Fable 5.2, $23$23$467.1 小时0.45×0.89×
GPT-6.2 Astra, 8.70 美元、限时 4 小时$8.46$323.1 小时0.29×0.39×
GPT-6.2 Astra, $23$23$461.4 小时0.09×0.18×

研究判断优秀的智能体研究者做对了什么?

实验纪律

大多数模型都能提出看似合理的改动,研究能力的差别体现在怎么验证。以宝可梦为例,GPT-6.1 Sol 和 GPT-6 Astra 按最终评测的时长启动完整的 1 小时训练,跑完后评估一次,再继续下一项实验。每次研究使用 200 万到 400 万个提示词元。较弱的模型则反复中断 5 到 20 分钟的短实验,平均消耗 3,000 万到 8,000 万个词元。这些短实验难以预测完整 1 小时训练的表现。

图 4. 宝可梦训练按其在研究会话中的实际时间排列。颜色代表私有评测强度:青色高于基线,品红色低于基线。叉号标记中止,菱形标记练习评估,旗帜标记提交。
0 小时1 小时2 小时3 小时4 小时5 小时最终GPT-6.1 SolGPT-6.1 Sol · 0:07–1:03 · 计划 60 分钟 · 私有评测提升 +11.46GPT-6.1 Sol · 1:12–2:08 · 计划 60 分钟 · 私有评测提升 +18.88GPT-6.1 Sol · 2:22–3:17 · 计划 60 分钟 · 私有评测提升 +18.1GPT-6.1 Sol · 3:28–4:23 · 计划 60 分钟 · 私有评测提升 +11.59GPT-6.1 Sol · 4:30–4:34 · 计划 7 分钟 · 私有评测提升 -0.13+17.3GPT-6 AstraGPT-6 Astra · 0:02–0:28 · 计划 30 分钟 · 私有评测提升 -3.78GPT-6 Astra · 0:42–1:38 · 计划 60 分钟 · 私有评测提升 +12.5GPT-6 Astra · 1:46–2:41 · 计划 60 分钟 · 私有评测提升 +11.98GPT-6 Astra · 2:46–3:42 · 计划 60 分钟 · 私有评测提升 +13.41GPT-6 Astra · 3:52–4:24 · 计划 37 分钟 · 私有评测提升 +14.19+14.1Inkling 2 SmallInkling 2 Small · 0:09–1:05 · 计划 60 分钟 · 私有评测提升 +3.65Inkling 2 Small · 1:15–2:10 · 计划 60 分钟 · 私有评测提升 +4.95Inkling 2 Small · 2:21–3:16 · 计划 60 分钟 · 私有评测提升 +6.12Inkling 2 Small · 3:24–4:20 · 计划 60 分钟 · 私有评测提升 +6.9+5.0DeepSeek V4 ProDeepSeek V4 Pro · 0:15–0:31 · 计划 20 分钟 · 私有评测提升 -0.26DeepSeek V4 Pro · 0:37–1:32 · 计划 60 分钟 · 私有评测提升 +11.72DeepSeek V4 Pro · 1:39–2:34 · 计划 60 分钟 · 私有评测提升 +9.51DeepSeek V4 Pro · 2:39–3:34 · 计划 60 分钟 · 私有评测提升 +14.06DeepSeek V4 Pro · 3:41–4:17 · 计划 40 分钟 · 私有评测提升 +8.2+7.0GPT-6 LunaGPT-6 Luna · 0:04–0:46 · 计划 60 分钟 · 私有评测提升 +4.95GPT-6 Luna · 0:54–1:38 · 计划 60 分钟 · 私有评测提升 -2.47GPT-6 Luna · 1:43–2:02 · 计划 60 分钟 · 私有评测提升 -4.17GPT-6 Luna · 2:07–2:58 · 计划 60 分钟 · 私有评测提升 -4.69GPT-6 Luna · 3:03–3:05 · 计划 60 分钟 · 私有评测提升 -9.51GPT-6 Luna · 3:11–3:13 · 计划 60 分钟 · 私有评测提升 -5.99GPT-6 Luna · 3:18–3:20 · 计划 60 分钟 · 私有评测提升 -7.68GPT-6 Luna · 3:25–3:26 · 计划 60 分钟 · 私有评测提升 -10.03GPT-6 Luna · 3:31–3:37 · 计划 50 分钟 · 私有评测提升 -6.25GPT-6 Luna · 3:42–3:43 · 计划 50 分钟 · 私有评测提升 -10.03GPT-6 Luna · 3:44–3:45 · 计划 50 分钟 · 私有评测提升 -13.41GPT-6 Luna · 3:50–3:56 · 计划 45 分钟 · 私有评测提升 -4.69GPT-6 Luna · 4:02–4:04 · 计划 40 分钟 · 私有评测提升 -6.9GPT-6 Luna · 4:08–4:10 · 计划 30 分钟 · 私有评测提升 -5.08GPT-6 Luna · 4:16–4:17 · 计划 30 分钟 · 私有评测提升 -10.81GPT-6 Luna · 4:21–4:23 · 计划 25 分钟 · 私有评测提升 -7.16GPT-6 Luna · 4:25–4:27 · 计划 25 分钟 · 私有评测提升 -5.99GPT-6 Luna · 4:32–4:33 · 计划 3 分钟 · 私有评测提升 -8.07GPT-6 Luna · 4:36–4:38 · 计划 20 分钟 · 私有评测提升 -6.12+2.9Kimi K3Kimi K3 · 0:09–1:04 · 计划 60 分钟 · 私有评测提升 -2.21Kimi K3 · 1:11–1:46 · 计划 40 分钟 · 私有评测提升 -3.26Kimi K3 · 1:52–2:48 · 计划 60 分钟 · 私有评测提升 -1.69Kimi K3 · 2:55–3:50 · 计划 60 分钟 · 私有评测提升 -1.95Kimi K3 · 3:54–4:11 · 计划 22 分钟 · 私有评测提升 -2.47+3.3GLM-5.3GLM-5.3 · 0:04–0:08 · 计划 30 分钟 · 私有评测提升 -5.34GLM-5.3 · 0:14–0:19 · 计划 10 分钟 · 私有评测提升 -6.64GLM-5.3 · 0:24–0:28 · 计划 10 分钟 · 私有评测提升 -6.12GLM-5.3 · 0:32–1:27 · 计划 60 分钟 · 私有评测提升 +2.34GLM-5.3 · 1:35–2:30 · 计划 60 分钟 · 私有评测提升 +1.04GLM-5.3 · 2:35–2:39 · 计划 10 分钟 · 私有评测提升 -4.04GLM-5.3 · 2:42–3:38 · 计划 60 分钟 · 私有评测提升 +0.26GLM-5.3 · 3:44–4:09 · 计划 30 分钟 · 私有评测提升 -3.39-0.5
训练,按私有评测提升着色练习评估中止训练提交方案代码或配置检查
「最终」是主办方按提交方案从头重训所得网络的提升分数。
0 小时1 小时2 小时3 小时4 小时5 小时最终GPT-6.1 Sol a1GPT-6.1 Sol · 0:07–1:03 · 计划 60 分钟 · 私有评测提升 +11.46GPT-6.1 Sol · 1:12–2:08 · 计划 60 分钟 · 私有评测提升 +18.88GPT-6.1 Sol · 2:22–3:17 · 计划 60 分钟 · 私有评测提升 +18.1GPT-6.1 Sol · 3:28–4:23 · 计划 60 分钟 · 私有评测提升 +11.59GPT-6.1 Sol · 4:30–4:34 · 计划 7 分钟 · 私有评测提升 -0.13+17.3GPT-6 Astra a1GPT-6 Astra · 0:02–0:28 · 计划 30 分钟 · 私有评测提升 -3.78GPT-6 Astra · 0:42–1:38 · 计划 60 分钟 · 私有评测提升 +12.5GPT-6 Astra · 1:46–2:41 · 计划 60 分钟 · 私有评测提升 +11.98GPT-6 Astra · 2:46–3:42 · 计划 60 分钟 · 私有评测提升 +13.41GPT-6 Astra · 3:52–4:24 · 计划 37 分钟 · 私有评测提升 +14.19+14.1Inkling 2 Small a1Inkling 2 Small · 0:09–1:05 · 计划 60 分钟 · 私有评测提升 +3.65Inkling 2 Small · 1:15–2:10 · 计划 60 分钟 · 私有评测提升 +4.95Inkling 2 Small · 2:21–3:16 · 计划 60 分钟 · 私有评测提升 +6.12Inkling 2 Small · 3:24–4:20 · 计划 60 分钟 · 私有评测提升 +6.9+5.0DeepSeek V4 Pro a2DeepSeek V4 Pro · 0:15–0:31 · 计划 20 分钟 · 私有评测提升 -0.26DeepSeek V4 Pro · 0:37–1:32 · 计划 60 分钟 · 私有评测提升 +11.72DeepSeek V4 Pro · 1:39–2:34 · 计划 60 分钟 · 私有评测提升 +9.51DeepSeek V4 Pro · 2:39–3:34 · 计划 60 分钟 · 私有评测提升 +14.06DeepSeek V4 Pro · 3:41–4:17 · 计划 40 分钟 · 私有评测提升 +8.2+7.0GPT-6 Luna a1GPT-6 Luna · 0:04–0:46 · 计划 60 分钟 · 私有评测提升 +4.95GPT-6 Luna · 0:54–1:38 · 计划 60 分钟 · 私有评测提升 -2.47GPT-6 Luna · 1:43–2:02 · 计划 60 分钟 · 私有评测提升 -4.17GPT-6 Luna · 2:07–2:58 · 计划 60 分钟 · 私有评测提升 -4.69GPT-6 Luna · 3:03–3:05 · 计划 60 分钟 · 私有评测提升 -9.51GPT-6 Luna · 3:11–3:13 · 计划 60 分钟 · 私有评测提升 -5.99GPT-6 Luna · 3:18–3:20 · 计划 60 分钟 · 私有评测提升 -7.68GPT-6 Luna · 3:25–3:26 · 计划 60 分钟 · 私有评测提升 -10.03GPT-6 Luna · 3:31–3:37 · 计划 50 分钟 · 私有评测提升 -6.25GPT-6 Luna · 3:42–3:43 · 计划 50 分钟 · 私有评测提升 -10.03GPT-6 Luna · 3:44–3:45 · 计划 50 分钟 · 私有评测提升 -13.41GPT-6 Luna · 3:50–3:56 · 计划 45 分钟 · 私有评测提升 -4.69GPT-6 Luna · 4:02–4:04 · 计划 40 分钟 · 私有评测提升 -6.9GPT-6 Luna · 4:08–4:10 · 计划 30 分钟 · 私有评测提升 -5.08GPT-6 Luna · 4:16–4:17 · 计划 30 分钟 · 私有评测提升 -10.81GPT-6 Luna · 4:21–4:23 · 计划 25 分钟 · 私有评测提升 -7.16GPT-6 Luna · 4:25–4:27 · 计划 25 分钟 · 私有评测提升 -5.99GPT-6 Luna · 4:32–4:33 · 计划 3 分钟 · 私有评测提升 -8.07GPT-6 Luna · 4:36–4:38 · 计划 20 分钟 · 私有评测提升 -6.12+2.9Kimi K3 a1Kimi K3 · 0:09–1:04 · 计划 60 分钟 · 私有评测提升 -2.21Kimi K3 · 1:11–1:46 · 计划 40 分钟 · 私有评测提升 -3.26Kimi K3 · 1:52–2:48 · 计划 60 分钟 · 私有评测提升 -1.69Kimi K3 · 2:55–3:50 · 计划 60 分钟 · 私有评测提升 -1.95Kimi K3 · 3:54–4:11 · 计划 22 分钟 · 私有评测提升 -2.47+3.3GLM-5.3 a1GLM-5.3 · 0:04–0:08 · 计划 30 分钟 · 私有评测提升 -5.34GLM-5.3 · 0:14–0:19 · 计划 10 分钟 · 私有评测提升 -6.64GLM-5.3 · 0:24–0:28 · 计划 10 分钟 · 私有评测提升 -6.12GLM-5.3 · 0:32–1:27 · 计划 60 分钟 · 私有评测提升 +2.34GLM-5.3 · 1:35–2:30 · 计划 60 分钟 · 私有评测提升 +1.04GLM-5.3 · 2:35–2:39 · 计划 10 分钟 · 私有评测提升 -4.04GLM-5.3 · 2:42–3:38 · 计划 60 分钟 · 私有评测提升 +0.26GLM-5.3 · 3:44–4:09 · 计划 30 分钟 · 私有评测提升 -3.39-0.5
训练,按私有评测提升着色练习评估中止训练提交方案代码或配置检查
「最终」是主办方按提交方案从头重训所得网络的提升分数。
查看第 2 次尝试
0 小时1 小时2 小时3 小时4 小时5 小时最终GPT-6.1 SolGPT-6.1 Sol · 0:04–0:55 · 计划 55 分钟 · 私有评测提升 +12.76GPT-6.1 Sol · 1:05–1:55 · 计划 55 分钟 · 私有评测提升 +15.76GPT-6.1 Sol · 2:03–2:53 · 计划 55 分钟 · 私有评测提升 +14.58GPT-6.1 Sol · 2:57–3:53 · 计划 60 分钟 · 私有评测提升 +22.01GPT-6.1 Sol · 4:03–4:19 · 计划 20 分钟 · 私有评测提升 +13.28GPT-6.1 Sol · 4:26–4:27 · 计划 3 分钟 · 私有评测提升 -1.43+20.4GPT-6 AstraGPT-6 Astra · 0:03–0:28 · 计划 30 分钟 · 私有评测提升 -4.56GPT-6 Astra · 0:43–1:39 · 计划 60 分钟 · 私有评测提升 +13.93GPT-6 Astra · 1:48–2:43 · 计划 60 分钟 · 私有评测提升 +11.72GPT-6 Astra · 2:58–3:53 · 计划 60 分钟 · 私有评测提升 +13.02GPT-6 Astra · 4:01–4:35 · 计划 38 分钟 · 私有评测提升 +12.24+12.9Inkling 2 SmallInkling 2 Small · 0:03–0:59 · 计划 60 分钟 · 私有评测提升 +1.04Inkling 2 Small · 1:07–2:02 · 计划 60 分钟 · 私有评测提升 +3.26Inkling 2 Small · 2:12–3:08 · 计划 60 分钟 · 私有评测提升 +1.17Inkling 2 Small · 3:16–4:11 · 计划 60 分钟 · 私有评测提升 +10.42+12.5DeepSeek V4 ProDeepSeek V4 Pro · 0:05–0:06 · 计划 3 分钟 · 私有评测提升 -11.2DeepSeek V4 Pro · 0:10–0:11 · 计划 3 分钟 · 私有评测提升 -9.9DeepSeek V4 Pro · 0:12–1:08 · 计划 60 分钟 · 私有评测提升 -1.04DeepSeek V4 Pro · 1:14–1:15 · 计划 3 分钟 · 私有评测提升 -10.55DeepSeek V4 Pro · 1:17–2:12 · 计划 60 分钟 · 私有评测提升 +5.47DeepSeek V4 Pro · 2:19–2:20 · 计划 3 分钟 · 私有评测提升 -10.03DeepSeek V4 Pro · 2:21–3:17 · 计划 60 分钟 · 私有评测提升 +4.82DeepSeek V4 Pro · 3:21–3:58 · 计划 60 分钟 · 私有评测提升 -1.82+3.3GPT-6 LunaGPT-6 Luna · 0:04–0:59 · 计划 60 分钟 · 私有评测提升 +1.3GPT-6 Luna · 1:07–2:03 · 计划 60 分钟 · 私有评测提升 -4.69GPT-6 Luna · 2:08–3:03 · 计划 60 分钟 · 私有评测提升 -2.6GPT-6 Luna · 3:09–3:26 · 计划 60 分钟 · 私有评测提升 -5.6GPT-6 Luna · 3:30–3:55 · 计划 30 分钟 · 私有评测提升 -2.73-2.3Kimi K3Kimi K3 · 0:06–0:07 · 计划 3 分钟 · 私有评测提升 -8.98Kimi K3 · 0:08–0:28 · 计划 25 分钟 · 私有评测提升 -4.56Kimi K3 · 0:32–1:28 · 计划 60 分钟 · 私有评测提升 +1.69Kimi K3 · 1:33–2:28 · 计划 60 分钟 · 私有评测提升 +1.17Kimi K3 · 2:33–3:14 · 计划 45 分钟 · 私有评测提升 +1.69Kimi K3 · 3:18–3:54 · 计划 40 分钟 · 私有评测提升 +0.26+3.6GLM-5.3GLM-5.3 · 0:04–0:30 · 计划 30 分钟 · 私有评测提升 -1.04GLM-5.3 · 0:37–1:02 · 计划 30 分钟 · 私有评测提升 -1.43GLM-5.3 · 1:10–1:35 · 计划 30 分钟 · 私有评测提升 +1.04GLM-5.3 · 1:43–2:08 · 计划 30 分钟 · 私有评测提升 -3.39GLM-5.3 · 2:13–2:14 · 计划 3 分钟 · 私有评测提升 -11.72GLM-5.3 · 2:17–3:13 · 计划 60 分钟 · 私有评测提升 -1.82GLM-5.3 · 3:16–3:42 · 计划 30 分钟 · 私有评测提升 -3.39GLM-5.3 · 3:47–4:03 · 计划 20 分钟 · 私有评测提升 -2.6GLM-5.3 · 4:06–4:22 · 计划 20 分钟 · 私有评测提升 -2.21-0.7
训练,按私有评测提升着色练习评估中止训练提交方案代码或配置检查
「最终」是主办方按提交方案从头重训所得网络的提升分数。
0 小时1 小时2 小时3 小时4 小时5 小时最终GPT-6.1 Sol a2GPT-6.1 Sol · 0:04–0:55 · 计划 55 分钟 · 私有评测提升 +12.76GPT-6.1 Sol · 1:05–1:55 · 计划 55 分钟 · 私有评测提升 +15.76GPT-6.1 Sol · 2:03–2:53 · 计划 55 分钟 · 私有评测提升 +14.58GPT-6.1 Sol · 2:57–3:53 · 计划 60 分钟 · 私有评测提升 +22.01GPT-6.1 Sol · 4:03–4:19 · 计划 20 分钟 · 私有评测提升 +13.28GPT-6.1 Sol · 4:26–4:27 · 计划 3 分钟 · 私有评测提升 -1.43+20.4GPT-6 Astra a2GPT-6 Astra · 0:03–0:28 · 计划 30 分钟 · 私有评测提升 -4.56GPT-6 Astra · 0:43–1:39 · 计划 60 分钟 · 私有评测提升 +13.93GPT-6 Astra · 1:48–2:43 · 计划 60 分钟 · 私有评测提升 +11.72GPT-6 Astra · 2:58–3:53 · 计划 60 分钟 · 私有评测提升 +13.02GPT-6 Astra · 4:01–4:35 · 计划 38 分钟 · 私有评测提升 +12.24+12.9Inkling 2 Small b2Inkling 2 Small · 0:03–0:59 · 计划 60 分钟 · 私有评测提升 +1.04Inkling 2 Small · 1:07–2:02 · 计划 60 分钟 · 私有评测提升 +3.26Inkling 2 Small · 2:12–3:08 · 计划 60 分钟 · 私有评测提升 +1.17Inkling 2 Small · 3:16–4:11 · 计划 60 分钟 · 私有评测提升 +10.42+12.5DeepSeek V4 Pro b1DeepSeek V4 Pro · 0:05–0:06 · 计划 3 分钟 · 私有评测提升 -11.2DeepSeek V4 Pro · 0:10–0:11 · 计划 3 分钟 · 私有评测提升 -9.9DeepSeek V4 Pro · 0:12–1:08 · 计划 60 分钟 · 私有评测提升 -1.04DeepSeek V4 Pro · 1:14–1:15 · 计划 3 分钟 · 私有评测提升 -10.55DeepSeek V4 Pro · 1:17–2:12 · 计划 60 分钟 · 私有评测提升 +5.47DeepSeek V4 Pro · 2:19–2:20 · 计划 3 分钟 · 私有评测提升 -10.03DeepSeek V4 Pro · 2:21–3:17 · 计划 60 分钟 · 私有评测提升 +4.82DeepSeek V4 Pro · 3:21–3:58 · 计划 60 分钟 · 私有评测提升 -1.82+3.3GPT-6 Luna a2GPT-6 Luna · 0:04–0:59 · 计划 60 分钟 · 私有评测提升 +1.3GPT-6 Luna · 1:07–2:03 · 计划 60 分钟 · 私有评测提升 -4.69GPT-6 Luna · 2:08–3:03 · 计划 60 分钟 · 私有评测提升 -2.6GPT-6 Luna · 3:09–3:26 · 计划 60 分钟 · 私有评测提升 -5.6GPT-6 Luna · 3:30–3:55 · 计划 30 分钟 · 私有评测提升 -2.73-2.3Kimi K3 a2Kimi K3 · 0:06–0:07 · 计划 3 分钟 · 私有评测提升 -8.98Kimi K3 · 0:08–0:28 · 计划 25 分钟 · 私有评测提升 -4.56Kimi K3 · 0:32–1:28 · 计划 60 分钟 · 私有评测提升 +1.69Kimi K3 · 1:33–2:28 · 计划 60 分钟 · 私有评测提升 +1.17Kimi K3 · 2:33–3:14 · 计划 45 分钟 · 私有评测提升 +1.69Kimi K3 · 3:18–3:54 · 计划 40 分钟 · 私有评测提升 +0.26+3.6GLM-5.3 a2GLM-5.3 · 0:04–0:30 · 计划 30 分钟 · 私有评测提升 -1.04GLM-5.3 · 0:37–1:02 · 计划 30 分钟 · 私有评测提升 -1.43GLM-5.3 · 1:10–1:35 · 计划 30 分钟 · 私有评测提升 +1.04GLM-5.3 · 1:43–2:08 · 计划 30 分钟 · 私有评测提升 -3.39GLM-5.3 · 2:13–2:14 · 计划 3 分钟 · 私有评测提升 -11.72GLM-5.3 · 2:17–3:13 · 计划 60 分钟 · 私有评测提升 -1.82GLM-5.3 · 3:16–3:42 · 计划 30 分钟 · 私有评测提升 -3.39GLM-5.3 · 3:47–4:03 · 计划 20 分钟 · 私有评测提升 -2.6GLM-5.3 · 4:06–4:22 · 计划 20 分钟 · 私有评测提升 -2.21-0.7
训练,按私有评测提升着色练习评估中止训练提交方案代码或配置检查
「最终」是主办方按提交方案从头重训所得网络的提升分数。
查看第 3 次尝试
0 小时1 小时2 小时3 小时4 小时5 小时最终GPT-6.1 SolGPT-6.1 Sol · 0:06–0:32 · 计划 30 分钟 · 私有评测提升 +15.49GPT-6.1 Sol · 0:43–1:39 · 计划 60 分钟 · 私有评测提升 +13.67GPT-6.1 Sol · 1:47–2:43 · 计划 60 分钟 · 私有评测提升 +18.1GPT-6.1 Sol · 2:44–3:09 · 计划 60 分钟 · 私有评测提升 +15.49GPT-6.1 Sol · 3:16–4:12 · 计划 60 分钟 · 私有评测提升 +9.38+13.3GPT-6 AstraGPT-6 Astra · 0:05–0:60 · 计划 60 分钟 · 私有评测提升 +14.19GPT-6 Astra · 1:17–2:13 · 计划 60 分钟 · 私有评测提升 暂无GPT-6 Astra · 2:28–3:23 · 计划 60 分钟 · 私有评测提升 +18.75GPT-6 Astra · 3:36–4:31 · 计划 60 分钟 · 私有评测提升 +10.68GPT-6 Astra · 4:43–4:47 · 计划 6 分钟 · 私有评测提升 -1.43+19.7Inkling 2 SmallInkling 2 Small · 0:02–0:56 · 计划 60 分钟 · 私有评测提升 +0.91Inkling 2 Small · 0:57–1:33 · 计划 60 分钟 · 私有评测提升 -0.65Inkling 2 Small · 1:41–2:12 · 计划 60 分钟 · 私有评测提升 -0.91Inkling 2 Small · 2:17–2:37 · 计划 60 分钟 · 私有评测提升 -5.21Inkling 2 Small · 2:43–3:01 · 计划 40 分钟 · 私有评测提升 -5.6Inkling 2 Small · 3:04–3:15 · 计划 60 分钟 · 私有评测提升 -4.95Inkling 2 Small · 3:21–3:42 · 计划 40 分钟 · 私有评测提升 -3.12Inkling 2 Small · 3:45–4:01 · 计划 20 分钟 · 私有评测提升 -7.68+1.3DeepSeek V4 ProDeepSeek V4 Pro · 0:11–0:15 · 计划 6 分钟 · 私有评测提升 -3.78DeepSeek V4 Pro · 0:20–0:31 · 计划 15 分钟 · 私有评测提升 -3.91DeepSeek V4 Pro · 0:35–0:46 · 计划 15 分钟 · 私有评测提升 -4.56DeepSeek V4 Pro · 0:50–1:00 · 计划 15 分钟 · 私有评测提升 -4.82DeepSeek V4 Pro · 1:05–1:16 · 计划 15 分钟 · 私有评测提升 -5.6DeepSeek V4 Pro · 1:20–1:31 · 计划 15 分钟 · 私有评测提升 +8.46DeepSeek V4 Pro · 1:36–1:47 · 计划 15 分钟 · 私有评测提升 +2.6DeepSeek V4 Pro · 1:51–2:16 · 计划 30 分钟 · 私有评测提升 +6.38DeepSeek V4 Pro · 2:20–3:15 · 计划 60 分钟 · 私有评测提升 +0.91DeepSeek V4 Pro · 3:21–3:46 · 计划 30 分钟 · 私有评测提升 +5.73DeepSeek V4 Pro · 3:50–4:16 · 计划 30 分钟 · 私有评测提升 +3.52+4.8GPT-6 LunaGPT-6 Luna · 0:05–1:00 · 计划 60 分钟 · 私有评测提升 +4.95GPT-6 Luna · 1:05–2:01 · 计划 60 分钟 · 私有评测提升 +6.51GPT-6 Luna · 2:07–3:03 · 计划 60 分钟 · 私有评测提升 +8.46GPT-6 Luna · 3:08–4:04 · 计划 60 分钟 · 私有评测提升 +7.03GPT-6 Luna · 4:11–4:12 · 计划 3 分钟 · 私有评测提升 -7.42+11.5Kimi K3Kimi K3 · 0:08–0:11 · 计划 5 分钟 · 私有评测提升 -10.94Kimi K3 · 0:11–1:07 · 计划 60 分钟 · 私有评测提升 -2.34Kimi K3 · 1:12–2:07 · 计划 60 分钟 · 私有评测提升 -4.56Kimi K3 · 2:11–3:06 · 计划 60 分钟 · 私有评测提升 -4.82Kimi K3 · 3:10–4:06 · 计划 60 分钟 · 私有评测提升 -2.86-2.5GLM-5.3GLM-5.3 · 0:02–0:13 · 计划 15 分钟 · 私有评测提升 -3.26GLM-5.3 · 0:18–0:29 · 计划 15 分钟 · 私有评测提升 -4.17GLM-5.3 · 0:34–0:44 · 计划 15 分钟 · 私有评测提升 -1.95GLM-5.3 · 1:13–1:24 · 计划 15 分钟 · 私有评测提升 -3.78GLM-5.3 · 1:29–1:39 · 计划 15 分钟 · 私有评测提升 -4.56GLM-5.3 · 1:44–1:54 · 计划 15 分钟 · 私有评测提升 -3.12GLM-5.3 · 1:59–2:55 · 计划 60 分钟 · 私有评测提升 -2.21GLM-5.3 · 2:59–3:09 · 计划 15 分钟 · 私有评测提升 -3.39GLM-5.3 · 3:13–3:24 · 计划 15 分钟 · 私有评测提升 -1.82GLM-5.3 · 3:29–3:39 · 计划 15 分钟 · 私有评测提升 -4.04GLM-5.3 · 3:44–3:54 · 计划 15 分钟 · 私有评测提升 -1.56GLM-5.3 · 3:59–4:10 · 计划 15 分钟 · 私有评测提升 -2.99GLM-5.3 · 4:14–4:25 · 计划 15 分钟 · 私有评测提升 -1.3GLM-5.3 · 4:29–4:40 · 计划 15 分钟 · 私有评测提升 -2.47+3.0
训练,按私有评测提升着色练习评估中止训练提交方案代码或配置检查
「最终」是主办方按提交方案从头重训所得网络的提升分数。
0 小时1 小时2 小时3 小时4 小时5 小时最终GPT-6.1 Sol a3GPT-6.1 Sol · 0:06–0:32 · 计划 30 分钟 · 私有评测提升 +15.49GPT-6.1 Sol · 0:43–1:39 · 计划 60 分钟 · 私有评测提升 +13.67GPT-6.1 Sol · 1:47–2:43 · 计划 60 分钟 · 私有评测提升 +18.1GPT-6.1 Sol · 2:44–3:09 · 计划 60 分钟 · 私有评测提升 +15.49GPT-6.1 Sol · 3:16–4:12 · 计划 60 分钟 · 私有评测提升 +9.38+13.3GPT-6 Astra a3GPT-6 Astra · 0:05–0:60 · 计划 60 分钟 · 私有评测提升 +14.19GPT-6 Astra · 1:17–2:13 · 计划 60 分钟 · 私有评测提升 暂无GPT-6 Astra · 2:28–3:23 · 计划 60 分钟 · 私有评测提升 +18.75GPT-6 Astra · 3:36–4:31 · 计划 60 分钟 · 私有评测提升 +10.68GPT-6 Astra · 4:43–4:47 · 计划 6 分钟 · 私有评测提升 -1.43+19.7Inkling 2 Small b3Inkling 2 Small · 0:02–0:56 · 计划 60 分钟 · 私有评测提升 +0.91Inkling 2 Small · 0:57–1:33 · 计划 60 分钟 · 私有评测提升 -0.65Inkling 2 Small · 1:41–2:12 · 计划 60 分钟 · 私有评测提升 -0.91Inkling 2 Small · 2:17–2:37 · 计划 60 分钟 · 私有评测提升 -5.21Inkling 2 Small · 2:43–3:01 · 计划 40 分钟 · 私有评测提升 -5.6Inkling 2 Small · 3:04–3:15 · 计划 60 分钟 · 私有评测提升 -4.95Inkling 2 Small · 3:21–3:42 · 计划 40 分钟 · 私有评测提升 -3.12Inkling 2 Small · 3:45–4:01 · 计划 20 分钟 · 私有评测提升 -7.68+1.3DeepSeek V4 Pro b2DeepSeek V4 Pro · 0:11–0:15 · 计划 6 分钟 · 私有评测提升 -3.78DeepSeek V4 Pro · 0:20–0:31 · 计划 15 分钟 · 私有评测提升 -3.91DeepSeek V4 Pro · 0:35–0:46 · 计划 15 分钟 · 私有评测提升 -4.56DeepSeek V4 Pro · 0:50–1:00 · 计划 15 分钟 · 私有评测提升 -4.82DeepSeek V4 Pro · 1:05–1:16 · 计划 15 分钟 · 私有评测提升 -5.6DeepSeek V4 Pro · 1:20–1:31 · 计划 15 分钟 · 私有评测提升 +8.46DeepSeek V4 Pro · 1:36–1:47 · 计划 15 分钟 · 私有评测提升 +2.6DeepSeek V4 Pro · 1:51–2:16 · 计划 30 分钟 · 私有评测提升 +6.38DeepSeek V4 Pro · 2:20–3:15 · 计划 60 分钟 · 私有评测提升 +0.91DeepSeek V4 Pro · 3:21–3:46 · 计划 30 分钟 · 私有评测提升 +5.73DeepSeek V4 Pro · 3:50–4:16 · 计划 30 分钟 · 私有评测提升 +3.52+4.8GPT-6 Luna a3GPT-6 Luna · 0:05–1:00 · 计划 60 分钟 · 私有评测提升 +4.95GPT-6 Luna · 1:05–2:01 · 计划 60 分钟 · 私有评测提升 +6.51GPT-6 Luna · 2:07–3:03 · 计划 60 分钟 · 私有评测提升 +8.46GPT-6 Luna · 3:08–4:04 · 计划 60 分钟 · 私有评测提升 +7.03GPT-6 Luna · 4:11–4:12 · 计划 3 分钟 · 私有评测提升 -7.42+11.5Kimi K3 a3Kimi K3 · 0:08–0:11 · 计划 5 分钟 · 私有评测提升 -10.94Kimi K3 · 0:11–1:07 · 计划 60 分钟 · 私有评测提升 -2.34Kimi K3 · 1:12–2:07 · 计划 60 分钟 · 私有评测提升 -4.56Kimi K3 · 2:11–3:06 · 计划 60 分钟 · 私有评测提升 -4.82Kimi K3 · 3:10–4:06 · 计划 60 分钟 · 私有评测提升 -2.86-2.5GLM-5.3 a3GLM-5.3 · 0:02–0:13 · 计划 15 分钟 · 私有评测提升 -3.26GLM-5.3 · 0:18–0:29 · 计划 15 分钟 · 私有评测提升 -4.17GLM-5.3 · 0:34–0:44 · 计划 15 分钟 · 私有评测提升 -1.95GLM-5.3 · 1:13–1:24 · 计划 15 分钟 · 私有评测提升 -3.78GLM-5.3 · 1:29–1:39 · 计划 15 分钟 · 私有评测提升 -4.56GLM-5.3 · 1:44–1:54 · 计划 15 分钟 · 私有评测提升 -3.12GLM-5.3 · 1:59–2:55 · 计划 60 分钟 · 私有评测提升 -2.21GLM-5.3 · 2:59–3:09 · 计划 15 分钟 · 私有评测提升 -3.39GLM-5.3 · 3:13–3:24 · 计划 15 分钟 · 私有评测提升 -1.82GLM-5.3 · 3:29–3:39 · 计划 15 分钟 · 私有评测提升 -4.04GLM-5.3 · 3:44–3:54 · 计划 15 分钟 · 私有评测提升 -1.56GLM-5.3 · 3:59–4:10 · 计划 15 分钟 · 私有评测提升 -2.99GLM-5.3 · 4:14–4:25 · 计划 15 分钟 · 私有评测提升 -1.3GLM-5.3 · 4:29–4:40 · 计划 15 分钟 · 私有评测提升 -2.47+3.0
训练,按私有评测提升着色练习评估中止训练提交方案代码或配置检查
「最终」是主办方按提交方案从头重训所得网络的提升分数。
查看各次训练的数据
尝试按时间排列的训练(分钟数 → 私有评测提升)中止次数练习评估最终提升
GPT-6.1 Sol a155 分 → +11.46, 56 分 → +18.88, 55 分 → +18.1, 55 分 → +11.59, 5 分 → -0.1305+17.3
GPT-6.1 Sol a251 分 → +12.76, 50 分 → +15.76, 50 分 → +14.58, 56 分 → +22.01, 15 分 → +13.28, 1 分 → -1.4306+20.4
GPT-6.1 Sol a325 分 → +15.49, 55 分 → +13.67, 56 分 → +18.1, 25 分 → +15.49, 55 分 → +9.38010+13.3
GPT-6 Astra a125 分 → -3.78, 55 分 → +12.5, 55 分 → +11.98, 55 分 → +13.41, 32 分 → +14.1905+14.1
GPT-6 Astra a225 分 → -4.56, 55 分 → +13.93, 55 分 → +11.72, 55 分 → +13.02, 34 分 → +12.2405+12.9
GPT-6 Astra a355 分 → +14.19, 55 分 → ?, 55 分 → +18.75, 56 分 → +10.68, 4 分 → -1.4304+19.7
Inkling 2 Small a155 分 → +3.65, 55 分 → +4.95, 55 分 → +6.12, 55 分 → +6.904+5
Inkling 2 Small b255 分 → +1.04, 55 分 → +3.26, 55 分 → +1.17, 55 分 → +10.4204+12.5
Inkling 2 Small b354 分 → +0.91, 36 分 → -0.65, 31 分 → -0.91, 21 分 → -5.21, 18 分 → -5.6, 11 分 → -4.95, 21 分 → -3.12, 15 分 → -7.6878+1.3
DeepSeek V4 Pro a216 分 → -0.26, 55 分 → +11.72, 55 分 → +9.51, 55 分 → +14.06, 36 分 → +8.205+7
DeepSeek V4 Pro b11 分 → -11.2, 1 分 → -9.9, 55 分 → -1.04, 1 分 → -10.55, 55 分 → +5.47, 1 分 → -10.03, 55 分 → +4.82, 38 分 → -1.8215+3.3
DeepSeek V4 Pro b24 分 → -3.78, 10 分 → -3.91, 10 分 → -4.56, 10 分 → -4.82, 11 分 → -5.6, 11 分 → +8.46, 10 分 → +2.6, 26 分 → +6.38, 55 分 → +0.91, 26 分 → +5.73, 25 分 → +3.52011+4.8
GPT-6 Luna a142 分 → +4.95, 44 分 → -2.47, 18 分 → -4.17, 50 分 → -4.69, 2 分 → -9.51, 2 分 → -5.99, 2 分 → -7.68, 1 分 → -10.03, 6 分 → -6.25, 1 分 → -10.03, 1 分 → -13.41, 7 分 → -4.69, 2 分 → -6.9, 2 分 → -5.08, 1 分 → -10.81, 2 分 → -7.16, 2 分 → -5.99, 1 分 → -8.07, 2 分 → -6.122116+2.9
GPT-6 Luna a255 分 → +1.3, 55 分 → -4.69, 56 分 → -2.6, 17 分 → -5.6, 25 分 → -2.7325-2.3
GPT-6 Luna a355 分 → +4.95, 55 分 → +6.51, 56 分 → +8.46, 55 分 → +7.03, 1 分 → -7.4205+11.5
Kimi K3 a155 分 → -2.21, 35 分 → -3.26, 56 分 → -1.69, 55 分 → -1.95, 17 分 → -2.4706+3.3
Kimi K3 a21 分 → -8.98, 20 分 → -4.56, 55 分 → +1.69, 55 分 → +1.17, 41 分 → +1.69, 35 分 → +0.2605+3.6
Kimi K3 a33 分 → -10.94, 55 分 → -2.34, 55 分 → -4.56, 56 分 → -4.82, 55 分 → -2.8604-2.5
GLM-5.3 a14 分 → -5.34, 5 分 → -6.64, 4 分 → -6.12, 55 分 → +2.34, 55 分 → +1.04, 4 分 → -4.04, 55 分 → +0.26, 25 分 → -3.3948-0.5
GLM-5.3 a226 分 → -1.04, 25 分 → -1.43, 25 分 → +1.04, 26 分 → -3.39, 1 分 → -11.72, 56 分 → -1.82, 25 分 → -3.39, 15 分 → -2.6, 15 分 → -2.2109-0.7
GLM-5.3 a311 分 → -3.26, 10 分 → -4.17, 10 分 → -1.95, 10 分 → -3.78, 10 分 → -4.56, 10 分 → -3.12, 55 分 → -2.21, 10 分 → -3.39, 11 分 → -1.82, 10 分 → -4.04, 10 分 → -1.56, 11 分 → -2.99, 10 分 → -1.3, 10 分 → -2.47014+3

智能体会修复慢速模拟器吗?

我们通常会在工作区提供快速模拟器。在一项单独的 Generals.io 测试中,我们给智能体一个每次只能模拟一局的纯 Python 模拟器,没有提示运行速度。我们在 12 万个游戏时间步上核对了它与主办方高速引擎的一致性。练习赛、最终评测和循环赛都使用高速引擎,因此智能体可以重写自己的训练模拟器,而评测所依据的游戏规则保持一致。

四个智能体都发现了瓶颈。Claude Opus 5.5 和 GPT-6.1 Sol 实现了批量模拟,与原实现核对行为后,分别以每秒约 14,600 和 5,400 个游戏时间步进行训练。DeepSeek V4 Pro 和 Kimi K3.1 Pro 继续使用原有引擎,速度分别约为每秒 565 和 630 个时间步。重写模拟器的两个模型包揽了循环赛前两名。它们的训练方案还有其他差异,因此比赛结果反映的是各自整套策略在预算内的效果。

哪些改动经得起长时间训练?

我们把 Polytopia 方案分别重训 1 小时和 8 小时,以区分短期技巧和持续收益。更好的游戏特征在 8 小时后仍然有效。提高学习率和手写策略提示的优势则会消失,有时甚至会拖累后期表现。

方法具体做法1 小时后8 小时后证据强度
机会地图让机器人看到每个格子上可采取的行动▲ 有帮助▲ 有帮助低,两套方案来自同一研究者
按回合归因用游戏回合计量时间,而非单条指令▲ 有帮助▲ 有帮助低,两套方案、一次公平比较
缩小价值网络让判断局面优劣的网络更小● 大致持平● 大致持平低,一套方案
加大更新幅度将学习率提高到约 3 倍▲ 有帮助● 大致持平1 小时结果证据强,有对照实验
手写策略提示把 Polytopia 的游戏经验直接写进机器人● 大致持平▼ 有负面影响中,八套方案,无公平比较
扩大网络增加层数或加宽各层● 大致持平● 大致持平高,多次在公平比较中落败
奖励中间进展对得分或经济增长发放中途奖励▼ 有负面影响● 大致持平中
使用共享网络将决策网络与价值网络合并● 大致持平▼ 有负面影响高,在公平比较中明显落败
与旧版本对弈用过去版本的自己作为练习对手所有测试均落败无提交中,尝试四次

预测哪次训练会胜出

预测实验模拟了研究人员购买算力之前要做的判断。测试既包含从头训练的最终方案,也包含研究过程中的单次训练。模型只能看到启动训练时已经掌握的信息。简单基线用训练时长和以往的练习赛成绩做预测。我们用其他研究会话的数据拟合基线,并以整场会话为单位进行重采样来估计不确定性,因为同一场会话内的实验共享历史信息。

优秀的研究人员需要预判哪些实验值得投入,目前的模型在这方面仍然较弱。面对 181 次匿名的宝可梦训练,模型只能看到启动前的资料。14 个模型中有 14 个胜过盲猜,只有 2 个(GPT-6.2 Astra、Gemini 4 Neon)稳定超过用训练时长和练习赛历史做预测的简单岭回归。看到四套 Polytopia 方案的 1 小时训练证据后,全部 14 个模型都把最终的 8 小时冠军排在最后一名。

图 5. 181 次宝可梦训练的预测能力(0 为盲猜,1 为完全正确)。区间是按会话估计的 90% 区间。虚线是用训练时长和练习赛历史拟合的岭回归基线(+0.29)。
显著优于回归基线与回归基线差异不显著显著弱于回归基线
0+0.10+0.20+0.30+0.40+0.50盲猜回归基线 +0.29相对预测能力(0 为盲猜,1 为完全正确)GPT-6.2 Astra+0.41Gemini 4 Neon+0.38Gemini 4 Carbon+0.37GPT-6 Astra+0.31Gemini 4 Hydrogen+0.31GPT-6.1 Sol+0.30Claude Fable 5.2+0.30GPT-6.2 Sol+0.28Meta Muse Wonder+0.23Claude Opus 5.5+0.22Tencent Hy4+0.21DeepSeek V4.1 Flash+0.20GLM-5.3+0.20Kimi K3.1 Pro+0.19

具体区间见数据表。

显著优于回归基线与回归基线差异不显著显著弱于回归基线
0+0.10+0.20+0.30+0.40+0.50盲猜回归基线 +0.29相对预测能力(0 为盲猜,1 为完全正确)GPT-6.2 Astra+0.41Gemini 4 Neon+0.38Gemini 4 Carbon+0.37GPT-6 Astra+0.31Gemini 4 Hydrogen+0.31GPT-6.1 Sol+0.30Claude Fable 5.2+0.30GPT-6.2 Sol+0.28Meta Muse Wonder+0.23Claude Opus 5.5+0.22Tencent Hy4+0.21DeepSeek V4.1 Flash+0.20GLM-5.3+0.20Kimi K3.1 Pro+0.19

具体区间见数据表。

查看数据表
预测模型相对预测能力(0 为盲猜,1 为完全正确)90% 区间相对于回归基线的优势优势的 90% 区间
GPT-6.2 Astra+0.41+0.33 至 +0.49+0.12+0.05 至 +0.18
Gemini 4 Neon+0.38+0.27 至 +0.47+0.09+0.01 至 +0.14
Gemini 4 Carbon+0.37+0.26 至 +0.47+0.08−0.00 至 +0.14
GPT-6 Astra+0.31+0.23 至 +0.39+0.02−0.04 至 +0.06
Gemini 4 Hydrogen+0.31+0.19 至 +0.42+0.02−0.07 至 +0.09
GPT-6.1 Sol+0.30+0.22 至 +0.39+0.02−0.04 至 +0.06
Claude Fable 5.2+0.30+0.23 至 +0.38+0.01−0.04 至 +0.06
GPT-6.2 Sol+0.28+0.20 至 +0.39−0.01−0.08 至 +0.07
Meta Muse Wonder+0.23+0.16 至 +0.35−0.05−0.11 至 +0.01
Claude Opus 5.5+0.22+0.15 至 +0.33−0.07−0.14 至 +0.01
Tencent Hy4+0.21+0.10 至 +0.34−0.08−0.15 至 +0.00
DeepSeek V4.1 Flash+0.20+0.12 至 +0.33−0.09−0.16 至 +0.00
GLM-5.3+0.20+0.11 至 +0.32−0.09−0.17 至 −0.00
Kimi K3.1 Pro+0.19+0.08 至 +0.31−0.10−0.18 至 −0.03
回归基线+0.290

结语

当软件真正普及,写代码只是第一步。我们预计,模型训练也会变成日常工作。智能体可以构建应用,训练应用所需的模型,再将这些模型部署为独立运行的组件。自主训练也是实现递归式自我改进的一块基石。它还可能让几乎任何细分任务都用得上专用模型,从农作物图像分类到嵌入临床软件的小型模型。我们建立这项基准,是为了衡量智能体在算力受限时有多擅长这类训练。

以游戏为例,开发期间规则可能天天变,持续运营的游戏上线后也会不断更新。如果智能体能随规则变化低成本地重训并测试机器人,工作室就能借它们检查游戏平衡,也能给玩家提供可靠的队友。更多开发者将能负担这两件事,尤其是难以抽出时间长期维护机器人的独立团队。

感谢 Modal 为本研究提供算力额度。


各项实验在 2026 年 11 月 11 日至 20 日期间进行,使用单张 NVIDIA L40S GPU。循环赛评分采用 Bradley–Terry 模型拟合。主办方在留出对局上评测从头重训的模型和直接提交的网络。Anthropic 的安全分类器中断了多场 Claude 会话,因此在 Hex、Generals.io 和 Polytopia 预算扫描中,Claude 使用中等推理强度,其他模型使用高推理强度。私有评测种子、地图和评测对手组未公开。如有需要,可以申请查阅完整的研究轨迹。

开源致谢

我们的多个模拟器基于开源项目构建,或利用开源项目验证。感谢这些项目的作者。我们在使用的代码副本中保留了各项目的许可证和声明。

  • 宝可梦:Guangcong Luo 与贡献者开发的对战模拟器 Pokémon Showdown(MIT),hsahovic 开发的 poke-env(MIT),以及用于播放回放的 Pokémon Showdown 客户端对战代码。
  • Polytopia:HenBOMB 编写的 Polyfish Rust 引擎(Apache-2.0)。我们据此移植 GPU 规则,并用它验证移植结果。
  • Generals.io:Matej Straka 开发的 generals-bots(MIT)。
  • Hex(六角棋):Benzene 项目的 MoHex 2.0(LGPL-3.0),用作评测对手。
  • 《皇室战争》:voonhous 编写的 crforge(Apache-2.0),用来校验 C++/CUDA 引擎的规则。
  • 《炉石传说:酒馆战棋》:AutoTavern 作者开发的 AutoTavern(MIT)。
  • 斗地主:快手发布的 DouZero(Apache-2.0),作为我们原生引擎的规则参照。

宝可梦、The Battle of Polytopia、Generals.io、《皇室战争》和《炉石传说:酒馆战棋》的商标归各自所有者所有。本项目与这些所有者无关联,也未获得他们的背书。