“增加棋盘特征, 完整运行 PPO。” GPT-6 Astra GPU 预算 $0.00 策略强度 基线 $ $ $ $ $ 短实验 长训练 训练所得策略 对手 最强网络 +268, 超过 2 亿样本基线 “增加棋盘特征, 完整运行 PPO。” GPT-6 Astra GPU 预算 $0.00 策略强度 基线 $ $ $ $ $ 短实验 长训练 训练所得策略 对手 最强网络 +268, 超过 2 亿样本基线 查看另外五个研究示例 “提前停止,再调整奖励。” GPT-6 Luna GPU 预算 $0.00 策略强度 基线 $ $ $ $ $ $ $ $ 短实验 长训练 训练所得策略 对手 对手 训练策略 19 次训练,多数提前停止; 最终 +2.9 “提前停止,再调整奖励。” GPT-6 Luna GPU 预算 $0.00 策略强度 基线 $ $ $ $ $ $ $ $ 短实验 长训练 训练所得策略 对手 对手 训练策略 19 次训练,多数提前停止; 最终 +2.9 “Python 模拟太慢,用 JAX 重写。” GPT-6.1 Sol GPU 预算 $0.00 策略强度 基线 $ $ $ $ 短实验 长训练 训练所得策略 对手 10 9 8 6 5 3 12 10 8 6 5 3 13 12 9 6 5 15 12 10 9 8 6 16 15 13 10 9 8 16 15 13 12 10 9 先重写模拟器, 循环赛得 70.8 分 “Python 模拟太慢,用 JAX 重写。” GPT-6.1 Sol GPU 预算 $0.00 策略强度 基线 $ $ $ $ 短实验 长训练 训练所得策略 对手 10 9 8 6 5 3 12 10 8 6 5 3 13 12 9 6 5 15 12 10 9 8 6 16 15 13 10 9 8 16 15 13 12 10 9 先重写模拟器, 循环赛得 70.8 分 “学习率翻倍,重新训练。” DeepSeek V4 Flash GPU 预算 $0.00 策略强度 基线 $ $ $ $ $ $ $ $ 短实验 长训练 训练所得策略 对手 训练出的网络全部 输给未训练的网络 “学习率翻倍,重新训练。” DeepSeek V4 Flash GPU 预算 $0.00 策略强度 基线 $ $ $ $ $ $ $ $ 短实验 长训练 训练所得策略 对手 训练出的网络全部 输给未训练的网络 “跳过短实验,完整训练 1 小时。” GPT-6.1 Sol GPU 预算 $0.00 策略强度 基线 $ $ $ $ 短实验 长训练 训练所得策略 对手 对手 训练策略 最终方案比基线高 20.4 分 “跳过短实验,完整训练 1 小时。” GPT-6.1 Sol GPU 预算 $0.00 策略强度 基线 $ $ $ $ 短实验 长训练 训练所得策略 对手 对手 训练策略 最终方案比基线高 20.4 分 “每秒 553 步很慢,仍用它训练。” DeepSeek V4 Pro GPU 预算 $0.00 策略强度 基线 $ $ 短实验 长训练 训练所得策略 对手 9 10 12 13 15 16 8 9 12 13 15 16 6 8 10 13 15 5 8 9 10 12 13 3 5 6 9 10 12 3 5 6 8 9 10 继续使用慢速模拟器, 循环赛得 22.5 分 “每秒 553 步很慢,仍用它训练。” DeepSeek V4 Pro GPU 预算 $0.00 策略强度 基线 $ $ 短实验 长训练 训练所得策略 对手 9 10 12 13 15 16 8 9 12 13 15 16 6 8 10 13 15 5 8 9 10 12 13 3 5 6 9 10 12 3 5 6 8 9 10 继续使用慢速模拟器, 循环赛得 22.5 分
AI 智能体能训练出高水平的专用模型吗?在编写行为确定的代码方面,智能体已经展现了超越人类的能力。但机器学习提出了不同的挑战:算力有限,训练信号又带有噪声。我们给 AI 模型一笔 GPU 预算,请它们为宝可梦、Polytopia 和 Generals.io 等游戏训练高效的神经网络。智能体自行分配资源、实现并验证想法,目标是交出最强的最终策略。它们在研究判断、效率和成果上拉开了很大的差距。
训练成果:九场对局示例
对局由训练好的强化学习神经网络直接完成,全程无需大语言模型参与。展开游戏可查看对阵和赛果。
宝可梦 3 对 3
Polytopia
Claude Opus 5.5 对 GPT-6 Luna :Opus 策略训练 2 小时,Luna 使用训练 2 小时的基线策略。Opus 在第 27 轮获胜。
GPT-6 Astra 对基线 :Astra 策略训练约 2 小时,基线策略训练 36 分钟。Astra 凭分数获胜。
Claude Opus 5.5 对 GPT-6.1 Sol :双方策略各训练 2 小时,Sol 凭分数获胜。
Generals.io
以下模型均为 11 月 20 日的决赛选手。
Claude Opus 5.5 对 GPT-6.1 Sol :Opus 获胜,占领 3 座城市。
GPT-6.1 Sol 对 DeepSeek V4 Pro :Sol 获胜,占领 4 座城市。
Claude Opus 5.5 对 Kimi K3.1 Pro :Opus 获胜,占领 3 座城市。
在英文原版播放对局回放
就像「氛围编程」(vibe coding)让定制软件大量涌现,「氛围训练」(vibe training)也有望让越来越多细分领域拥有自己的神经网络。能否高效做到这一点,取决于智能体如何衡量效果、选择实验,以及如何分配有限的训练机会。我们观察到,研究判断更好的智能体可以用更少的预算训练出高水平的策略。
结果 模型总成绩
在涵盖 Polytopia、宝可梦、Hex(六角棋)、Generals.io 和《皇室战争》的八项研究任务中,七个前沿模型领跑,彼此差距很小。
图 1. 八项任务的综合研究指数(50 为参评者平均值)。横线表示删去任意一项任务后得分的范围。只参加 1 至 2 项任务的模型用空心点表示。Claude Opus 5.5 略微领先。GPT-6 Astra、GPT-6.1 Sol、Claude Fable 5.2、GPT-6.2 Astra 和 Gemini 4 Neon 与第一名相差不超过 4 分。Gemini 4 Carbon 排名第二,但只参加了两项任务。 至少 3 项任务 1 至 2 项任务 逐项剔除后的范围
35 40 45 50 55 60 65 平均(50) 综合指数(50 为平均值,10 分为一个标准差) 1 Claude Opus 5.5 (7) 59.5 2 Gemini 4 Carbon (2) 58.9 3 GPT-6 Astra (5) 56.9 4 GPT-6.1 Sol (6) 56.9 5 Claude Fable 5.2 (4) 56.7 6 GPT-6.2 Astra (3) 56.0 7 Gemini 4 Neon (3) 55.8 8 DeepSeek V4.1 Flash (4) 54.5 9 GPT-6.2 Sol (3) 52.4 10 GPT-6.1 Terra (3) 50.8 11 Kimi K3.1 Pro (3) 50.5 12 Gemini 4 Hydrogen (1) 46.2 13 Meta Muse Wonder (1) 45.7 14 GPT-6 Luna (4) 45.5 15 Inkling 2 Small (2) 45.1 16 GLM-5.3 (3) 44.6 17 Tencent Hy4 (1) 43.7 18 Kimi K3 (2) 43.3 19 DeepSeek V4 Pro (3) 39.9 20 DeepSeek V4 Flash (1) 37.2 括号内为模型参加的任务数。各任务成绩见数据表。
至少 3 项任务 1 至 2 项任务 逐项剔除后的范围
35 40 50 60 65 平均(50) 综合指数(50 为平均值,10 分为一个标准差) 1. Claude Opus 5.5 · 7 项 59.5 2. Gemini 4 Carbon · 2 项 58.9 3. GPT-6 Astra · 5 项 56.9 4. GPT-6.1 Sol · 6 项 56.9 5. Claude Fable 5.2 · 4 项 56.7 6. GPT-6.2 Astra · 3 项 56.0 7. Gemini 4 Neon · 3 项 55.8 8. DeepSeek V4.1 Flash · 4 项 54.5 9. GPT-6.2 Sol · 3 项 52.4 10. GPT-6.1 Terra · 3 项 50.8 11. Kimi K3.1 Pro · 3 项 50.5 12. Gemini 4 Hydrogen · 1 项 46.2 13. Meta Muse Wonder · 1 项 45.7 14. GPT-6 Luna · 4 项 45.5 15. Inkling 2 Small · 2 项 45.1 16. GLM-5.3 · 3 项 44.6 17. Tencent Hy4 · 1 项 43.7 18. Kimi K3 · 2 项 43.3 19. DeepSeek V4 Pro · 3 项 39.9 20. DeepSeek V4 Flash · 1 项 37.2 括号内为模型参加的任务数。各任务成绩见数据表。
仅显示至少参加 3 项任务的模型(13 个) 至少 3 项任务 逐项剔除后的范围
35 40 45 50 55 60 65 平均(50) 综合指数(50 为平均值,10 分为一个标准差) 1 Claude Opus 5.5 (7) 59.5 2 GPT-6 Astra (5) 56.9 3 GPT-6.1 Sol (6) 56.9 4 Claude Fable 5.2 (4) 56.7 5 GPT-6.2 Astra (3) 56.0 6 Gemini 4 Neon (3) 55.8 7 DeepSeek V4.1 Flash (4) 54.5 8 GPT-6.2 Sol (3) 52.4 9 GPT-6.1 Terra (3) 50.8 10 Kimi K3.1 Pro (3) 50.5 11 GPT-6 Luna (4) 45.5 12 GLM-5.3 (3) 44.6 13 DeepSeek V4 Pro (3) 39.9 括号内为模型参加的任务数。各任务成绩见数据表。
至少 3 项任务 逐项剔除后的范围
35 40 50 60 65 平均(50) 综合指数(50 为平均值,10 分为一个标准差) 1. Claude Opus 5.5 · 7 项 59.5 2. GPT-6 Astra · 5 项 56.9 3. GPT-6.1 Sol · 6 项 56.9 4. Claude Fable 5.2 · 4 项 56.7 5. GPT-6.2 Astra · 3 项 56.0 6. Gemini 4 Neon · 3 项 55.8 7. DeepSeek V4.1 Flash · 4 项 54.5 8. GPT-6.2 Sol · 3 项 52.4 9. GPT-6.1 Terra · 3 项 50.8 10. Kimi K3.1 Pro · 3 项 50.5 11. GPT-6 Luna · 4 项 45.5 12. GLM-5.3 · 3 项 44.6 13. DeepSeek V4 Pro · 3 项 39.9 括号内为模型参加的任务数。各任务成绩见数据表。
综合研究与预测成绩 至少 3 项任务 1 至 2 项任务 逐项剔除后的范围
35 40 45 50 55 60 65 平均(50) 综合指数(50 为平均值,10 分为一个标准差) 1 Gemini 4 Carbon (3) 61.3 2 GPT-6.2 Astra (4) 58.9 3 Gemini 4 Neon (4) 58.4 4 Claude Opus 5.5 (8) 57.3 5 GPT-6 Astra (6) 56.6 6 Claude Fable 5.2 (5) 56.4 7 GPT-6.1 Sol (7) 56.3 8 GPT-6.2 Sol (4) 52.9 9 DeepSeek V4.1 Flash (5) 51.8 10 Gemini 4 Hydrogen (2) 51.6 11 GPT-6.1 Terra (3) 49.7 12 Kimi K3.1 Pro (4) 48.3 13 Meta Muse Wonder (2) 46.9 14 GPT-6 Luna (4) 44.6 15 GLM-5.3 (4) 43.9 16 Tencent Hy4 (2) 43.6 17 Kimi K3 (2) 42.8 18 Inkling 2 Small (3) 42.1 19 DeepSeek V4 Pro (3) 39.1 20 DeepSeek V4 Flash (1) 37.7 括号内为模型参加的任务数。各任务成绩见数据表。
至少 3 项任务 1 至 2 项任务 逐项剔除后的范围
35 40 50 60 65 平均(50) 综合指数(50 为平均值,10 分为一个标准差) 1. Gemini 4 Carbon · 3 项 61.3 2. GPT-6.2 Astra · 4 项 58.9 3. Gemini 4 Neon · 4 项 58.4 4. Claude Opus 5.5 · 8 项 57.3 5. GPT-6 Astra · 6 项 56.6 6. Claude Fable 5.2 · 5 项 56.4 7. GPT-6.1 Sol · 7 项 56.3 8. GPT-6.2 Sol · 4 项 52.9 9. DeepSeek V4.1 Flash · 5 项 51.8 10. Gemini 4 Hydrogen · 2 项 51.6 11. GPT-6.1 Terra · 3 项 49.7 12. Kimi K3.1 Pro · 4 项 48.3 13. Meta Muse Wonder · 2 项 46.9 14. GPT-6 Luna · 4 项 44.6 15. GLM-5.3 · 4 项 43.9 16. Tencent Hy4 · 2 项 43.6 17. Kimi K3 · 2 项 42.8 18. Inkling 2 Small · 3 项 42.1 19. DeepSeek V4 Pro · 3 项 39.1 20. DeepSeek V4 Flash · 1 项 37.7 括号内为模型参加的任务数。各任务成绩见数据表。
查看数据表 排名 模型 指数(平均为 50) 逐项剔除后的范围 任务数 各任务成绩 1 Gemini 4 Carbon 61.3 58.9–62.2 3 Polytopia 空白起步: 61.5; 宝可梦 3 对 3: 76.6; 预测: +0.36 2 GPT-6.2 Astra 58.9 56.0–61.4 4 Polytopia 空白起步: 39.8; 宝可梦 3 对 3: 75.4; Polytopia 效率: 1.21×; 预测: +0.37 3 Gemini 4 Neon 58.4 55.8–62.1 4 Polytopia 空白起步: 73.2; 宝可梦 3 对 3: 73.5; Polytopia 效率: 0.95×; 预测: +0.36 4 Claude Opus 5.5 57.3 55.4–59.5 8 Polytopia 空白起步: 57.5; 宝可梦 3 对 3: 63.3; Polytopia 效率: 1.07×; Polytopia 35 美元: 67.9; 六角棋 9×9: 90.4; Generals.io: 78.8; Generals.io 慢速模拟器: 96.5; 预测: +0.22 5 GPT-6 Astra 56.6 53.9–57.8 6 Polytopia 空白起步: 77.4; 宝可梦 3 对 3: 67.7; Polytopia 35 美元: 59.2; 六角棋 9×9: 78.5; Generals.io: 78.5; 预测: +0.30 6 Claude Fable 5.2 56.4 54.4–58.0 5 Polytopia 空白起步: 67.8; 宝可梦 3 对 3: 69.3; Polytopia 效率: 1.27×; Polytopia 35 美元: 59.1; 预测: +0.29 7 GPT-6.1 Sol 56.3 54.1–59.1 7 Polytopia 空白起步: 70.7; 宝可梦 3 对 3: 70.8; Polytopia 35 美元: 54.2; 六角棋 9×9: 90.0; Generals.io: 70.4; Generals.io 慢速模拟器: 89.9; 预测: +0.29 8 GPT-6.2 Sol 52.9 49.3–58.0 4 Polytopia 空白起步: 71.9; 宝可梦 3 对 3: 72.5; Polytopia 效率: 0.80×; 预测: +0.28 9 DeepSeek V4.1 Flash 51.8 47.6–54.7 5 Polytopia 效率: 1.37×; Polytopia 35 美元: 65.0; 六角棋 9×9: 69.4; Generals.io: 16.5; 预测: +0.21 10 Gemini 4 Hydrogen 51.6 46.2–55.7 2 Polytopia 空白起步: 35.5; 预测: +0.31 11 GPT-6.1 Terra 49.7 46.9–54.3 3 Polytopia 35 美元: 60.5; 六角棋 9×9: 62.8; Generals.io: 65.3 12 Kimi K3.1 Pro 48.3 45.3–51.5 4 Polytopia 空白起步: 56.8; Polytopia 效率: 1.15×; Generals.io 慢速模拟器: 26.0; 预测: +0.19 13 Meta Muse Wonder 46.9 45.7–48.3 2 Polytopia 空白起步: 34.2; 预测: +0.23 14 GPT-6 Luna 44.6 43.0–46.4 4 宝可梦 3 对 3: 58.3; Polytopia 35 美元: 59.0; 六角棋 9×9: 69.6; Generals.io: 13.4 15 GLM-5.3 43.9 40.5–46.9 4 Polytopia 空白起步: 27.7; 宝可梦 3 对 3: 51.7; 皇室战争: 48.4; 预测: +0.20 16 Tencent Hy4 43.6 43.3–44.9 2 Polytopia 空白起步: 27.7; 预测: +0.20 17 Kimi K3 42.8 42.2–44.8 2 宝可梦 3 对 3: 57.2; 皇室战争: 39.7 18 Inkling 2 Small 42.1 40.9–45.1 3 宝可梦 3 对 3: 57.6; 皇室战争: 42.1; 预测: +0.16 19 DeepSeek V4 Pro 39.1 37.3–44.5 3 宝可梦 3 对 3: 57.9; Generals.io 慢速模拟器: 40.4; 皇室战争: 31.1 20 DeepSeek V4 Flash 37.7 — 1 Polytopia 空白起步: 7.6
查看完整数据表(20 个模型) 排名 模型 指数(平均为 50) 逐项剔除后的范围 任务数 各任务成绩 1 Claude Opus 5.5 59.5 57.5–61.2 7 Polytopia 空白起步: 57.5; 宝可梦 3 对 3: 63.3; Polytopia 效率: 1.07×; Polytopia 35 美元: 67.9; 六角棋 9×9: 90.4; Generals.io: 78.8; Generals.io 慢速模拟器: 96.5 2 Gemini 4 Carbon 58.9 53.9–59.4 2 Polytopia 空白起步: 61.5; 宝可梦 3 对 3: 76.6 3 GPT-6 Astra 56.9 53.5–58.1 5 Polytopia 空白起步: 77.4; 宝可梦 3 对 3: 67.7; Polytopia 35 美元: 59.2; 六角棋 9×9: 78.5; Generals.io: 78.5 4 GPT-6.1 Sol 56.9 54.4–60.2 6 Polytopia 空白起步: 70.7; 宝可梦 3 对 3: 70.8; Polytopia 35 美元: 54.2; 六角棋 9×9: 90.0; Generals.io: 70.4; Generals.io 慢速模拟器: 89.9 5 Claude Fable 5.2 56.7 54.1–58.5 4 Polytopia 空白起步: 67.8; 宝可梦 3 对 3: 69.3; Polytopia 效率: 1.27×; Polytopia 35 美元: 59.1 6 GPT-6.2 Astra 56.0 51.7–58.3 3 Polytopia 空白起步: 39.8; 宝可梦 3 对 3: 75.4; Polytopia 效率: 1.21× 7 Gemini 4 Neon 55.8 51.7–60.0 3 Polytopia 空白起步: 73.2; 宝可梦 3 对 3: 73.5; Polytopia 效率: 0.95× 8 DeepSeek V4.1 Flash 54.5 49.6–58.7 4 Polytopia 效率: 1.37×; Polytopia 35 美元: 65.0; 六角棋 9×9: 69.4; Generals.io: 16.5 9 GPT-6.2 Sol 52.4 47.1–59.3 3 Polytopia 空白起步: 71.9; 宝可梦 3 对 3: 72.5; Polytopia 效率: 0.80× 10 GPT-6.1 Terra 50.8 47.9–55.3 3 Polytopia 35 美元: 60.5; 六角棋 9×9: 62.8; Generals.io: 65.3 11 Kimi K3.1 Pro 50.5 47.1–55.2 3 Polytopia 空白起步: 56.8; Polytopia 效率: 1.15×; Generals.io 慢速模拟器: 26.0 12 Gemini 4 Hydrogen 46.2 — 1 Polytopia 空白起步: 35.5 13 Meta Muse Wonder 45.7 — 1 Polytopia 空白起步: 34.2 14 GPT-6 Luna 45.5 43.7–47.2 4 宝可梦 3 对 3: 58.3; Polytopia 35 美元: 59.0; 六角棋 9×9: 69.6; Generals.io: 13.4 15 Inkling 2 Small 45.1 44.3–49.9 2 宝可梦 3 对 3: 57.6; 皇室战争: 42.1 16 GLM-5.3 44.6 39.7–49.8 3 Polytopia 空白起步: 27.7; 宝可梦 3 对 3: 51.7; 皇室战争: 48.4 17 Tencent Hy4 43.7 — 1 Polytopia 空白起步: 27.7 18 Kimi K3 43.3 42.5–47.3 2 宝可梦 3 对 3: 57.2; 皇室战争: 39.7 19 DeepSeek V4 Pro 39.9 37.6–45.1 3 宝可梦 3 对 3: 57.9; Generals.io 慢速模拟器: 40.4; 皇室战争: 31.1 20 DeepSeek V4 Flash 37.2 — 1 Polytopia 空白起步: 7.6
我们先在每项任务内将分数标准化,再汇总各项结果。指数 50 分代表参评模型的平均水平,10 分对应一个标准差。误差线反映删去任意一项任务对模型得分的影响。参加任务越少,分数所依据的证据就越有限。加入预测任务的视图单独纳入了模型预测训练结果的能力。
我们如何设计基准
我们希望智能体自行回答研究人员在实验之间需要做的判断:哪个想法值得测试?每次训练应该跑多久?练习赛成绩达到什么水平,才值得投入剩下的预算?每个智能体都拿到同类工作区,其中有游戏规则、模拟器代码、可编辑的训练代码和配置,以及命令行工具,可以在 NVIDIA L40S 上启动实验、运行练习赛并提交成果。
练习赛给智能体提供研究期间可以利用的反馈。最终评测由主办方在留出的对局上完成,并让各最终策略相互进行循环赛。我们也用原样的起始方案训练了基线模型,以衡量智能体带来的改进。以下三种设置调整了提交内容和研究预算的计量方式。
设置一 提交训练好的网络 智能体使用同一笔算力预算做实验、训练,并挑选一个检查点。我们直接评测提交的权重,就像团队在部署前评测模型一样。 在 Generals.io 中,智能体拥有 4.5 个 GPU 小时,每一步操作也有计算量上限。
设置二 按 GPU 时间限额提交训练方案 智能体在固定的 GPU 小时数内做实验,然后提交训练代码和配置。我们将每个方案从头重训,检验交接后能取得怎样的成绩。 在宝可梦 3 对 3 中,智能体有 4 个 GPU 小时改进可用的起始方案,主办方随后重训 1 小时。
设置三 按美元预算提交训练方案 智能体用固定的云计算预算做实验,然后提交训练方案。我们重训该方案,检查节省的训练成本能否抵消研发支出。 在 Polytopia 中,智能体最多可花 23 美元,并同时租用两块 GPU。
图 2. Polytopia 从空白起步。折线表示各智能体截至当时训练出的最强网络。菱形表示将最终提交方案从头重训 15 分钟所得结果。Elo 以训练 15 分钟的 PPO 基线为零点。 GPT-6 Astra Gemini 4 Neon Claude Fable 5.2 GPT-6.2 Astra GPT-6.1 Sol Claude Opus 5.5 Gemini 4 Carbon Kimi K3.1 Pro Gemini 4 Hydrogen Meta Muse Wonder Tencent Hy4 GLM-5.3 DeepSeek V4 Flash
−1500 −1000 −500 0 3 分 6 分 15 分 30 分 1 小时 2 小时 5 小时 相对于训练 15 分钟的 PPO 基线的 Elo 已消耗的研究 GPU 小时 2 亿样本基线(80%) 15 分钟基线(50%) 2,000 万样本(22%) 未训练(<1%) GPT-6 Astra Gemini 4 Neon Claude Fable 5.2 GPT-6.2 Astra GPT-6.1 Sol Claude Opus 5.5 Gemini 4 Carbon Kimi K3.1 Pro Gemini 4 Hydrogen Meta Muse Wonder Tencent Hy4 GLM-5.3 DeepSeek V4 Flash
−1500 −1000 −500 0 3 分 6 分 15 分 30 分 1 小时 2 小时 5 小时 相对于训练 15 分钟的 PPO 基线的 Elo 已消耗的研究 GPU 小时 查看线性时间刻度 GPT-6 Astra Gemini 4 Neon Claude Fable 5.2 GPT-6.2 Astra GPT-6.1 Sol Claude Opus 5.5 Gemini 4 Carbon Kimi K3.1 Pro Gemini 4 Hydrogen Meta Muse Wonder Tencent Hy4 GLM-5.3 DeepSeek V4 Flash
−1500 −1000 −500 0 0 小时 1 小时 2 小时 3 小时 4 小时 5 小时 相对于训练 15 分钟的 PPO 基线的 Elo 已消耗的研究 GPU 小时 2 亿样本基线(80%) 15 分钟基线(50%) 2,000 万样本(22%) 未训练(<1%) GPT-6 Astra Gemini 4 Neon Claude Fable 5.2 GPT-6.2 Astra GPT-6.1 Sol Claude Opus 5.5 Gemini 4 Carbon Kimi K3.1 Pro Gemini 4 Hydrogen Meta Muse Wonder Tencent Hy4 GLM-5.3 DeepSeek V4 Flash
−1500 −1000 −500 0 0 小时 1 小时 2 小时 3 小时 4 小时 5 小时 相对于训练 15 分钟的 PPO 基线的 Elo 已消耗的研究 GPU 小时 查看各模型的最强网络及重训结果 GPT-6 Astra:共 25 个网络,最强网络对 15 分钟基线的估计胜率为 82%(Elo +268,训练 4.68 GPU 小时 后得到 ppo22)。最终方案重训 15 分钟后的估计胜率为 76%(Elo +202)。 Gemini 4 Neon:共 22 个网络,最强网络对 15 分钟基线的估计胜率为 79%(Elo +226,训练 4.33 GPU 小时 后得到 v19ep2mb1k)。最终方案重训 15 分钟后的估计胜率为 73%(Elo +169)。 Claude Fable 5.2:共 24 个网络,最强网络对 15 分钟基线的估计胜率为 77%(Elo +213,训练 3.53 GPU 小时 后得到 ent20)。最终方案重训 15 分钟后的估计胜率为 73%(Elo +169)。 GPT-6.2 Astra:共 6 个网络,最强网络对 15 分钟基线的估计胜率为 77%(Elo +212,训练 1.08 GPU 小时 后得到 frontier)。最终方案重训 15 分钟后的估计胜率为 16%(Elo −289)。 GPT-6.1 Sol:共 24 个网络,最强网络对 15 分钟基线的估计胜率为 74%(Elo +179,训练 3.82 GPU 小时 后得到 deepgated)。最终方案重训 15 分钟后的估计胜率为 68%(Elo +131)。 Claude Opus 5.5:共 23 个网络,最强网络对 15 分钟基线的估计胜率为 52%(Elo +14,训练 3.83 GPU 小时 后得到 ppo15)。最终方案重训 15 分钟后的估计胜率为 49%(Elo −4)。 Gemini 4 Carbon:共 12 个网络,最强网络对 15 分钟基线的估计胜率为 49%(Elo −6,训练 1.73 GPU 小时 后得到 v7multiscale)。最终方案重训 15 分钟后的估计胜率为 47%(Elo −19)。 Kimi K3.1 Pro:共 24 个网络,最强网络对 15 分钟基线的估计胜率为 40%(Elo −68,训练 4.15 GPU 小时 后得到 batch256s2)。最终方案重训 15 分钟后的估计胜率为 42%(Elo −54)。 Gemini 4 Hydrogen:共 25 个网络,最强网络对 15 分钟基线的估计胜率为 31%(Elo −138,训练 4.46 GPU 小时 后得到 ppov22full)。最终方案重训 15 分钟后的估计胜率为 12%(Elo −354)。 Meta Muse Wonder:共 21 个网络,最强网络对 15 分钟基线的估计胜率为 14%(Elo −315,训练 1.87 GPU 小时 后得到 train8)。最终方案重训 15 分钟后的估计胜率为 11%(Elo −362)。 Tencent Hy4:共 24 个网络,最强网络对 15 分钟基线的估计胜率为 5%(Elo −521,训练 3.43 GPU 小时 后得到 v17full)。最终方案重训 15 分钟后的估计胜率为 5%(Elo −524)。 GLM-5.3:共 24 个网络,最强网络对 15 分钟基线的估计胜率为 3%(Elo −625,训练 2.26 GPU 小时 后得到 full10)。最终方案重训 15 分钟后的估计胜率为 1%(Elo −754)。 DeepSeek V4 Flash:共 22 个网络,最强网络对 15 分钟基线的估计胜率为 <1%(Elo −1429,训练 2.75 GPU 小时 后得到 v18)。最终方案重训 15 分钟后的估计胜率为 <1%(Elo −1424)。
GPT-6 Astra 在研究期间训练出的最强网络,略胜我们调优后用 2 亿样本训练的基线。它的方案从头重训后,在所有提交方案中排名第一,成绩仍低于这条调优基线。
效率与回本 智能体找到的方案有多高效?
平均而言,能用 GPU 做实验的智能体比预算只有 1 美分的智能体表现更好。在有足够预算做实验的组别中,同一预算下各方案的差距远大于不同预算档之间的差距。大多数预算为 8.70 美元的研究在约两小时内便花完了预算,因此延长截止时间,主要相当于在相同开销下多观察了一次尝试。
我们用算力效率倍数 衡量一个方案:与原样基线相比,在训练出同等强度的网络时能节省多少算力。只有当节省的算力足以抵消发现方案时花掉的 GPU 小时,改进才真正回本。因此,我们把 Polytopia 预算扫描中可运行的 38 套方案都重训了 8 小时,并将研究开销计入总成本。只有 9 套方案超过 1×,在 8 小时内回本。不过,最好的方案收益很大。Gemini 4 Neon 花 8.58 美元找到的方案,训练 8 小时即可达到基线训练约 108 小时的水平(约 313 美元,根据基线 64 小时实测曲线外推)。即使计入研究开销,基线所需的算力仍约为它的 10 倍 。第二名是 GPT-6.2 Astra 花 8.67 美元找到的方案,达到 1.7×。
图 3. Polytopia 的总成本与算力效率倍数。分子是基线达到同一 Elo 所需的训练成本;分母是方案的研究 GPU 开销与实际训练费之和。单张 L40S 每小时 2.90 美元,模型词元费用不计入。超过 1× 表明方案已经回本。空心点强于基线 64 小时实测的最强结果,其倍数来自拟合曲线外推。「仅训练算力」忽略研究开销,每根柱表示一个模型的最佳方案,按 6、7、8 小时检查点取几何平均,避免单个幸运检查点决定结果。外推柱的误差线为 8 小时检查点的 95% 区间。 Opus 5.5 方案 GPT-6.2 Sol 方案 GPT-6.2 Astra 方案 Claude Fable 5.2 方案 Kimi K3.1 Pro 方案 DeepSeek V4.1 Flash 方案 Gemini 4 Neon 方案 原样基线(1×) 从头重训 1 小时,两个随机种子
1/16 1/8 1/4 1/2 1× 2× 4× 8× 16× $0 $5 $10 $15 $20 $25 $30 $35 $40 $45 $50 总开销:研究 GPU 开销 + 训练费(单张 L40S,每小时 2.90 美元) 算力效率倍数:基线达到同等强度的成本 ÷ 方案总成本(对数刻度) 基线,1× Gemini 4 Neon, $8.58 研究:≈10× Opus 5.5 方案 GPT-6.2 Sol 方案 GPT-6.2 Astra 方案 Claude Fable 5.2 方案 Kimi K3.1 Pro 方案 DeepSeek V4.1 Flash 方案 Gemini 4 Neon 方案 原样基线(1×) 从头重训 1 小时,两个随机种子
1/16 1/8 1/4 1/2 1× 2× 4× 8× 16× $0 $10 $20 $30 $40 $50 总开销:研究 + 训练 算力效率倍数(对数刻度) 查看仅训练算力的比较 1/2 1× 2× 4× 8× 16× 32× 64× 算力效率倍数(仅训练,6、7、8 小时几何平均,对数刻度) Gemini 4 Neon,最佳方案($8.70):≈13×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 约 108 小时(超出基线 54 小时 的实测范围;8 小时结果的 95% 区间为 6.0× 至 41×) Gemini 4 Neon ≈13× 外推 GPT-6.2 Astra,最佳方案(8.70 美元、限时 2 小时):2.0×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 19 小时 GPT-6.2 Astra 2.0× Kimi K3.1 Pro,最佳方案(8.70 美元、限时 2 小时):1.5×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 13 小时 Kimi K3.1 Pro 1.5× Opus 5.5,最佳方案($8.70):1.5×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 11 小时 Opus 5.5 1.5× Claude Fable 5.2,最佳方案(8.70 美元、限时 4 小时):1.3×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 12 小时 Claude Fable 5.2 1.3× DeepSeek V4.1 Flash,最佳方案($2.90):1.3×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 10 小时 DeepSeek V4.1 Flash 1.3× GPT-6.2 Sol,最佳方案($23):1.1×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 9.8 小时 GPT-6.2 Sol 1.1× 1/2 1× 2× 4× 8× 16× 32× 64× 仅训练算力(对数刻度) Gemini 4 Neon,最佳方案($8.70):≈13×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 约 108 小时(超出基线 54 小时 的实测范围;8 小时结果的 95% 区间为 6.0× 至 41×) Gemini 4 Neon ≈13× 外推 GPT-6.2 Astra,最佳方案(8.70 美元、限时 2 小时):2.0×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 19 小时 GPT-6.2 Astra 2.0× Kimi K3.1 Pro,最佳方案(8.70 美元、限时 2 小时):1.5×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 13 小时 Kimi K3.1 Pro 1.5× Opus 5.5,最佳方案($8.70):1.5×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 11 小时 Opus 5.5 1.5× Claude Fable 5.2,最佳方案(8.70 美元、限时 4 小时):1.3×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 12 小时 Claude Fable 5.2 1.3× DeepSeek V4.1 Flash,最佳方案($2.90):1.3×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 10 小时 DeepSeek V4.1 Flash 1.3× GPT-6.2 Sol,最佳方案($23):1.1×(训练 6、7、8 小时的几何平均);训练 8 小时的强度相当于基线训练 9.8 小时 GPT-6.2 Sol 1.1× 查看数据表 方案 研究开销 训练 8 小时的总开销 基线达到同等水平的训练时长 算力效率倍数(含研究) 仅训练 Gemini 4 Neon, $8.70 $8.58 $32 约 108 小时(外推) ≈10× ≈13× GPT-6.2 Astra, 8.70 美元、限时 2 小时 $8.67 $32 19 小时 1.7× 2.4× Gemini 4 Neon, $2.90 $2.86 $26 13 小时 1.4× 1.6× Claude Fable 5.2, $2.90 $2.77 $26 11 小时 1.3× 1.4× Kimi K3.1 Pro, 8.70 美元、限时 2 小时 $7.62 $31 13 小时 1.2× 1.6× DeepSeek V4.1 Flash, $2.90 $2.61 $26 10 小时 1.2× 1.3× DeepSeek V4.1 Flash, 零样本 $0.01 $23 9.2 小时 1.1× 1.1× Claude Fable 5.2, 8.70 美元、限时 4 小时 $8.01 $31 12 小时 1.1× 1.5× Opus 5.5, $8.70 $8.28 $32 11 小时 1.0× 1.4× DeepSeek V4.1 Flash, $8.70 $7.98 $31 11 小时 1.0× 1.3× GPT-6.2 Astra, $8.70 $8.61 $32 11 小时 1.0× 1.3× Opus 5.5, 零样本 $0.00 $23 7.8 小时 1.0× 1.0× Opus 5.5, $2.90 $2.67 $26 7.9 小时 0.88× 1.0× Claude Fable 5.2, 8.70 美元、限时 2 小时 $7.42 $31 9.1 小时 0.86× 1.1× DeepSeek V4.1 Flash, 8.70 美元、限时 2 小时 $7.56 $31 8.9 小时 0.84× 1.1× GPT-6.2 Sol, $8.70 $8.57 $32 8.3 小时 0.76× 1.0× DeepSeek V4.1 Flash, 8.70 美元、限时 4 小时 $8.09 $31 7.9 小时 0.74× 1.0× GPT-6.2 Astra, 零样本 $0.01 $23 5.9 小时 0.73× 0.73× Kimi K3.1 Pro, $2.90 $2.69 $26 6.5 小时 0.73× 0.82× Kimi K3.1 Pro, $8.70 $8.29 $32 7.9 小时 0.73× 1.0× Claude Fable 5.2, $8.70 $8.38 $32 7.6 小时 0.70× 0.95× GPT-6.2 Sol, $2.90 $2.78 $26 6.1 小时 0.69× 0.77× Opus 5.5, 8.70 美元、限时 2 小时 $7.37 $31 7.2 小时 0.68× 0.90× Claude Fable 5.2, 零样本 $0.01 $23 5.4 小时 0.68× 0.68× Gemini 4 Neon, 8.70 美元、限时 2 小时 $6.59 $30 6.8 小时 0.66× 0.85× GPT-6.2 Astra, $2.90 $2.87 $26 5.9 小时 0.65× 0.73× Opus 5.5, 8.70 美元、限时 4 小时 $8.42 $32 6.7 小时 0.62× 0.84× Gemini 4 Neon, 零样本 $0.01 $23 4.9 小时 0.62× 0.62× GPT-6.2 Sol, $23 $23 $46 9.8 小时 0.62× 1.2× DeepSeek V4.1 Flash, $23 $21 $44 9.3 小时 0.61× 1.2× GPT-6.2 Sol, 8.70 美元、限时 4 小时 $8.38 $32 6.2 小时 0.57× 0.78× GPT-6.2 Sol, 零样本 $0.01 $23 4 小时 0.49× 0.50× Kimi K3.1 Pro, 8.70 美元、限时 4 小时 $8.49 $32 5.4 小时 0.49× 0.67× Kimi K3.1 Pro, $23 $23 $46 7.7 小时 0.49× 1.0× Opus 5.5, $23 $23 $46 7.1 小时 0.45× 0.89× Claude Fable 5.2, $23 $23 $46 7.1 小时 0.45× 0.89× GPT-6.2 Astra, 8.70 美元、限时 4 小时 $8.46 $32 3.1 小时 0.29× 0.39× GPT-6.2 Astra, $23 $23 $46 1.4 小时 0.09× 0.18×
研究判断 优秀的智能体研究者做对了什么?
实验纪律
大多数模型都能提出看似合理的改动,研究能力的差别体现在怎么验证。以宝可梦为例,GPT-6.1 Sol 和 GPT-6 Astra 按最终评测的时长启动完整的 1 小时训练,跑完后评估一次,再继续下一项实验。每次研究使用 200 万到 400 万个提示词元。较弱的模型则反复中断 5 到 20 分钟的短实验,平均消耗 3,000 万到 8,000 万个词元。这些短实验难以预测完整 1 小时训练的表现。
图 4. 宝可梦训练按其在研究会话中的实际时间排列。颜色代表私有评测强度:青色高于基线,品红色低于基线。叉号标记中止,菱形标记练习评估,旗帜标记提交。0 小时 1 小时 2 小时 3 小时 4 小时 5 小时 最终 GPT-6.1 Sol GPT-6.1 Sol · 0:07–1:03 · 计划 60 分钟 · 私有评测提升 +11.46 GPT-6.1 Sol · 1:12–2:08 · 计划 60 分钟 · 私有评测提升 +18.88 GPT-6.1 Sol · 2:22–3:17 · 计划 60 分钟 · 私有评测提升 +18.1 GPT-6.1 Sol · 3:28–4:23 · 计划 60 分钟 · 私有评测提升 +11.59 GPT-6.1 Sol · 4:30–4:34 · 计划 7 分钟 · 私有评测提升 -0.13 +17.3 GPT-6 Astra GPT-6 Astra · 0:02–0:28 · 计划 30 分钟 · 私有评测提升 -3.78 GPT-6 Astra · 0:42–1:38 · 计划 60 分钟 · 私有评测提升 +12.5 GPT-6 Astra · 1:46–2:41 · 计划 60 分钟 · 私有评测提升 +11.98 GPT-6 Astra · 2:46–3:42 · 计划 60 分钟 · 私有评测提升 +13.41 GPT-6 Astra · 3:52–4:24 · 计划 37 分钟 · 私有评测提升 +14.19 +14.1 Inkling 2 Small Inkling 2 Small · 0:09–1:05 · 计划 60 分钟 · 私有评测提升 +3.65 Inkling 2 Small · 1:15–2:10 · 计划 60 分钟 · 私有评测提升 +4.95 Inkling 2 Small · 2:21–3:16 · 计划 60 分钟 · 私有评测提升 +6.12 Inkling 2 Small · 3:24–4:20 · 计划 60 分钟 · 私有评测提升 +6.9 +5.0 DeepSeek V4 Pro DeepSeek V4 Pro · 0:15–0:31 · 计划 20 分钟 · 私有评测提升 -0.26 DeepSeek V4 Pro · 0:37–1:32 · 计划 60 分钟 · 私有评测提升 +11.72 DeepSeek V4 Pro · 1:39–2:34 · 计划 60 分钟 · 私有评测提升 +9.51 DeepSeek V4 Pro · 2:39–3:34 · 计划 60 分钟 · 私有评测提升 +14.06 DeepSeek V4 Pro · 3:41–4:17 · 计划 40 分钟 · 私有评测提升 +8.2 +7.0 GPT-6 Luna GPT-6 Luna · 0:04–0:46 · 计划 60 分钟 · 私有评测提升 +4.95 GPT-6 Luna · 0:54–1:38 · 计划 60 分钟 · 私有评测提升 -2.47 GPT-6 Luna · 1:43–2:02 · 计划 60 分钟 · 私有评测提升 -4.17 GPT-6 Luna · 2:07–2:58 · 计划 60 分钟 · 私有评测提升 -4.69 GPT-6 Luna · 3:03–3:05 · 计划 60 分钟 · 私有评测提升 -9.51 GPT-6 Luna · 3:11–3:13 · 计划 60 分钟 · 私有评测提升 -5.99 GPT-6 Luna · 3:18–3:20 · 计划 60 分钟 · 私有评测提升 -7.68 GPT-6 Luna · 3:25–3:26 · 计划 60 分钟 · 私有评测提升 -10.03 GPT-6 Luna · 3:31–3:37 · 计划 50 分钟 · 私有评测提升 -6.25 GPT-6 Luna · 3:42–3:43 · 计划 50 分钟 · 私有评测提升 -10.03 GPT-6 Luna · 3:44–3:45 · 计划 50 分钟 · 私有评测提升 -13.41 GPT-6 Luna · 3:50–3:56 · 计划 45 分钟 · 私有评测提升 -4.69 GPT-6 Luna · 4:02–4:04 · 计划 40 分钟 · 私有评测提升 -6.9 GPT-6 Luna · 4:08–4:10 · 计划 30 分钟 · 私有评测提升 -5.08 GPT-6 Luna · 4:16–4:17 · 计划 30 分钟 · 私有评测提升 -10.81 GPT-6 Luna · 4:21–4:23 · 计划 25 分钟 · 私有评测提升 -7.16 GPT-6 Luna · 4:25–4:27 · 计划 25 分钟 · 私有评测提升 -5.99 GPT-6 Luna · 4:32–4:33 · 计划 3 分钟 · 私有评测提升 -8.07 GPT-6 Luna · 4:36–4:38 · 计划 20 分钟 · 私有评测提升 -6.12 +2.9 Kimi K3 Kimi K3 · 0:09–1:04 · 计划 60 分钟 · 私有评测提升 -2.21 Kimi K3 · 1:11–1:46 · 计划 40 分钟 · 私有评测提升 -3.26 Kimi K3 · 1:52–2:48 · 计划 60 分钟 · 私有评测提升 -1.69 Kimi K3 · 2:55–3:50 · 计划 60 分钟 · 私有评测提升 -1.95 Kimi K3 · 3:54–4:11 · 计划 22 分钟 · 私有评测提升 -2.47 +3.3 GLM-5.3 GLM-5.3 · 0:04–0:08 · 计划 30 分钟 · 私有评测提升 -5.34 GLM-5.3 · 0:14–0:19 · 计划 10 分钟 · 私有评测提升 -6.64 GLM-5.3 · 0:24–0:28 · 计划 10 分钟 · 私有评测提升 -6.12 GLM-5.3 · 0:32–1:27 · 计划 60 分钟 · 私有评测提升 +2.34 GLM-5.3 · 1:35–2:30 · 计划 60 分钟 · 私有评测提升 +1.04 GLM-5.3 · 2:35–2:39 · 计划 10 分钟 · 私有评测提升 -4.04 GLM-5.3 · 2:42–3:38 · 计划 60 分钟 · 私有评测提升 +0.26 GLM-5.3 · 3:44–4:09 · 计划 30 分钟 · 私有评测提升 -3.39 -0.5 训练,按私有评测提升着色 练习评估 中止训练 提交方案 代码或配置检查「最终」是主办方按提交方案从头重训所得网络的提升分数。
0 小时 1 小时 2 小时 3 小时 4 小时 5 小时 最终 GPT-6.1 Sol a1 GPT-6.1 Sol · 0:07–1:03 · 计划 60 分钟 · 私有评测提升 +11.46 GPT-6.1 Sol · 1:12–2:08 · 计划 60 分钟 · 私有评测提升 +18.88 GPT-6.1 Sol · 2:22–3:17 · 计划 60 分钟 · 私有评测提升 +18.1 GPT-6.1 Sol · 3:28–4:23 · 计划 60 分钟 · 私有评测提升 +11.59 GPT-6.1 Sol · 4:30–4:34 · 计划 7 分钟 · 私有评测提升 -0.13 +17.3 GPT-6 Astra a1 GPT-6 Astra · 0:02–0:28 · 计划 30 分钟 · 私有评测提升 -3.78 GPT-6 Astra · 0:42–1:38 · 计划 60 分钟 · 私有评测提升 +12.5 GPT-6 Astra · 1:46–2:41 · 计划 60 分钟 · 私有评测提升 +11.98 GPT-6 Astra · 2:46–3:42 · 计划 60 分钟 · 私有评测提升 +13.41 GPT-6 Astra · 3:52–4:24 · 计划 37 分钟 · 私有评测提升 +14.19 +14.1 Inkling 2 Small a1 Inkling 2 Small · 0:09–1:05 · 计划 60 分钟 · 私有评测提升 +3.65 Inkling 2 Small · 1:15–2:10 · 计划 60 分钟 · 私有评测提升 +4.95 Inkling 2 Small · 2:21–3:16 · 计划 60 分钟 · 私有评测提升 +6.12 Inkling 2 Small · 3:24–4:20 · 计划 60 分钟 · 私有评测提升 +6.9 +5.0 DeepSeek V4 Pro a2 DeepSeek V4 Pro · 0:15–0:31 · 计划 20 分钟 · 私有评测提升 -0.26 DeepSeek V4 Pro · 0:37–1:32 · 计划 60 分钟 · 私有评测提升 +11.72 DeepSeek V4 Pro · 1:39–2:34 · 计划 60 分钟 · 私有评测提升 +9.51 DeepSeek V4 Pro · 2:39–3:34 · 计划 60 分钟 · 私有评测提升 +14.06 DeepSeek V4 Pro · 3:41–4:17 · 计划 40 分钟 · 私有评测提升 +8.2 +7.0 GPT-6 Luna a1 GPT-6 Luna · 0:04–0:46 · 计划 60 分钟 · 私有评测提升 +4.95 GPT-6 Luna · 0:54–1:38 · 计划 60 分钟 · 私有评测提升 -2.47 GPT-6 Luna · 1:43–2:02 · 计划 60 分钟 · 私有评测提升 -4.17 GPT-6 Luna · 2:07–2:58 · 计划 60 分钟 · 私有评测提升 -4.69 GPT-6 Luna · 3:03–3:05 · 计划 60 分钟 · 私有评测提升 -9.51 GPT-6 Luna · 3:11–3:13 · 计划 60 分钟 · 私有评测提升 -5.99 GPT-6 Luna · 3:18–3:20 · 计划 60 分钟 · 私有评测提升 -7.68 GPT-6 Luna · 3:25–3:26 · 计划 60 分钟 · 私有评测提升 -10.03 GPT-6 Luna · 3:31–3:37 · 计划 50 分钟 · 私有评测提升 -6.25 GPT-6 Luna · 3:42–3:43 · 计划 50 分钟 · 私有评测提升 -10.03 GPT-6 Luna · 3:44–3:45 · 计划 50 分钟 · 私有评测提升 -13.41 GPT-6 Luna · 3:50–3:56 · 计划 45 分钟 · 私有评测提升 -4.69 GPT-6 Luna · 4:02–4:04 · 计划 40 分钟 · 私有评测提升 -6.9 GPT-6 Luna · 4:08–4:10 · 计划 30 分钟 · 私有评测提升 -5.08 GPT-6 Luna · 4:16–4:17 · 计划 30 分钟 · 私有评测提升 -10.81 GPT-6 Luna · 4:21–4:23 · 计划 25 分钟 · 私有评测提升 -7.16 GPT-6 Luna · 4:25–4:27 · 计划 25 分钟 · 私有评测提升 -5.99 GPT-6 Luna · 4:32–4:33 · 计划 3 分钟 · 私有评测提升 -8.07 GPT-6 Luna · 4:36–4:38 · 计划 20 分钟 · 私有评测提升 -6.12 +2.9 Kimi K3 a1 Kimi K3 · 0:09–1:04 · 计划 60 分钟 · 私有评测提升 -2.21 Kimi K3 · 1:11–1:46 · 计划 40 分钟 · 私有评测提升 -3.26 Kimi K3 · 1:52–2:48 · 计划 60 分钟 · 私有评测提升 -1.69 Kimi K3 · 2:55–3:50 · 计划 60 分钟 · 私有评测提升 -1.95 Kimi K3 · 3:54–4:11 · 计划 22 分钟 · 私有评测提升 -2.47 +3.3 GLM-5.3 a1 GLM-5.3 · 0:04–0:08 · 计划 30 分钟 · 私有评测提升 -5.34 GLM-5.3 · 0:14–0:19 · 计划 10 分钟 · 私有评测提升 -6.64 GLM-5.3 · 0:24–0:28 · 计划 10 分钟 · 私有评测提升 -6.12 GLM-5.3 · 0:32–1:27 · 计划 60 分钟 · 私有评测提升 +2.34 GLM-5.3 · 1:35–2:30 · 计划 60 分钟 · 私有评测提升 +1.04 GLM-5.3 · 2:35–2:39 · 计划 10 分钟 · 私有评测提升 -4.04 GLM-5.3 · 2:42–3:38 · 计划 60 分钟 · 私有评测提升 +0.26 GLM-5.3 · 3:44–4:09 · 计划 30 分钟 · 私有评测提升 -3.39 -0.5 训练,按私有评测提升着色 练习评估 中止训练 提交方案 代码或配置检查「最终」是主办方按提交方案从头重训所得网络的提升分数。
查看第 2 次尝试 0 小时 1 小时 2 小时 3 小时 4 小时 5 小时 最终 GPT-6.1 Sol GPT-6.1 Sol · 0:04–0:55 · 计划 55 分钟 · 私有评测提升 +12.76 GPT-6.1 Sol · 1:05–1:55 · 计划 55 分钟 · 私有评测提升 +15.76 GPT-6.1 Sol · 2:03–2:53 · 计划 55 分钟 · 私有评测提升 +14.58 GPT-6.1 Sol · 2:57–3:53 · 计划 60 分钟 · 私有评测提升 +22.01 GPT-6.1 Sol · 4:03–4:19 · 计划 20 分钟 · 私有评测提升 +13.28 GPT-6.1 Sol · 4:26–4:27 · 计划 3 分钟 · 私有评测提升 -1.43 +20.4 GPT-6 Astra GPT-6 Astra · 0:03–0:28 · 计划 30 分钟 · 私有评测提升 -4.56 GPT-6 Astra · 0:43–1:39 · 计划 60 分钟 · 私有评测提升 +13.93 GPT-6 Astra · 1:48–2:43 · 计划 60 分钟 · 私有评测提升 +11.72 GPT-6 Astra · 2:58–3:53 · 计划 60 分钟 · 私有评测提升 +13.02 GPT-6 Astra · 4:01–4:35 · 计划 38 分钟 · 私有评测提升 +12.24 +12.9 Inkling 2 Small Inkling 2 Small · 0:03–0:59 · 计划 60 分钟 · 私有评测提升 +1.04 Inkling 2 Small · 1:07–2:02 · 计划 60 分钟 · 私有评测提升 +3.26 Inkling 2 Small · 2:12–3:08 · 计划 60 分钟 · 私有评测提升 +1.17 Inkling 2 Small · 3:16–4:11 · 计划 60 分钟 · 私有评测提升 +10.42 +12.5 DeepSeek V4 Pro DeepSeek V4 Pro · 0:05–0:06 · 计划 3 分钟 · 私有评测提升 -11.2 DeepSeek V4 Pro · 0:10–0:11 · 计划 3 分钟 · 私有评测提升 -9.9 DeepSeek V4 Pro · 0:12–1:08 · 计划 60 分钟 · 私有评测提升 -1.04 DeepSeek V4 Pro · 1:14–1:15 · 计划 3 分钟 · 私有评测提升 -10.55 DeepSeek V4 Pro · 1:17–2:12 · 计划 60 分钟 · 私有评测提升 +5.47 DeepSeek V4 Pro · 2:19–2:20 · 计划 3 分钟 · 私有评测提升 -10.03 DeepSeek V4 Pro · 2:21–3:17 · 计划 60 分钟 · 私有评测提升 +4.82 DeepSeek V4 Pro · 3:21–3:58 · 计划 60 分钟 · 私有评测提升 -1.82 +3.3 GPT-6 Luna GPT-6 Luna · 0:04–0:59 · 计划 60 分钟 · 私有评测提升 +1.3 GPT-6 Luna · 1:07–2:03 · 计划 60 分钟 · 私有评测提升 -4.69 GPT-6 Luna · 2:08–3:03 · 计划 60 分钟 · 私有评测提升 -2.6 GPT-6 Luna · 3:09–3:26 · 计划 60 分钟 · 私有评测提升 -5.6 GPT-6 Luna · 3:30–3:55 · 计划 30 分钟 · 私有评测提升 -2.73 -2.3 Kimi K3 Kimi K3 · 0:06–0:07 · 计划 3 分钟 · 私有评测提升 -8.98 Kimi K3 · 0:08–0:28 · 计划 25 分钟 · 私有评测提升 -4.56 Kimi K3 · 0:32–1:28 · 计划 60 分钟 · 私有评测提升 +1.69 Kimi K3 · 1:33–2:28 · 计划 60 分钟 · 私有评测提升 +1.17 Kimi K3 · 2:33–3:14 · 计划 45 分钟 · 私有评测提升 +1.69 Kimi K3 · 3:18–3:54 · 计划 40 分钟 · 私有评测提升 +0.26 +3.6 GLM-5.3 GLM-5.3 · 0:04–0:30 · 计划 30 分钟 · 私有评测提升 -1.04 GLM-5.3 · 0:37–1:02 · 计划 30 分钟 · 私有评测提升 -1.43 GLM-5.3 · 1:10–1:35 · 计划 30 分钟 · 私有评测提升 +1.04 GLM-5.3 · 1:43–2:08 · 计划 30 分钟 · 私有评测提升 -3.39 GLM-5.3 · 2:13–2:14 · 计划 3 分钟 · 私有评测提升 -11.72 GLM-5.3 · 2:17–3:13 · 计划 60 分钟 · 私有评测提升 -1.82 GLM-5.3 · 3:16–3:42 · 计划 30 分钟 · 私有评测提升 -3.39 GLM-5.3 · 3:47–4:03 · 计划 20 分钟 · 私有评测提升 -2.6 GLM-5.3 · 4:06–4:22 · 计划 20 分钟 · 私有评测提升 -2.21 -0.7 训练,按私有评测提升着色 练习评估 中止训练 提交方案 代码或配置检查「最终」是主办方按提交方案从头重训所得网络的提升分数。
0 小时 1 小时 2 小时 3 小时 4 小时 5 小时 最终 GPT-6.1 Sol a2 GPT-6.1 Sol · 0:04–0:55 · 计划 55 分钟 · 私有评测提升 +12.76 GPT-6.1 Sol · 1:05–1:55 · 计划 55 分钟 · 私有评测提升 +15.76 GPT-6.1 Sol · 2:03–2:53 · 计划 55 分钟 · 私有评测提升 +14.58 GPT-6.1 Sol · 2:57–3:53 · 计划 60 分钟 · 私有评测提升 +22.01 GPT-6.1 Sol · 4:03–4:19 · 计划 20 分钟 · 私有评测提升 +13.28 GPT-6.1 Sol · 4:26–4:27 · 计划 3 分钟 · 私有评测提升 -1.43 +20.4 GPT-6 Astra a2 GPT-6 Astra · 0:03–0:28 · 计划 30 分钟 · 私有评测提升 -4.56 GPT-6 Astra · 0:43–1:39 · 计划 60 分钟 · 私有评测提升 +13.93 GPT-6 Astra · 1:48–2:43 · 计划 60 分钟 · 私有评测提升 +11.72 GPT-6 Astra · 2:58–3:53 · 计划 60 分钟 · 私有评测提升 +13.02 GPT-6 Astra · 4:01–4:35 · 计划 38 分钟 · 私有评测提升 +12.24 +12.9 Inkling 2 Small b2 Inkling 2 Small · 0:03–0:59 · 计划 60 分钟 · 私有评测提升 +1.04 Inkling 2 Small · 1:07–2:02 · 计划 60 分钟 · 私有评测提升 +3.26 Inkling 2 Small · 2:12–3:08 · 计划 60 分钟 · 私有评测提升 +1.17 Inkling 2 Small · 3:16–4:11 · 计划 60 分钟 · 私有评测提升 +10.42 +12.5 DeepSeek V4 Pro b1 DeepSeek V4 Pro · 0:05–0:06 · 计划 3 分钟 · 私有评测提升 -11.2 DeepSeek V4 Pro · 0:10–0:11 · 计划 3 分钟 · 私有评测提升 -9.9 DeepSeek V4 Pro · 0:12–1:08 · 计划 60 分钟 · 私有评测提升 -1.04 DeepSeek V4 Pro · 1:14–1:15 · 计划 3 分钟 · 私有评测提升 -10.55 DeepSeek V4 Pro · 1:17–2:12 · 计划 60 分钟 · 私有评测提升 +5.47 DeepSeek V4 Pro · 2:19–2:20 · 计划 3 分钟 · 私有评测提升 -10.03 DeepSeek V4 Pro · 2:21–3:17 · 计划 60 分钟 · 私有评测提升 +4.82 DeepSeek V4 Pro · 3:21–3:58 · 计划 60 分钟 · 私有评测提升 -1.82 +3.3 GPT-6 Luna a2 GPT-6 Luna · 0:04–0:59 · 计划 60 分钟 · 私有评测提升 +1.3 GPT-6 Luna · 1:07–2:03 · 计划 60 分钟 · 私有评测提升 -4.69 GPT-6 Luna · 2:08–3:03 · 计划 60 分钟 · 私有评测提升 -2.6 GPT-6 Luna · 3:09–3:26 · 计划 60 分钟 · 私有评测提升 -5.6 GPT-6 Luna · 3:30–3:55 · 计划 30 分钟 · 私有评测提升 -2.73 -2.3 Kimi K3 a2 Kimi K3 · 0:06–0:07 · 计划 3 分钟 · 私有评测提升 -8.98 Kimi K3 · 0:08–0:28 · 计划 25 分钟 · 私有评测提升 -4.56 Kimi K3 · 0:32–1:28 · 计划 60 分钟 · 私有评测提升 +1.69 Kimi K3 · 1:33–2:28 · 计划 60 分钟 · 私有评测提升 +1.17 Kimi K3 · 2:33–3:14 · 计划 45 分钟 · 私有评测提升 +1.69 Kimi K3 · 3:18–3:54 · 计划 40 分钟 · 私有评测提升 +0.26 +3.6 GLM-5.3 a2 GLM-5.3 · 0:04–0:30 · 计划 30 分钟 · 私有评测提升 -1.04 GLM-5.3 · 0:37–1:02 · 计划 30 分钟 · 私有评测提升 -1.43 GLM-5.3 · 1:10–1:35 · 计划 30 分钟 · 私有评测提升 +1.04 GLM-5.3 · 1:43–2:08 · 计划 30 分钟 · 私有评测提升 -3.39 GLM-5.3 · 2:13–2:14 · 计划 3 分钟 · 私有评测提升 -11.72 GLM-5.3 · 2:17–3:13 · 计划 60 分钟 · 私有评测提升 -1.82 GLM-5.3 · 3:16–3:42 · 计划 30 分钟 · 私有评测提升 -3.39 GLM-5.3 · 3:47–4:03 · 计划 20 分钟 · 私有评测提升 -2.6 GLM-5.3 · 4:06–4:22 · 计划 20 分钟 · 私有评测提升 -2.21 -0.7 训练,按私有评测提升着色 练习评估 中止训练 提交方案 代码或配置检查「最终」是主办方按提交方案从头重训所得网络的提升分数。
查看第 3 次尝试 0 小时 1 小时 2 小时 3 小时 4 小时 5 小时 最终 GPT-6.1 Sol GPT-6.1 Sol · 0:06–0:32 · 计划 30 分钟 · 私有评测提升 +15.49 GPT-6.1 Sol · 0:43–1:39 · 计划 60 分钟 · 私有评测提升 +13.67 GPT-6.1 Sol · 1:47–2:43 · 计划 60 分钟 · 私有评测提升 +18.1 GPT-6.1 Sol · 2:44–3:09 · 计划 60 分钟 · 私有评测提升 +15.49 GPT-6.1 Sol · 3:16–4:12 · 计划 60 分钟 · 私有评测提升 +9.38 +13.3 GPT-6 Astra GPT-6 Astra · 0:05–0:60 · 计划 60 分钟 · 私有评测提升 +14.19 GPT-6 Astra · 1:17–2:13 · 计划 60 分钟 · 私有评测提升 暂无 GPT-6 Astra · 2:28–3:23 · 计划 60 分钟 · 私有评测提升 +18.75 GPT-6 Astra · 3:36–4:31 · 计划 60 分钟 · 私有评测提升 +10.68 GPT-6 Astra · 4:43–4:47 · 计划 6 分钟 · 私有评测提升 -1.43 +19.7 Inkling 2 Small Inkling 2 Small · 0:02–0:56 · 计划 60 分钟 · 私有评测提升 +0.91 Inkling 2 Small · 0:57–1:33 · 计划 60 分钟 · 私有评测提升 -0.65 Inkling 2 Small · 1:41–2:12 · 计划 60 分钟 · 私有评测提升 -0.91 Inkling 2 Small · 2:17–2:37 · 计划 60 分钟 · 私有评测提升 -5.21 Inkling 2 Small · 2:43–3:01 · 计划 40 分钟 · 私有评测提升 -5.6 Inkling 2 Small · 3:04–3:15 · 计划 60 分钟 · 私有评测提升 -4.95 Inkling 2 Small · 3:21–3:42 · 计划 40 分钟 · 私有评测提升 -3.12 Inkling 2 Small · 3:45–4:01 · 计划 20 分钟 · 私有评测提升 -7.68 +1.3 DeepSeek V4 Pro DeepSeek V4 Pro · 0:11–0:15 · 计划 6 分钟 · 私有评测提升 -3.78 DeepSeek V4 Pro · 0:20–0:31 · 计划 15 分钟 · 私有评测提升 -3.91 DeepSeek V4 Pro · 0:35–0:46 · 计划 15 分钟 · 私有评测提升 -4.56 DeepSeek V4 Pro · 0:50–1:00 · 计划 15 分钟 · 私有评测提升 -4.82 DeepSeek V4 Pro · 1:05–1:16 · 计划 15 分钟 · 私有评测提升 -5.6 DeepSeek V4 Pro · 1:20–1:31 · 计划 15 分钟 · 私有评测提升 +8.46 DeepSeek V4 Pro · 1:36–1:47 · 计划 15 分钟 · 私有评测提升 +2.6 DeepSeek V4 Pro · 1:51–2:16 · 计划 30 分钟 · 私有评测提升 +6.38 DeepSeek V4 Pro · 2:20–3:15 · 计划 60 分钟 · 私有评测提升 +0.91 DeepSeek V4 Pro · 3:21–3:46 · 计划 30 分钟 · 私有评测提升 +5.73 DeepSeek V4 Pro · 3:50–4:16 · 计划 30 分钟 · 私有评测提升 +3.52 +4.8 GPT-6 Luna GPT-6 Luna · 0:05–1:00 · 计划 60 分钟 · 私有评测提升 +4.95 GPT-6 Luna · 1:05–2:01 · 计划 60 分钟 · 私有评测提升 +6.51 GPT-6 Luna · 2:07–3:03 · 计划 60 分钟 · 私有评测提升 +8.46 GPT-6 Luna · 3:08–4:04 · 计划 60 分钟 · 私有评测提升 +7.03 GPT-6 Luna · 4:11–4:12 · 计划 3 分钟 · 私有评测提升 -7.42 +11.5 Kimi K3 Kimi K3 · 0:08–0:11 · 计划 5 分钟 · 私有评测提升 -10.94 Kimi K3 · 0:11–1:07 · 计划 60 分钟 · 私有评测提升 -2.34 Kimi K3 · 1:12–2:07 · 计划 60 分钟 · 私有评测提升 -4.56 Kimi K3 · 2:11–3:06 · 计划 60 分钟 · 私有评测提升 -4.82 Kimi K3 · 3:10–4:06 · 计划 60 分钟 · 私有评测提升 -2.86 -2.5 GLM-5.3 GLM-5.3 · 0:02–0:13 · 计划 15 分钟 · 私有评测提升 -3.26 GLM-5.3 · 0:18–0:29 · 计划 15 分钟 · 私有评测提升 -4.17 GLM-5.3 · 0:34–0:44 · 计划 15 分钟 · 私有评测提升 -1.95 GLM-5.3 · 1:13–1:24 · 计划 15 分钟 · 私有评测提升 -3.78 GLM-5.3 · 1:29–1:39 · 计划 15 分钟 · 私有评测提升 -4.56 GLM-5.3 · 1:44–1:54 · 计划 15 分钟 · 私有评测提升 -3.12 GLM-5.3 · 1:59–2:55 · 计划 60 分钟 · 私有评测提升 -2.21 GLM-5.3 · 2:59–3:09 · 计划 15 分钟 · 私有评测提升 -3.39 GLM-5.3 · 3:13–3:24 · 计划 15 分钟 · 私有评测提升 -1.82 GLM-5.3 · 3:29–3:39 · 计划 15 分钟 · 私有评测提升 -4.04 GLM-5.3 · 3:44–3:54 · 计划 15 分钟 · 私有评测提升 -1.56 GLM-5.3 · 3:59–4:10 · 计划 15 分钟 · 私有评测提升 -2.99 GLM-5.3 · 4:14–4:25 · 计划 15 分钟 · 私有评测提升 -1.3 GLM-5.3 · 4:29–4:40 · 计划 15 分钟 · 私有评测提升 -2.47 +3.0 训练,按私有评测提升着色 练习评估 中止训练 提交方案 代码或配置检查「最终」是主办方按提交方案从头重训所得网络的提升分数。
0 小时 1 小时 2 小时 3 小时 4 小时 5 小时 最终 GPT-6.1 Sol a3 GPT-6.1 Sol · 0:06–0:32 · 计划 30 分钟 · 私有评测提升 +15.49 GPT-6.1 Sol · 0:43–1:39 · 计划 60 分钟 · 私有评测提升 +13.67 GPT-6.1 Sol · 1:47–2:43 · 计划 60 分钟 · 私有评测提升 +18.1 GPT-6.1 Sol · 2:44–3:09 · 计划 60 分钟 · 私有评测提升 +15.49 GPT-6.1 Sol · 3:16–4:12 · 计划 60 分钟 · 私有评测提升 +9.38 +13.3 GPT-6 Astra a3 GPT-6 Astra · 0:05–0:60 · 计划 60 分钟 · 私有评测提升 +14.19 GPT-6 Astra · 1:17–2:13 · 计划 60 分钟 · 私有评测提升 暂无 GPT-6 Astra · 2:28–3:23 · 计划 60 分钟 · 私有评测提升 +18.75 GPT-6 Astra · 3:36–4:31 · 计划 60 分钟 · 私有评测提升 +10.68 GPT-6 Astra · 4:43–4:47 · 计划 6 分钟 · 私有评测提升 -1.43 +19.7 Inkling 2 Small b3 Inkling 2 Small · 0:02–0:56 · 计划 60 分钟 · 私有评测提升 +0.91 Inkling 2 Small · 0:57–1:33 · 计划 60 分钟 · 私有评测提升 -0.65 Inkling 2 Small · 1:41–2:12 · 计划 60 分钟 · 私有评测提升 -0.91 Inkling 2 Small · 2:17–2:37 · 计划 60 分钟 · 私有评测提升 -5.21 Inkling 2 Small · 2:43–3:01 · 计划 40 分钟 · 私有评测提升 -5.6 Inkling 2 Small · 3:04–3:15 · 计划 60 分钟 · 私有评测提升 -4.95 Inkling 2 Small · 3:21–3:42 · 计划 40 分钟 · 私有评测提升 -3.12 Inkling 2 Small · 3:45–4:01 · 计划 20 分钟 · 私有评测提升 -7.68 +1.3 DeepSeek V4 Pro b2 DeepSeek V4 Pro · 0:11–0:15 · 计划 6 分钟 · 私有评测提升 -3.78 DeepSeek V4 Pro · 0:20–0:31 · 计划 15 分钟 · 私有评测提升 -3.91 DeepSeek V4 Pro · 0:35–0:46 · 计划 15 分钟 · 私有评测提升 -4.56 DeepSeek V4 Pro · 0:50–1:00 · 计划 15 分钟 · 私有评测提升 -4.82 DeepSeek V4 Pro · 1:05–1:16 · 计划 15 分钟 · 私有评测提升 -5.6 DeepSeek V4 Pro · 1:20–1:31 · 计划 15 分钟 · 私有评测提升 +8.46 DeepSeek V4 Pro · 1:36–1:47 · 计划 15 分钟 · 私有评测提升 +2.6 DeepSeek V4 Pro · 1:51–2:16 · 计划 30 分钟 · 私有评测提升 +6.38 DeepSeek V4 Pro · 2:20–3:15 · 计划 60 分钟 · 私有评测提升 +0.91 DeepSeek V4 Pro · 3:21–3:46 · 计划 30 分钟 · 私有评测提升 +5.73 DeepSeek V4 Pro · 3:50–4:16 · 计划 30 分钟 · 私有评测提升 +3.52 +4.8 GPT-6 Luna a3 GPT-6 Luna · 0:05–1:00 · 计划 60 分钟 · 私有评测提升 +4.95 GPT-6 Luna · 1:05–2:01 · 计划 60 分钟 · 私有评测提升 +6.51 GPT-6 Luna · 2:07–3:03 · 计划 60 分钟 · 私有评测提升 +8.46 GPT-6 Luna · 3:08–4:04 · 计划 60 分钟 · 私有评测提升 +7.03 GPT-6 Luna · 4:11–4:12 · 计划 3 分钟 · 私有评测提升 -7.42 +11.5 Kimi K3 a3 Kimi K3 · 0:08–0:11 · 计划 5 分钟 · 私有评测提升 -10.94 Kimi K3 · 0:11–1:07 · 计划 60 分钟 · 私有评测提升 -2.34 Kimi K3 · 1:12–2:07 · 计划 60 分钟 · 私有评测提升 -4.56 Kimi K3 · 2:11–3:06 · 计划 60 分钟 · 私有评测提升 -4.82 Kimi K3 · 3:10–4:06 · 计划 60 分钟 · 私有评测提升 -2.86 -2.5 GLM-5.3 a3 GLM-5.3 · 0:02–0:13 · 计划 15 分钟 · 私有评测提升 -3.26 GLM-5.3 · 0:18–0:29 · 计划 15 分钟 · 私有评测提升 -4.17 GLM-5.3 · 0:34–0:44 · 计划 15 分钟 · 私有评测提升 -1.95 GLM-5.3 · 1:13–1:24 · 计划 15 分钟 · 私有评测提升 -3.78 GLM-5.3 · 1:29–1:39 · 计划 15 分钟 · 私有评测提升 -4.56 GLM-5.3 · 1:44–1:54 · 计划 15 分钟 · 私有评测提升 -3.12 GLM-5.3 · 1:59–2:55 · 计划 60 分钟 · 私有评测提升 -2.21 GLM-5.3 · 2:59–3:09 · 计划 15 分钟 · 私有评测提升 -3.39 GLM-5.3 · 3:13–3:24 · 计划 15 分钟 · 私有评测提升 -1.82 GLM-5.3 · 3:29–3:39 · 计划 15 分钟 · 私有评测提升 -4.04 GLM-5.3 · 3:44–3:54 · 计划 15 分钟 · 私有评测提升 -1.56 GLM-5.3 · 3:59–4:10 · 计划 15 分钟 · 私有评测提升 -2.99 GLM-5.3 · 4:14–4:25 · 计划 15 分钟 · 私有评测提升 -1.3 GLM-5.3 · 4:29–4:40 · 计划 15 分钟 · 私有评测提升 -2.47 +3.0 训练,按私有评测提升着色 练习评估 中止训练 提交方案 代码或配置检查「最终」是主办方按提交方案从头重训所得网络的提升分数。
查看各次训练的数据 尝试 按时间排列的训练(分钟数 → 私有评测提升) 中止次数 练习评估 最终提升 GPT-6.1 Sol a1 55 分 → +11.46, 56 分 → +18.88, 55 分 → +18.1, 55 分 → +11.59, 5 分 → -0.13 0 5 +17.3 GPT-6.1 Sol a2 51 分 → +12.76, 50 分 → +15.76, 50 分 → +14.58, 56 分 → +22.01, 15 分 → +13.28, 1 分 → -1.43 0 6 +20.4 GPT-6.1 Sol a3 25 分 → +15.49, 55 分 → +13.67, 56 分 → +18.1, 25 分 → +15.49, 55 分 → +9.38 0 10 +13.3 GPT-6 Astra a1 25 分 → -3.78, 55 分 → +12.5, 55 分 → +11.98, 55 分 → +13.41, 32 分 → +14.19 0 5 +14.1 GPT-6 Astra a2 25 分 → -4.56, 55 分 → +13.93, 55 分 → +11.72, 55 分 → +13.02, 34 分 → +12.24 0 5 +12.9 GPT-6 Astra a3 55 分 → +14.19, 55 分 → ?, 55 分 → +18.75, 56 分 → +10.68, 4 分 → -1.43 0 4 +19.7 Inkling 2 Small a1 55 分 → +3.65, 55 分 → +4.95, 55 分 → +6.12, 55 分 → +6.9 0 4 +5 Inkling 2 Small b2 55 分 → +1.04, 55 分 → +3.26, 55 分 → +1.17, 55 分 → +10.42 0 4 +12.5 Inkling 2 Small b3 54 分 → +0.91, 36 分 → -0.65, 31 分 → -0.91, 21 分 → -5.21, 18 分 → -5.6, 11 分 → -4.95, 21 分 → -3.12, 15 分 → -7.68 7 8 +1.3 DeepSeek V4 Pro a2 16 分 → -0.26, 55 分 → +11.72, 55 分 → +9.51, 55 分 → +14.06, 36 分 → +8.2 0 5 +7 DeepSeek V4 Pro b1 1 分 → -11.2, 1 分 → -9.9, 55 分 → -1.04, 1 分 → -10.55, 55 分 → +5.47, 1 分 → -10.03, 55 分 → +4.82, 38 分 → -1.82 1 5 +3.3 DeepSeek V4 Pro b2 4 分 → -3.78, 10 分 → -3.91, 10 分 → -4.56, 10 分 → -4.82, 11 分 → -5.6, 11 分 → +8.46, 10 分 → +2.6, 26 分 → +6.38, 55 分 → +0.91, 26 分 → +5.73, 25 分 → +3.52 0 11 +4.8 GPT-6 Luna a1 42 分 → +4.95, 44 分 → -2.47, 18 分 → -4.17, 50 分 → -4.69, 2 分 → -9.51, 2 分 → -5.99, 2 分 → -7.68, 1 分 → -10.03, 6 分 → -6.25, 1 分 → -10.03, 1 分 → -13.41, 7 分 → -4.69, 2 分 → -6.9, 2 分 → -5.08, 1 分 → -10.81, 2 分 → -7.16, 2 分 → -5.99, 1 分 → -8.07, 2 分 → -6.12 21 16 +2.9 GPT-6 Luna a2 55 分 → +1.3, 55 分 → -4.69, 56 分 → -2.6, 17 分 → -5.6, 25 分 → -2.73 2 5 -2.3 GPT-6 Luna a3 55 分 → +4.95, 55 分 → +6.51, 56 分 → +8.46, 55 分 → +7.03, 1 分 → -7.42 0 5 +11.5 Kimi K3 a1 55 分 → -2.21, 35 分 → -3.26, 56 分 → -1.69, 55 分 → -1.95, 17 分 → -2.47 0 6 +3.3 Kimi K3 a2 1 分 → -8.98, 20 分 → -4.56, 55 分 → +1.69, 55 分 → +1.17, 41 分 → +1.69, 35 分 → +0.26 0 5 +3.6 Kimi K3 a3 3 分 → -10.94, 55 分 → -2.34, 55 分 → -4.56, 56 分 → -4.82, 55 分 → -2.86 0 4 -2.5 GLM-5.3 a1 4 分 → -5.34, 5 分 → -6.64, 4 分 → -6.12, 55 分 → +2.34, 55 分 → +1.04, 4 分 → -4.04, 55 分 → +0.26, 25 分 → -3.39 4 8 -0.5 GLM-5.3 a2 26 分 → -1.04, 25 分 → -1.43, 25 分 → +1.04, 26 分 → -3.39, 1 分 → -11.72, 56 分 → -1.82, 25 分 → -3.39, 15 分 → -2.6, 15 分 → -2.21 0 9 -0.7 GLM-5.3 a3 11 分 → -3.26, 10 分 → -4.17, 10 分 → -1.95, 10 分 → -3.78, 10 分 → -4.56, 10 分 → -3.12, 55 分 → -2.21, 10 分 → -3.39, 11 分 → -1.82, 10 分 → -4.04, 10 分 → -1.56, 11 分 → -2.99, 10 分 → -1.3, 10 分 → -2.47 0 14 +3
我们通常会在工作区提供快速模拟器。在一项单独的 Generals.io 测试中,我们给智能体一个每次只能模拟一局的纯 Python 模拟器,没有提示运行速度。我们在 12 万个游戏时间步上核对了它与主办方高速引擎的一致性。练习赛、最终评测和循环赛都使用高速引擎,因此智能体可以重写自己的训练模拟器,而评测所依据的游戏规则保持一致。
四个智能体都发现了瓶颈。Claude Opus 5.5 和 GPT-6.1 Sol 实现了批量模拟,与原实现核对行为后,分别以每秒约 14,600 和 5,400 个游戏时间步进行训练。DeepSeek V4 Pro 和 Kimi K3.1 Pro 继续使用原有引擎,速度分别约为每秒 565 和 630 个时间步。重写模拟器的两个模型包揽了循环赛前两名。它们的训练方案还有其他差异,因此比赛结果反映的是各自整套策略在预算内的效果。
哪些改动经得起长时间训练?
我们把 Polytopia 方案分别重训 1 小时和 8 小时,以区分短期技巧和持续收益。更好的游戏特征在 8 小时后仍然有效。提高学习率和手写策略提示的优势则会消失,有时甚至会拖累后期表现。
方法 具体做法 1 小时后 8 小时后 证据强度
机会地图 让机器人看到每个格子上可采取的行动 ▲ 有帮助 ▲ 有帮助 低,两套方案来自同一研究者
按回合归因 用游戏回合计量时间,而非单条指令 ▲ 有帮助 ▲ 有帮助 低,两套方案、一次公平比较
缩小价值网络 让判断局面优劣的网络更小 ● 大致持平 ● 大致持平 低,一套方案
加大更新幅度 将学习率提高到约 3 倍 ▲ 有帮助 ● 大致持平 1 小时结果证据强,有对照实验
手写策略提示 把 Polytopia 的游戏经验直接写进机器人 ● 大致持平 ▼ 有负面影响 中,八套方案,无公平比较
扩大网络 增加层数或加宽各层 ● 大致持平 ● 大致持平 高,多次在公平比较中落败
奖励中间进展 对得分或经济增长发放中途奖励 ▼ 有负面影响 ● 大致持平 中
使用共享网络 将决策网络与价值网络合并 ● 大致持平 ▼ 有负面影响 高,在公平比较中明显落败
与旧版本对弈 用过去版本的自己作为练习对手 所有测试均落败 无提交 中,尝试四次
预测哪次训练会胜出
预测实验模拟了研究人员购买算力之前要做的判断。测试既包含从头训练的最终方案,也包含研究过程中的单次训练。模型只能看到启动训练时已经掌握的信息。简单基线用训练时长和以往的练习赛成绩做预测。我们用其他研究会话的数据拟合基线,并以整场会话为单位进行重采样来估计不确定性,因为同一场会话内的实验共享历史信息。
优秀的研究人员需要预判哪些实验值得投入,目前的模型在这方面仍然较弱。面对 181 次匿名的宝可梦训练,模型只能看到启动前的资料。14 个模型中有 14 个胜过盲猜,只有 2 个(GPT-6.2 Astra、Gemini 4 Neon)稳定超过用训练时长和练习赛历史做预测的简单岭回归。看到四套 Polytopia 方案的 1 小时训练证据后,全部 14 个模型都把最终的 8 小时冠军排在最后一名。
图 5. 181 次宝可梦训练的预测能力(0 为盲猜,1 为完全正确)。区间是按会话估计的 90% 区间。虚线是用训练时长和练习赛历史拟合的岭回归基线(+0.29)。 显著优于回归基线 与回归基线差异不显著 显著弱于回归基线
0 +0.10 +0.20 +0.30 +0.40 +0.50 盲猜 回归基线 +0.29 相对预测能力(0 为盲猜,1 为完全正确) GPT-6.2 Astra +0.41 Gemini 4 Neon +0.38 Gemini 4 Carbon +0.37 GPT-6 Astra +0.31 Gemini 4 Hydrogen +0.31 GPT-6.1 Sol +0.30 Claude Fable 5.2 +0.30 GPT-6.2 Sol +0.28 Meta Muse Wonder +0.23 Claude Opus 5.5 +0.22 Tencent Hy4 +0.21 DeepSeek V4.1 Flash +0.20 GLM-5.3 +0.20 Kimi K3.1 Pro +0.19 具体区间见数据表。
显著优于回归基线 与回归基线差异不显著 显著弱于回归基线
0 +0.10 +0.20 +0.30 +0.40 +0.50 盲猜 回归基线 +0.29 相对预测能力(0 为盲猜,1 为完全正确) GPT-6.2 Astra +0.41 Gemini 4 Neon +0.38 Gemini 4 Carbon +0.37 GPT-6 Astra +0.31 Gemini 4 Hydrogen +0.31 GPT-6.1 Sol +0.30 Claude Fable 5.2 +0.30 GPT-6.2 Sol +0.28 Meta Muse Wonder +0.23 Claude Opus 5.5 +0.22 Tencent Hy4 +0.21 DeepSeek V4.1 Flash +0.20 GLM-5.3 +0.20 Kimi K3.1 Pro +0.19 具体区间见数据表。
查看数据表 预测模型 相对预测能力(0 为盲猜,1 为完全正确) 90% 区间 相对于回归基线的优势 优势的 90% 区间 GPT-6.2 Astra +0.41 +0.33 至 +0.49 +0.12 +0.05 至 +0.18 Gemini 4 Neon +0.38 +0.27 至 +0.47 +0.09 +0.01 至 +0.14 Gemini 4 Carbon +0.37 +0.26 至 +0.47 +0.08 −0.00 至 +0.14 GPT-6 Astra +0.31 +0.23 至 +0.39 +0.02 −0.04 至 +0.06 Gemini 4 Hydrogen +0.31 +0.19 至 +0.42 +0.02 −0.07 至 +0.09 GPT-6.1 Sol +0.30 +0.22 至 +0.39 +0.02 −0.04 至 +0.06 Claude Fable 5.2 +0.30 +0.23 至 +0.38 +0.01 −0.04 至 +0.06 GPT-6.2 Sol +0.28 +0.20 至 +0.39 −0.01 −0.08 至 +0.07 Meta Muse Wonder +0.23 +0.16 至 +0.35 −0.05 −0.11 至 +0.01 Claude Opus 5.5 +0.22 +0.15 至 +0.33 −0.07 −0.14 至 +0.01 Tencent Hy4 +0.21 +0.10 至 +0.34 −0.08 −0.15 至 +0.00 DeepSeek V4.1 Flash +0.20 +0.12 至 +0.33 −0.09 −0.16 至 +0.00 GLM-5.3 +0.20 +0.11 至 +0.32 −0.09 −0.17 至 −0.00 Kimi K3.1 Pro +0.19 +0.08 至 +0.31 −0.10 −0.18 至 −0.03 回归基线 +0.29 0
结语
当软件真正普及,写代码只是第一步。我们预计,模型训练也会变成日常工作。智能体可以构建应用,训练应用所需的模型,再将这些模型部署为独立运行的组件。自主训练也是实现递归式自我改进的一块基石。它还可能让几乎任何细分任务都用得上专用模型,从农作物图像分类到嵌入临床软件的小型模型。我们建立这项基准,是为了衡量智能体在算力受限时有多擅长这类训练。
以游戏为例,开发期间规则可能天天变,持续运营的游戏上线后也会不断更新。如果智能体能随规则变化低成本地重训并测试机器人,工作室就能借它们检查游戏平衡,也能给玩家提供可靠的队友。更多开发者将能负担这两件事,尤其是难以抽出时间长期维护机器人的独立团队。
感谢 Modal 为本研究提供算力额度。
各项实验在 2026 年 11 月 11 日至 20 日期间进行,使用单张 NVIDIA L40S GPU。循环赛评分采用 Bradley–Terry 模型拟合。主办方在留出对局上评测从头重训的模型和直接提交的网络。Anthropic 的安全分类器中断了多场 Claude 会话,因此在 Hex、Generals.io 和 Polytopia 预算扫描中,Claude 使用中等推理强度,其他模型使用高推理强度。私有评测种子、地图和评测对手组未公开。如有需要,可以申请查阅完整的研究轨迹。
开源致谢
我们的多个模拟器基于开源项目构建,或利用开源项目验证。感谢这些项目的作者。我们在使用的代码副本中保留了各项目的许可证和声明。
宝可梦、The Battle of Polytopia、Generals.io、《皇室战争》和《炉石传说:酒馆战棋》的商标归各自所有者所有。本项目与这些所有者无关联,也未获得他们的背书。