Android Bench
2026-10-26 · 移动端
2.0 长程
- 测什么
- 跨模块、耗时很长的 Android 改造:完整功能,而不是单点修改。
- 怎么测
- developer.android.com/bench 的 Long-horizon task results。每一行是模型加 agent harness。列是通过率、CI、完成度、平均耗时和平均成本。
- 分数含义
- 百分比是 30 个任务的平均通过率。完成度是失败时离做完还有多近。耗时单位是小时,成本是一整次跑分。
- 注意
- 整体通过率不高,置信区间很宽,第一名 24.0–56.0 和第二名 22.0–52.0 重叠。1.0 仍完整保留在本页,作为历史版本,不再作为场景的当前列。
- 更新
- 页面写着 Latest results as of October 26th。本页于 2026-10-28 与 #long-horizon-task-results 逐行核对,11 行全部收录。
完整榜单
11
全部
| # | 模型 | Agent | 通过率 % | CI | 完成度 % | 平均耗时 h | 平均成本 $ |
|---|
| 1 | Claude Sonnet 5.5 | claude-code | 40.0 | 24.0–56.0 | 80.9 | 70.7 | $1574.9 |
| 2 | Claude Opus 5.5 | claude-code | 37.3 | 22.0–52.0 | 85.6 | 56.6 | $1150.3 |
| 3 | GPT 6.1 Sol | codex | 29.3 | 15.3–42.7 | 82.8 | 26.6 | $99.5 |
| 4 | GPT 6 Astra | codex | 28.0 | 13.3–42.0 | 82.2 | 7.9 | $375.7 |
| 5 | Claude Fable 5.1 | claude-code | 22.7 | 10.7–36.0 | 82.4 | 22.2 | $492.6 |
| 6 | Gemini 4 Argon | antigravity-sdk | 21.3 | 10.0–33.3 | 81.8 | 52.8 | $267.6 |
| 7 | Qwen3.8 Max | qwen-coder | 12.5 | 4.2–21.7 | 75.0 | 45.4 | $258.4 |
| 8 | Kimi K3 | kimi-code | 12.0 | 3.3–22.0 | 72.8 | 66.2 | $418.3 |
| 9 | GPT 6 Luna | codex | 10.7 | 4.0–17.3 | 53.2 | 6.2 | $5.3 |
| 10 | Gemini 3.8 Flash | antigravity-sdk | 8.0 | 3.3–13.3 | 47.4 | 12.1 | $34.5 |
| 11 | Gemini 3.7 Flash | antigravity-sdk | 7.3 | 1.3–14.7 | 50.1 | 9.9 | $26.0 |