sudo L7
2026-10-28 · 通用编码能力
- 测什么
- 通用编码能力:在真实代码库里完成改动、发现风险、验证危险情况,并把决定说清楚。60 道题由 staff 及以上工程师编写,多数来自私有生产仓库,也有开源项目。在本站作为 general 榜,同时出现在 Web 前端与 Android 场景。
- 怎么测
- Surge AI 的 sudo L7。专家为每道题写评分细则,模型对照细则打分,并用单元测试、静态分析等可执行检查作证据。博客称共八个维度,点名的有功能正确性、实践判断、思路协作(Thought Partnership)、验证、工程工艺(Engineering Craft)、如实报告(Truthful Reporting)和沟通。
- 分数含义
- 百分比是没有漏掉必要要求的任务比例。榜单页只公布这一列。功能正确性上前四名接近:Sol 82.4%,Opus 5.5 82.1%,Astra 81.5%,Sonnet 5.5 79.6%。思路协作上 Opus 76.1%、Sonnet 74.8%,Sol 53.0%、Astra 51.6%。沟通上 Sonnet 72.4%,Sol 44.1%。
- 注意
- 榜很新,只有 60 题,任务集不公开。评分由模型对照专家细则完成。Surge 是 AI 数据供应商。博客里的单任务成本是约数,榜单页没有成本列。
- 更新
- 博客发布于 2026-10-08。本页于 2026-10-28 同步公开 sudo L7 表全部 16 行(不含同页 DAYJOB / GDP.xlsx 侧榜)。Sonnet 5.5 Adaptive/Max 50.6% 居首;Kimi K3.1 Pro 与 Qwen 3.8 Max 并列第 6(16.7%)。
完整榜单
16
| # | 模型 | 分数 |
|---|
| 1 | Claude Sonnet 5.5Adaptive/Max | 50.6 |
| 2 | Claude Opus 5.5Adaptive/Max | 45.6 |
| 3 | GPT 6.1 SolMax reasoning | 33.9 |
| 4 | Claude Fable 5.1Adaptive/Max | 32.2 |
| 5 | GPT 6 AstraMax reasoning | 31.1 |
| 6 | Qwen 3.8 MaxxHigh reasoning | 16.7 |
| 6 | Kimi K3.1 ProMax reasoning | 16.7 |
| 8 | Gemini 4 ArgonHigh reasoning | 16.1 |
| 8 | Muse WonderMax reasoning | 16.1 |
| 10 | Hy4 PreviewHigh reasoning | 15.6 |
| 11 | MMistral Large 4High reasoning | 13.9 |
| 12 | Muse Spark 1.3Max reasoning | 12.8 |
| 13 | Kimi K3Max reasoning | 12.2 |
| 13 | Grok 4.7xHigh reasoning | 12.2 |
| 15 | Gemini 3.8 FlashHigh reasoning | 10.6 |
| 16 | GLM 5.3Max reasoning | 9.4 |