C
Convex AI rules
PromptConvex 文档里给 Agent 的规则。With Guidelines 相对无指南的变化量写在这一页。
Convex · docs.convex.dev/ai#convex-ai-rules
有材料相对基线的变化
Convex Evals · 框架官方评测 · 2026-10-28 · 92a60e0bb2f156b5ac44e6ea3f5d03a91deb434b9d002d14819d1fc2b6e35cdb
Convex 自己出题、自己评分。测的是模型加上 Convex，不是框架之间的高低。前排接近满分。With Guidelines 来自公开接口 runs:leaderboardScores 的默认查询（无 experiment）；与页面 With Guidelines 标签对照后收录，experiment=with_guidelines 仍返回服务器错误。
| # | 模型 | 基线 | 有指南 | 变化 |
|---|---|---|---|---|
| 1 | GPT-6 Astra 3 runs | 89.88 | 97.02 | +7.14 |
| 2 | Claude Opus 5.5 3 runs | 89.58 | 97.77 | +8.19 |
| 3 | Gemini 4 Argon 8 runs | 88.62 | 98.72 | +10.1 |
| 4 | GPT-6.1 Sol 5 runs | 88.57 | 96.43 | +7.86 |
| 5 | Claude Fable 5 1 run | 85.71 | 97.32 | +11.61 |
| 6 | Claude Sonnet 5.5 4 runs | 85.49 | 97.68 | +12.19 |
| 7 | GPT 5.6 Sol 2 runs | 84.82 | 98.21 | +13.39 |
| 8 | Claude Fable 5.1 1 run | 83.04 | 97.32 | +14.28 |
| 9 | Grok 4.6 1 run | 81.25 | 94.64 | +13.39 |
| 10 | Claude Opus 5 2 runs | 80.8 | 94.64 | +13.84 |
| 11 | Grok 4.7 1 run | 80.36 | 94.64 | +14.28 |
| 12 | Claude Opus 4.8 1 run | 79.46 | 92.86 | +13.4 |
| 13 | GPT 5.5 1 run | 77.68 | 89.29 | +11.61 |
| 14 | Grok 4.5 2 runs | 77.68 | 95.09 | +17.41 |
| 15 | Muse Wonder 9 runs | 76.59 | 93.45 | +16.86 |
| 16 | Claude Haiku 5.5 8 runs | 75.0 | 89.62 | +14.62 |
| 17 | Claude Sonnet 5 1 run | 74.11 | 86.61 | +12.5 |
| 18 | Gemini 3.1 Pro Preview 1 run | 72.32 | 84.82 | +12.5 |
| 19 | Kimi K3.1 Pro 2 runs | 71.43 | 93.3 | +21.87 |
| 20 | GPT 5.6 Terra 2 runs | 69.64 | 89.73 | +20.09 |
为什么选，什么时候别用
为什么选 规则本身在文档里。评测页的 With Guidelines 列与公开默认查询一致。
别用 不要把有指南的通过率当成无指南基线。