Supabase Evals
2026-10-30 · 框架官方评测 · benchmark suite · 2026-10-30
- 测什么
- 模型在 Supabase 开发旅程上做 Build / Deploy / Investigate / Resolve。公开表按 Agent 汇总 Total%。
- 怎么测
- Supabase 官方 evals。公开页 Experiment suite：Without skills（skills: []）是基线；Benchmark（加载 supabase 与 supabase-postgres-best-practices）是有 Skills 对照臂。两列分开，不合成一个通过率。
- 分数含义
- 百分比是公开表上的 Total%。名次按 Without skills 基线排列。变化量是 Benchmark（有 Skills）减去基线，单位是百分点，可以为 0 或负数。
- 注意
- Supabase 自己出题、自己评分。测的是模型加上 Supabase，不是框架之间的高低。当前公开榜 6 个 agent。厂商既是题目作者也是评分方。页面分数为整数百分比。
- 更新
- 来源页 Experiment suite 同步于 2026-11-02（榜面按 2026-10-30 监视预期对齐）。Without skills 与 Benchmark 分列收录。
基线榜
| # | 模型 | 基线 | 有 Skills |
|---|---|---|---|
| 1 | Claude Opus 5.5 medium · Claude Code | 90.0 | 93.0 |
| 2 | Kimi K3 OpenCode | 88.0 | 86.0 |
| 3 | Grok 4.7 high · Grok | 84.0 | 83.0 |
| 4 | GPT-6.1 Sol medium · Codex | 78.0 | 81.0 |
| 5 | Claude Sonnet 5.5 medium · Claude Code | 77.0 | 86.0 |
| 6 | GPT 6 Luna medium · Codex | 70.0 | 77.0 |