基准/convex-evals

Convex Evals

2026-10-28 · 框架官方评测 · 92a60e0bb2f156b5ac44e6ea3f5d03a91deb434b9d002d14819d1fc2b6e35cdb

测什么: 模型写 Convex 代码并实际跑起来。当前版本 112 题。基线是 No Guidelines：不提供指南，也不能上网。
怎么测: Convex 官方 coding evals。名次只用 No Guidelines。With Guidelines 是另一列：加载官方 AI rules。No Guidelines + Web 再一列：可以搜索和打开网页，仍然没有指南。各列不平均、不相加。
分数含义: 百分比是 112 题上的通过率，保留到两位小数。有指南列与网页列只在该模型有这次运行时出现，缺测不是 0 分。
注意: Convex 自己出题、自己评分。测的是模型加上 Convex，不是框架之间的高低。前排接近满分。With Guidelines 来自公开接口 runs:leaderboardScores 的默认查询（无 experiment）；与页面 With Guidelines 标签对照后收录，experiment=with_guidelines 仍返回服务器错误。
更新: 版本 92a60e0bb2f156b5ac44e6ea3f5d03a91deb434b9d002d14819d1fc2b6e35cdb。本页于 2026-10-28 从 fabulous-panther-525.convex.cloud 同步 No Guidelines（41→35 映射）与 With Guidelines（40→35 映射，空 args 默认查询；experiment=with_guidelines 仍 500），同模型多档只保留最佳一行；No Guidelines + Web 本轮未刷新。有指南臂 Gemini 4 Argon 约 98.7% 居首，GPT-5.6 Sol 约 98.2% 第 2，GPT-6 Astra 约第 7。
来源: convex.dev/evals No Guidelines With Guidelines No Guidelines + Web

基线榜

#	模型	基线	有指南	无指南 + 网页	单次成本
1	GPT-6 Astra 3 runs	89.88	97.02	91.07	$6.05
2	Claude Opus 5.5 3 runs	89.58	97.77	95.09	$3.63
3	Gemini 4 Argon 8 runs	88.62	98.72	95.76	$1.62
4	GPT-6.1 Sol 5 runs	88.57	96.43	92.19	$1.19
5	Claude Fable 5 1 run	85.71	97.32	89.29	$7.90
6	Claude Sonnet 5.5 4 runs	85.49	97.68	88.39	$1.45
7	GPT 5.6 Sol 2 runs	84.82	98.21	89.29	$2.52
8	Claude Fable 5.1 1 run	83.04	97.32	89.29	$8.63
9	Grok 4.6 1 run	81.25	94.64	—	$2.97
10	Claude Opus 5 2 runs	80.8	94.64	85.71	$4.46
11	Grok 4.7 1 run	80.36	94.64	—	$4.65
12	Claude Opus 4.8 1 run	79.46	92.86	85.71	$4.47
13	GPT 5.5 1 run	77.68	89.29	—	$6.69
14	Grok 4.5 2 runs	77.68	95.09	80.36	$1.58
15	Muse Wonder 9 runs	76.59	93.45	84.46	$6.49
16	Claude Haiku 5.5 8 runs	75.0	89.62	78.44	$0.15517
17	Claude Sonnet 5 1 run	74.11	86.61	80.36	$1.86
18	Gemini 3.1 Pro Preview 1 run	72.32	84.82	—	$3.99
19	Kimi K3.1 Pro 2 runs	71.43	93.3	—	$2.05
20	GPT 5.6 Terra 2 runs	69.64	89.73	79.46	$1.93