tikz-bench
这个基准测试想衡量编程智能体在我实际使用 TikZ 的场景里到底做得怎么样。
排行榜
| 87.3% | $2.52 | $0.0547 | 56.1k | 10.5 分钟 | ||
| 84.3% | $1.26 | $0.0274 | 57.9k | 8.4 分钟 | ||
| 83.9% | $1.65 | $0.0582 | 14.1k | 9.6 分钟 | ||
| 83.5% | $1.13 | $0.0399 | 8.7k | 5.6 分钟 | ||
| 82.8% | $0.24 | $0.00854 | 11.9k | 6.1 分钟 | ||
| 82.0% | $0.34 | $0.0119 | 17.8k | 9.6 分钟 | ||
| 80.4% | $0.20 | $0.00722 | 19.0k | 5.4 分钟 | ||
| 79.7% | $0.86 | $0.0187 | 19.4k | 3.6 分钟 | ||
| 77.9% | $0.16 | $0.00578 | 6.8k | 4.5 分钟 | ||
| 77.8% | $0.70 | $0.0248 | 4.8k | 3.6 分钟 | ||
| 77.2% | $0.50 | $0.0108 | 11.4k | 2.3 分钟 | ||
| 77.2% | $2.11 | $0.13 | 81.1k | 15.6 分钟 | ||
| 75.8% | $0.51 | $0.0182 | 4.1k | 2.4 分钟 | ||
| 75.7% | $0.06 | $0.002 | 5.2k | 1.2 分钟 | ||
| 75.6% | $0.75 | $0.0163 | 147.8k | 13.3 分钟 | ||
| 75.0% | $0.55 | $0.162 | 21.7k | 13.1 分钟 | ||
| 75.0% | $1.61 | $0.0992 | 60.8k | 12.4 分钟 | ||
| 74.8% | $0.10 | $0.00354 | 4.4k | 2.3 分钟 | ||
| 74.5% | $0.44 | $0.0155 | 3.7k | 2.2 分钟 | ||
| 73.6% | $0.55 | — | 57.1k | 4.9 分钟 | ||
| 73.2% | $1.37 | — | 143.1k | 11.7 分钟 | ||
| 72.9% | $0.04 | $0.00158 | 4.3k | 56 秒 | ||
| 72.7% | $0.23 | $0.00506 | 79.3k | 7.4 分钟 | ||
| 72.5% | $0.27 | $0.00589 | 14.2k | 2.0 分钟 | ||
| 72.5% | $0.19 | — | 18.0k | 1.7 分钟 | ||
| 71.8% | $0.24 | $0.00531 | 5.6k | 1.1 分钟 | ||
| 71.3% | $0.62 | $0.0381 | 18.0k | 4.8 分钟 | ||
| 70.2% | $0.04 | $0.00129 | 3.7k | 49 秒 | ||
| 69.5% | $0.04 | $0.00134 | 3.8k | 48 秒 | ||
| 69.3% | $0.35 | $0.102 | 12.6k | 7.7 分钟 | ||
| 69.0% | $0.07 | $0.00258 | 3.5k | 1.9 分钟 | ||
| 68.4% | $0.30 | — | 125.4k | 28.0 分钟 | ||
| 66.9% | $0.07 | — | 4.8k | 39 秒 | ||
| 65.6% | $0.24 | — | 104.8k | 23.6 分钟 | ||
| 64.3% | $0.14 | $0.00296 | 7.0k | 1.0 分钟 | ||
| 64.3% | $0.07 | $0.00153 | 35.1k | 3.5 分钟 | ||
| 61.0% | $0.10 | $0.00225 | 5.2k | 44 秒 | ||
| 59.1% | $0.13 | — | 74.0k | 17.3 分钟 | ||
| 57.0% | $0.01 | $0.000321 | 14.2k | 1.3 分钟 | ||
| 54.4% | $0.15 | $0.0445 | 4.1k | 2.5 分钟 | ||
均为每个任务的平均值。成本包含已归档尝试。≥ 表示中断请求的账单不完整,只能确定成本下限。订阅成本为等价 API 价格估算。
为什么做这个基准
工作原理
每个任务都是一个小型 Git 仓库,里面有参考图片和一个带有 insert figure here 占位符的 notes.tex。智能体在容器里用它惯用的工具编辑这个文件。如果生成的文档无法编译,得分自动为零。如果能编译(并且没有试图欺骗评审),就进入评分阶段:
- 对于电脑绘制的图片,有一个确定性的图像比对,检查的基本上就是能否精确复现。
- 对于手绘图片,有一份经过人工审核的特征清单,列出生成的图必须具备的特征。这份清单会交给一个评审小组(目前是 GPT-6.1 Sol 和 Sonnet 5.5),按满足了多少清单项给生成的图打分(越重要的项分值越高)。不过,通过清单不等于图画得好:照着歪歪扭扭的黑板草图一笔一笔描下来,也能通过每一项。所以同一组评审还会给每张手绘图打一个满分 10 分的品味分,标准是一位认真的作者会怎么画这张图,而不是它和草图有多像,并取两位评审的平均分。手绘图的得分中,清单占 60%,品味占 40%:靠提示词去修正这两类问题都很烦人,而品味有问题的图基本只能自己动手重画,这正是这个基准想帮你省掉的事。
注意:每个任务的时间上限是一小时。到了这个时候,智能体已经不比人快多少了(我这么说,是因为我自己就觉得手写 TikZ 极其烦人)。
运行方法
cd typescript
npm ci --ignore-scripts
npm run build-inspector
cd ..
docker build -t tikz-bench-agents:local containers/agent
./benchmark run --run ts-pilot --agent codex --model YOUR_MODEL --limit 3
./benchmark judge --run ts-pilot
./benchmark report --run ts-pilot
每次运行的文件都在 runs/<run>/ 里。report 在那里生成 report.md 和 report.json,以及每个模型和图片各占一行的 results.csv 和 results.json。重新执行命令会接着上次的运行继续,跳过已完成的任务。--max-cost 会在预算用完后停止发出新请求。
智能体基准测试指南(英文)介绍了凭据、外部智能体和完整的评分流程。