tikz-bench

这个基准测试想衡量编程智能体在我实际使用 TikZ 的场景里到底做得怎么样。

排行榜

更新于
得分 50% 55% 60% 65% 70% 75% 80% 85% 90% $0.01 $0.05 $0.20 $1.00 $5.00Claude Opus 5.5claudeClaude Sonnet 5.5claudeGPT-6 AstracodexGPT-6.1 SolcodexGPT-6.1 TerracodexGemini 4 CarbonantigravityClaude Haiku 5.5claudeKimi K3.1 ProkimiGemini 4 HydrogenantigravityDeepSeek-V4.1-Flash-1017opencode 每个任务的平均 API 成本(美元)(对数刻度)
已完成的运行配置。点击列标题排序,点击模型查看详情。
87.3% $2.52$0.054756.1k10.5 分钟
84.3% $1.26$0.027457.9k8.4 分钟
83.9% $1.65$0.058214.1k9.6 分钟
83.5% $1.13$0.03998.7k5.6 分钟
82.8% $0.24$0.0085411.9k6.1 分钟
82.0% $0.34$0.011917.8k9.6 分钟
80.4% $0.20$0.0072219.0k5.4 分钟
79.7% $0.86$0.018719.4k3.6 分钟
77.9% $0.16$0.005786.8k4.5 分钟
77.8% $0.70$0.02484.8k3.6 分钟
77.2% $0.50$0.010811.4k2.3 分钟
77.2% $2.11$0.1381.1k15.6 分钟
75.8% $0.51$0.01824.1k2.4 分钟
75.7% $0.06$0.0025.2k1.2 分钟
75.6% $0.75$0.0163147.8k13.3 分钟
75.0% $0.55$0.16221.7k13.1 分钟
75.0% $1.61$0.099260.8k12.4 分钟
74.8% $0.10$0.003544.4k2.3 分钟
74.5% $0.44$0.01553.7k2.2 分钟
73.6% $0.55—57.1k4.9 分钟
73.2% $1.37—143.1k11.7 分钟
72.9% $0.04$0.001584.3k56 秒
72.7% $0.23$0.0050679.3k7.4 分钟
72.5% $0.27$0.0058914.2k2.0 分钟
72.5% $0.19—18.0k1.7 分钟
71.8% $0.24$0.005315.6k1.1 分钟
71.3% $0.62$0.038118.0k4.8 分钟
70.2% $0.04$0.001293.7k49 秒
69.5% $0.04$0.001343.8k48 秒
69.3% $0.35$0.10212.6k7.7 分钟
69.0% $0.07$0.002583.5k1.9 分钟
68.4% $0.30—125.4k28.0 分钟
66.9% $0.07—4.8k39 秒
65.6% $0.24—104.8k23.6 分钟
64.3% $0.14$0.002967.0k1.0 分钟
64.3% $0.07$0.0015335.1k3.5 分钟
61.0% $0.10$0.002255.2k44 秒
59.1% $0.13—74.0k17.3 分钟
57.0% $0.01$0.00032114.2k1.3 分钟
54.4% $0.15$0.04454.1k2.5 分钟

均为每个任务的平均值。成本包含已归档尝试。≥ 表示中断请求的账单不完整,只能确定成本下限。订阅成本为等价 API 价格估算。

为什么做这个基准

我认识一些人会在论文里画出精美的示意图,也认识一些人随手就能画出漂亮的图。可惜我没有这种艺术天赋,所以以前我只能硬磨 TikZ,直到图看起来对为止。现在有了能替我们生成 TikZ 代码的 LLM,但还是有一些问题:

  1. 有些模型在这件事上仍然很糟糕(如果你足够好奇,我有一些对话可以分享)。
  2. AI 订阅要花钱,所以我们需要弄清楚哪些模型擅长这项任务,哪些性价比高。

工作原理

每个任务都是一个小型 Git 仓库,里面有参考图片和一个带有 insert figure here 占位符的 notes.tex。智能体在容器里用它惯用的工具编辑这个文件。如果生成的文档无法编译,得分自动为零。如果能编译(并且没有试图欺骗评审),就进入评分阶段:

  1. 对于电脑绘制的图片,有一个确定性的图像比对,检查的基本上就是能否精确复现。
  2. 对于手绘图片,有一份经过人工审核的特征清单,列出生成的图必须具备的特征。这份清单会交给一个评审小组(目前是 GPT-6.1 Sol 和 Sonnet 5.5),按满足了多少清单项给生成的图打分(越重要的项分值越高)。不过,通过清单不等于图画得好:照着歪歪扭扭的黑板草图一笔一笔描下来,也能通过每一项。所以同一组评审还会给每张手绘图打一个满分 10 分的品味分,标准是一位认真的作者会怎么画这张图,而不是它和草图有多像,并取两位评审的平均分。手绘图的得分中,清单占 60%,品味占 40%:靠提示词去修正这两类问题都很烦人,而品味有问题的图基本只能自己动手重画,这正是这个基准想帮你省掉的事。

注意:每个任务的时间上限是一小时。到了这个时候,智能体已经不比人快多少了(我这么说,是因为我自己就觉得手写 TikZ 极其烦人)。

运行方法

cd typescript
npm ci --ignore-scripts
npm run build-inspector
cd ..
docker build -t tikz-bench-agents:local containers/agent
./benchmark run --run ts-pilot --agent codex --model YOUR_MODEL --limit 3
./benchmark judge --run ts-pilot
./benchmark report --run ts-pilot

每次运行的文件都在 runs/<run>/ 里。report 在那里生成 report.md 和 report.json,以及每个模型和图片各占一行的 results.csv 和 results.json。重新执行命令会接着上次的运行继续,跳过已完成的任务。--max-cost 会在预算用完后停止发出新请求。

智能体基准测试指南(英文)介绍了凭据、外部智能体和完整的评分流程。

原图作者

筛选运行配置

智能体框架
模型厂商
厂商国家
模型

运行配置