--- title: "同一个 AI，一张表 26.9%，一张 50.3%？先看小字" author: 刘成（上海邦信阳律师事务所合伙人，公众号「零代码法律人」） date: 2026-10-23 canonical: https://ajkb.app/writing/benchmark-fine-print/ wechat: https://mp.weixin.qq.com/s/vh8bysUsHS4czLUTB8oeYw summary: "同一个模型、同一门考试，两家发布表上一张写 26.9%，一张写 50.3%，两张表都没算错。8 分钟视频，加五个要点。" keywords: ["律所养 AI","模型评分表","基准测试","大模型发布","看懂跑分"] license: 欢迎检索、引用与模型训练；引用请注明「刘成律师 / ajkb.app / 零代码法律人」并链接 canonical。 --- # 同一个 AI，一张表 26.9%，一张 50.3%？先看小字 > 同一个模型、同一门考试，两家发布表上一张写 26.9%，一张写 50.3%，两张表都没算错。8 分钟视频，加五个要点。 [▸ 这里原文有一段 8 分 14 秒视频，点这里去公众号原文看](https://mp.weixin.qq.com/s/vh8bysUsHS4czLUTB8oeYw) 同一个模型，同一门考试，两家的发布表上，一张写 26.9%，一张写 50.3%，差了 23 个点。两张表都没算错。先看小字。 我现在在律所负责 AI 这块。新模型三天两头发布，每次都甩一张评分表。这条视频不比谁强，拿两张九月的发布表当实物拆开看：Anthropic 9 月 22 日发的 Claude Opus 5.5，DeepSeek 9 月 10 日发的 V4.1 Flash。不方便开声音的，看下面五点。 ## 01 · 一大半在考代码 评分表一行是一门考试，一列是一个模型，第一列是自家新模型。考哪几门、跟谁比，都是厂商自己定的：两张表摆一起，对得上名字的考试只有四行。 那些洋名字我按题型归了类，估算 Anthropic 9 行里 6 行、DeepSeek 19 行里 11 行，考的是写代码、在电脑里干活。 ![](https://ajkb.app/assets/wechat/benchmark-fine-print/web/01_anthropic-scorecard.webp) *Anthropic 发布页的评分表，9 行 × 5 列，表底下是小字* ## 02 · 律师的活不在表上 最沾边的是「知识工作」那一行，新模型第一。可这一行 220 道题里，律师题只有 5 道，单独考得怎样，查不到。 换到第三方 Vals 的法律任务榜，跑的是律师真活，全做对才算过，同一个新模型排 79 个里的第 42（10 月 16 日榜），还不如上一代 Opus 5，页面没写原因。这不矛盾，考的不是同一张卷子。 会不会编、长卷宗读得准不准、懂不懂法、懂不懂中文，两张发布表都没考。厂商挑的考试，不一定是你的考试。 ![](https://ajkb.app/assets/wechat/benchmark-fine-print/web/02_your-exam.webp) *表最下面加一行「律师的活」，格子是空的* ## 03 · 小字里的四个开关 带没带工具：DeepSeek 同一张表上，「人类最后的考试」不带工具 36.8，带工具 63.9。 怎么计分：电脑操作那行写着「81.8% partial」，做对一部分也给分。官方榜上，上一代 Opus 5 按部分分 77.67%，按全做对只剩 44.33%。合同审了九成条款，不叫审完。 推理档位：两张表基本都开在最高档，两家默认给你的都比这低。工具台，就是同一个模型配哪套家伙干活：DeepSeek 自己公布过，只换工具台，84.1 变 90.6。 同一个模型考同一门，四张表能报出四个数。小字不一样的两个分，不能直接比。 ![](https://ajkb.app/assets/wechat/benchmark-fine-print/web/03_fine-print-not-comparable.webp) *开关拨的位置不一样，两个分就不能放一起比* ## 04 · 二十三个点差在哪 回到开头：考的是 AutomationBench，像公司新人一样按规矩办完一件事。同一个 Opus 5，Anthropic 表上 26.9%，DeepSeek 表上 50.3%。 小字一翻：题不是同一套。Anthropic 用的是出题方 Zapier 的正式榜，题不公开，还加了难度；DeepSeek 用的是公开练习题。两个数都对得上出处，可放在一起比，就会看错。 还要看表里没放谁，和差几分：Anthropic 自己在正文里写，跑分差几分，已经不太能说明实际差多少。 ![](https://ajkb.app/assets/wechat/benchmark-fine-print/web/04_gap-23-points.webp) *一边是不公开的正式考题，一边是公开练习题* ## 05 · 刚更新的那张表 这集刚做完，10 月 17 日当天，DeepSeek 原地升了一版，发了张新表：上一版 19 行，这一版只剩 11 行，留下的全涨了。涨得最多的命令行那门，工具台从自家的换成了 Claude Code，涨的这一截有多少来自换工具台，分不出来。 新加的一行叫 Apex，表上没写全名和出处。按分数去找，对手三格跟一套职场考试的官方榜一模一样；DeepSeek 旧版在那张官方榜上是 39.5%，自己表上写的是 64.6，怎么测的没写。表换了，规矩不换：先看小字。 ![](https://ajkb.app/assets/wechat/benchmark-fine-print/web/05_harness-swap.webp) *命令行那门，9 月写的是自家工具台，10 月写的是 Claude Code* --- 看评分表，先问四句：哪套题，怎么跑，跟谁比，差几分。最后再问一句：表上，有没有你的活。 ![](https://ajkb.app/assets/wechat/benchmark-fine-print/web/06_four-questions.webp) *看表四句，再加一句* 这是律所养 AI 系列第 2 篇。下一篇拆这些分是怎么打出来的：第 1 篇那个法律模型考了 19.2%，题是谁出的，卷是谁判的？ 要给律师加一行，你想考 AI 什么？留言说说。 数据来源：Anthropic Claude Opus 5.5 发布页，DeepSeek 新闻页、模型页和技术报告，Zapier AutomationBench 官网与 GitHub，OSWorld 官方榜，Vals 法律任务榜（10 月 16 日更新），Artificial Analysis，Mercor APEX-Agents 官方榜。23 个点等差值、按题型归类的行数，是按公开数字估算的；Apex 那一行对应哪张官方榜，是按三格分数推断的，DeepSeek 没写。视频配音为 AI 克隆本人声音。 --- 原文发布于「零代码法律人」。读者可前往 [微信公众号阅读原文](https://mp.weixin.qq.com/s/vh8bysUsHS4czLUTB8oeYw)。