← 返回 ←

· 原载于微信公众号「零代码法律人」 · 总阅读 129

同一个 AI,一张表 26.9%,一张 50.3%?先看小字

TL;DR · 一句话同一个模型、同一门考试,两家发布表上一张写 26.9%,一张写 50.3%,两张表都没算错。8 分钟视频,加五个要点。

同一个 AI,一张表 26.9%,一张 50.3%?先看小字

▸ 这里原文有一段 8 分 14 秒视频,点这里去公众号原文看

同一个模型,同一门考试,两家的发布表上,一张写 26.9%,一张写 50.3%,差了 23 个点。两张表都没算错。先看小字。

我现在在律所负责 AI 这块。新模型三天两头发布,每次都甩一张评分表。这条视频不比谁强,拿两张九月的发布表当实物拆开看:Anthropic 9 月 22 日发的 Claude Opus 5.5,DeepSeek 9 月 10 日发的 V4.1 Flash。不方便开声音的,看下面五点。

01 · 一大半在考代码

评分表一行是一门考试,一列是一个模型,第一列是自家新模型。考哪几门、跟谁比,都是厂商自己定的:两张表摆一起,对得上名字的考试只有四行。

那些洋名字我按题型归了类,估算 Anthropic 9 行里 6 行、DeepSeek 19 行里 11 行,考的是写代码、在电脑里干活。

Anthropic 发布页的评分表,9 行 × 5 列,表底下是小字

02 · 律师的活不在表上

最沾边的是「知识工作」那一行,新模型第一。可这一行 220 道题里,律师题只有 5 道,单独考得怎样,查不到。

换到第三方 Vals 的法律任务榜,跑的是律师真活,全做对才算过,同一个新模型排 79 个里的第 42(10 月 16 日榜),还不如上一代 Opus 5,页面没写原因。这不矛盾,考的不是同一张卷子。

会不会编、长卷宗读得准不准、懂不懂法、懂不懂中文,两张发布表都没考。厂商挑的考试,不一定是你的考试。

表最下面加一行「律师的活」,格子是空的

03 · 小字里的四个开关

带没带工具:DeepSeek 同一张表上,「人类最后的考试」不带工具 36.8,带工具 63.9。

怎么计分:电脑操作那行写着「81.8% partial」,做对一部分也给分。官方榜上,上一代 Opus 5 按部分分 77.67%,按全做对只剩 44.33%。合同审了九成条款,不叫审完。

推理档位:两张表基本都开在最高档,两家默认给你的都比这低。工具台,就是同一个模型配哪套家伙干活:DeepSeek 自己公布过,只换工具台,84.1 变 90.6。

同一个模型考同一门,四张表能报出四个数。小字不一样的两个分,不能直接比。

开关拨的位置不一样,两个分就不能放一起比

04 · 二十三个点差在哪

回到开头:考的是 AutomationBench,像公司新人一样按规矩办完一件事。同一个 Opus 5,Anthropic 表上 26.9%,DeepSeek 表上 50.3%。

小字一翻:题不是同一套。Anthropic 用的是出题方 Zapier 的正式榜,题不公开,还加了难度;DeepSeek 用的是公开练习题。两个数都对得上出处,可放在一起比,就会看错。

还要看表里没放谁,和差几分:Anthropic 自己在正文里写,跑分差几分,已经不太能说明实际差多少。

一边是不公开的正式考题,一边是公开练习题

05 · 刚更新的那张表

这集刚做完,10 月 17 日当天,DeepSeek 原地升了一版,发了张新表:上一版 19 行,这一版只剩 11 行,留下的全涨了。涨得最多的命令行那门,工具台从自家的换成了 Claude Code,涨的这一截有多少来自换工具台,分不出来。

新加的一行叫 Apex,表上没写全名和出处。按分数去找,对手三格跟一套职场考试的官方榜一模一样;DeepSeek 旧版在那张官方榜上是 39.5%,自己表上写的是 64.6,怎么测的没写。表换了,规矩不换:先看小字。

命令行那门,9 月写的是自家工具台,10 月写的是 Claude Code


看评分表,先问四句:哪套题,怎么跑,跟谁比,差几分。最后再问一句:表上,有没有你的活。

看表四句,再加一句

这是律所养 AI 系列第 2 篇。下一篇拆这些分是怎么打出来的:第 1 篇那个法律模型考了 19.2%,题是谁出的,卷是谁判的?

要给律师加一行,你想考 AI 什么?留言说说。

数据来源:Anthropic Claude Opus 5.5 发布页,DeepSeek 新闻页、模型页和技术报告,Zapier AutomationBench 官网与 GitHub,OSWorld 官方榜,Vals 法律任务榜(10 月 16 日更新),Artificial Analysis,Mercor APEX-Agents 官方榜。23 个点等差值、按题型归类的行数,是按公开数字估算的;Apex 那一行对应哪张官方榜,是按三格分数推断的,DeepSeek 没写。视频配音为 AI 克隆本人声音。


原文发布于「零代码法律人」。读者可前往 微信公众号阅读原文。