← 返回 ←

· 原载于微信公众号「零代码法律人」 · 总阅读 114

4 个 AI 查同一道法条题,2 个还按旧规定答

TL;DR · 一句话四个 AI 做六道律师的活,都会查法条,两个还按旧规定答。8 分钟视频,加五个要点。

4 个 AI 查同一道法条题,2 个还按旧规定答

▸ 这里原文有一段 8 分 2 秒视频,点这里去公众号原文看

包工头被欠了工程款,能直接告开发商吗?四个 AI 都查了法条,两个答错了。会查,不等于用对。

我现在在律所负责 AI 这块。上一篇说,最该信的卷子要自己出,这回我真拿律师的活考了一回:两个虚构的案子,一个转包工程款纠纷,一个股权收购尽调,六道活,再加六道快问快答,四个 AI 交上来一百八十多份答卷。判卷的是一位 AI 评委,看不到是谁答的,也不是这四家的,分数只作参考。本地跑的三个都是社区压缩过的量化版,是我家这套配置的结果。不方便开声音的,看下面五点。

四位考生和跑在哪,智谱另用官方接口做对照

01 · 出字快,不等于交活快

出字速度,DeepSeek 一直是本地智谱的四倍上下(估算)。可快问快答比交活,本地智谱 11.5 秒,DeepSeek 29.3 秒,因为它先想了 28 秒才动笔。

还有一种慢,叫想不完。千问 27B 开着思考,接案那题想了 8 分钟,额度全花在想上,答案一个字没写。关掉思考快了五到七倍(估算),尽调 57 秒交活,这一轮最快。律师等的,是交活那一种快。

千问 27B 开 / 关思考的交活时间

02 · 会算账,不会对账

95 份办案答卷,因为编造不能交的只有 2 份,有一份编了个材料里没有的人名,全篇用了六次。更常见的是抄错、算错:648 万本来就含着 80 万,有一份又加了一遍,写成 728 万。

写起诉状那题,材料里六期加起来 1318 万,结算总价 1346 万,差了 28 万。16 份起诉状,只有 5 份对出来。多数会算账,但不会主动对账。

六期合计 1318 万,结算总价 1346 万

03 · 会查,不等于用对

老规定确实可以告,开发商在欠款范围内担责。但今年 6 月 30 日,建工解释(二)施行了。第六条说,接受转包、违法分包的单位或个人,请求没有合同关系的发包人支付折价补偿款或者赔偿损失的,不予支持;第七条给了另一条路,代位权。

四家用的是同一个两千四百多条的法条库。DeepSeek 和千问 Flash 每次查五十到八十多次,六次都查到了新规定,五次答对。本地智谱和千问 27B 查十几到四十几次,七次全按旧规定答「可以直接告」。它们搜的是「实际施工人」,新规定里没这个词,第六条一次也没搜出来。

快问里我还问过一句:这部新解释哪天施行?四家五个版本,十五次,没一次答对。所以答对的两家,不是记住了,是查到了,还用上了。

搜「实际施工人」,出来的全是旧条文

04 · 是不是压缩压坏的

本地跑的量化版,原版每个参数 16 位,压到大约 4 位。智谱答错,会不会是压坏的?我家这版没人测过,我就拿官方接口自己对照。

六道活比下来,分数两边很接近。查法条,官方原版也是三次全错,第六条一次也没搜出来。所以这道题,不是压坏的,是没查到。这话只对这道题说,压缩本身不是没代价。

同一个智谱,本地量化版对官方接口

05 · 那到底选谁

这一轮最稳的是 DeepSeek:接案、尽调三次满分,查法条三次都对。测完第二天它原地升级,我又全套跑了一遍,整体持平,算不上变强,上面说的都是升级前的成绩。

本地千问 Flash 接案满分,新规定也查到了,就是慢,在我家查法条一道题要十九分钟(三次的中位)。千问 27B 关掉思考,最快,也最容易漏。材料不能出门的,就用本地:这一轮答得好的慢,快的容易漏。

用哪家都一样:日期、条号、新规定,都要自己再核一遍。

这一轮的总表(DeepSeek 为 10-16 旧版,AI 评委判,仅供参考)


大多只跑三遍,有的才一遍,只能看出大差距。最该信的,还是你自己的那套题。

律所养 AI 这个系列,四集到这儿讲完了:自己训,评分表怎么看,评分表怎么来,自己出题考。这是第 4 篇,也是最后一篇。

你会拿哪道题,考你在用的 AI?留言说说。

测试说明:两个案子和材料都是虚构的;本地三个模型是社区量化版,结果只代表我家这套配置;办案题每题最多跑 3 次(千问 27B 开思考每题 1 次),由 AI 评委盲评,评分点是 AI 定的口径,律师没有逐条核过,仅供参考。DeepSeek 为 10 月 16 日版,10 月 17 日升级版补测整体持平。「四倍上下」「快了五到七倍」为估算。法条:建工解释(一)第四十三条,建工解释(二)(法释〔2026〕12 号,2026 年 6 月 30 日施行)第六、七条。视频配音为 AI 克隆本人声音。


原文发布于「零代码法律人」。读者可前往 微信公众号阅读原文。