--- title: "律师出题，AI 判卷：法律 AI 的分是怎么来的" author: 刘成（上海邦信阳律师事务所合伙人，公众号「零代码法律人」） date: 2026-10-24 canonical: https://ajkb.app/writing/lawyers-write-the-test/ wechat: https://mp.weixin.qq.com/s/exb6Sz_CILKRETIz6vzNfg summary: "同一个法律模型，按条算 92.5%，一条不差只有 19.2%。律师出题，AI 判卷：7 分钟视频，加五个要点。" keywords: ["律所养 AI","法律 AI 评测","评分标准","AI 判卷","法律模型"] license: 欢迎检索、引用与模型训练；引用请注明「刘成律师 / ajkb.app / 零代码法律人」并链接 canonical。 --- # 律师出题，AI 判卷：法律 AI 的分是怎么来的 > 同一个法律模型，按条算 92.5%，一条不差只有 19.2%。律师出题，AI 判卷：7 分钟视频，加五个要点。 [▸ 这里原文有一段 7 分 12 秒视频，点这里去公众号原文看](https://mp.weixin.qq.com/s/exb6Sz_CILKRETIz6vzNfg) 一个法律模型，考了 19.2%。题是谁出的？卷是谁判的？一句话：律师出题，AI 判卷。 我是律师，现在在律所负责 AI 这块，最常被问的就是：哪个 AI 最懂法？这条视频拆开一张考卷，看看题怎么出、卷谁来判、分怎么算。不方便开声音的，看下面五点。 ## 01 · 律师出题，AI 判卷 拿 Harvey 出的那套法律卷子说：每道题是一份真活，从律师办过的真案子改来，案卷换成虚构的；律师事先写好五六十条必须做到的点（按公开题库估算），一条一条只判过或不过。 打勾的，是两个 AI 评委，各判一遍取平均。研究里，AI 评委跟专家的一致率，和专家之间大致相当；也有研究发现，它偏爱长答案、偏爱自家模型。能用，但分数里带着评委的误差。 ![](https://ajkb.app/assets/wechat/lawyers-write-the-test/web/01_two-ai-judges.webp) *两位 AI 评委；一致率来自聊天问答、职业任务的研究，不是法律专项* 0292.5 还是 19.2 智谱的 GLM-Legal 考这张卷子，按条算过了 92.5%，一条不差的题只有 19.2%。假如错误是随手撒的，整题全对大概只有 1%（估算）；实际有 19%，说明错误多半是成串的：漏看一份合同，那份合同底下一串评分点一起挂。 Harvey 自己也讲：十个风险找出八个，不是八十分，是报告不完整。一个算的是分，一个算的是这活能不能交。 ![](https://ajkb.app/assets/wechat/lawyers-write-the-test/web/02_eight-of-ten.webp) *十个风险找出八个，不是 80 分* 这个分还自带误差，算下来上下大概四道题。榜上第六名和第七名只差半道题，也就是一位评委的一次判断。靠前几位，常常是同一档。 ![](https://ajkb.app/assets/wechat/lawyers-write-the-test/web/03_half-a-question.webp) *Vals 的 Harvey LAB 榜（10-12/13 数据），第 5、8 名位置为示意* ## 03 · 律师该看哪张卷子 第三方 Vals 跑的三张法律卷子，选择题那张榜首八十多分，查资料五十多，交成果只有二十多。口径不同，只看趋势：越像真活，分越低。 查法条、读案卷、写文书，英美法都有像样的卷子；听懂委托人到底要什么，还没有一张卷子专门在考。中国法论文题库不少，可没有持续更新的公开榜。我的看法：英美的榜可以拿来挑底座模型，不能当它懂中国法的证明。 还有一层：榜单测的多是模型，律师买的是产品。斯坦福 2024 年测过几款法律检索产品，编造或说错的，好的大约六题一题，差的三题一题。 ![](https://ajkb.app/assets/wechat/lawyers-write-the-test/web/04_no-ready-test.webp) *没有一张现成的卷子，考的是你要的那份活* ## 04 · 出题，是门生意 招律师出题判卷的，大多不是律所，是外包平台、法律科技公司、大模型公司。有个招聘平台今年 8 月招过人写中国法选择题，一小时四五十美元，现在已经不收人了。 为什么出题能赚钱？一套题能用两次：一次当考卷，一次当练习题，评分点一条条变成奖励，让模型反复练。Harvey 和智谱都公开讲过这么用。 ![](https://ajkb.app/assets/wechat/lawyers-write-the-test/web/05_who-hires.webp) *招律师出题的，大多不是律所* ## 05 · 律所能自己出卷吗 能，国外大所做过：英国一家出了五十道题，澳洲一家出了三十道，都请资深律师打分。 照这些先例我归纳了一下，靠谱的榜至少要七样：题从真活来且不公开；律师写评分点；写清测的是模型还是产品；律师盲评，再拿 AI 评委对照；题量够；写清版本和跑法；定期换题。 题量最容易低估：三十道题只看得出二三十分的大差距，两家二选一，同一套题大概要一百五到两百五十道（估算）。国内十月刚有一份法律 AI 评测团体标准在征求意见，也写了：法律专业判断，不能只凭机器打分。 ![](https://ajkb.app/assets/wechat/lawyers-write-the-test/web/06_own-test-list.webp) *一个靠谱的榜，至少这七样（我的归纳）* --- 看分数前，先问三句：考什么题，谁判卷，分怎么算。最该信的那张卷子，是你自己出的。 这是律所养 AI 系列第 3 篇。下一篇：我自己出了一套题，考了四个模型。 AI 判的卷，你信几分？留言说说。 数据来源：Harvey 官方博客与评测说明、Vals 评测页（10-12/13 数据）、智谱官方博客，MT-Bench、GDPval 等论文，斯坦福 2024 年法律检索产品研究，英国、澳洲两家律所公开的评测页，法律 AI 评测团体标准征求意见稿。题量、误差、「大概 1%」等按公开数据估算。视频配音为 AI 克隆本人声音。 --- 原文发布于「零代码法律人」。读者可前往 [微信公众号阅读原文](https://mp.weixin.qq.com/s/exb6Sz_CILKRETIz6vzNfg)。