《通用大模型VS法律专业大模型》系列将主流通用大模型与法律专业大模型进行测评以对比两类大模型在法律问题处理上的表现。
前几期我们谈论到通用大模型与法律专业大模型在答辩状、案例检索、法律研究的表现各有不同。
本期我们从一个案例分析的实例出发,看看两种大模型在案例分析、梳理、归纳上的表现。
案例分析在绝大多数场景下是为了满足速读案例的要求。基于此,案例分析主要是对判决书内容进行理解、归纳,并以简洁、清晰的方式呈现。
通常情况下,需要提炼的判决书内容可能包括但不限于案件概述、案情简介、原被告双方诉辩主要观点、案件争议焦点、法院观点及判决结果。
为达到上述要求,AI至少需要具备以下几个功能:
(1)超长上下文处理能力;
(2)跨模态解析能力;
(3)深度信息提取与摘要能力;
(4)结构化输出能力。
评测维度
基于案例分析任务的特性,我们厘定了以下评判准则:
提取文本内容准确性
提取文本内容完整性
答复结果与需求匹配性
文本分析操作便捷性
本次测评随机选择了“青岛某某信息技术有限公司与某某计算机(青岛)有限公司计算机软件著作权许可使用合同纠纷二审民事判决书”进行解析,通用大模型选择了处理长文本较为出色的豆包、kimi、deepseek。
法律专业大模型选择了得理法律大模型。
提示词
为实现“速读”的要求,笔者并未在提示词的调整上花费过多精力,案例速读不就是要花最少的时间达到最好的效果嘛~
本次测评使用提示词为:
请根据我上传的案例内容,帮我总结案件概况,梳理案件时间轴,并提取本案争议焦点及法院观点。
测评结果
Kimi

向下滑动查看所有内容
豆包
向下滑动查看所有内容
Deepseek



向下滑动查看所有内容
得理法律大模型



向下滑动查看所有内容
测评结果分析
案件概况总结
在案件概况总结部分,几个大模型都能做到框架清晰,准确提炼案件性质(计算机软件许可合同纠纷)、当事人关系(上诉人/被上诉人/第三人)和核心诉求(解除合同 vs 支付尾款)。
案件概况也能覆盖关键事实,点明项目背景(崂山区感知网项目多层分包)及主要争议点(某甲公司违约行为、某乙公司拒付尾款);概括一审结果(解除合同、部分退款赔偿)和二审结果(维持原判)。
案件时间轴
在案件时间轴上,几个大模型基本都做到节点覆盖全面,基本涵盖所有关键事件(合同签订、验收、付款、问题函件、服务中断、新合同签订、诉讼程序)。时间轴的时序也是准确的。
不足之处在于kimi、豆包在时间轴上节点过多,大模型没有对信息进行判断和筛选,导致冗余信息过多。

kimi生成时间轴
得理法律大模型在时间轴的表现上最优,对于案件信息进行梳理、同时归纳总结。在时间轴中还关联了关键事件,点明事件间的因果关系。

得理法律大模型生成时间轴
争议焦点归纳
在争议焦点归纳上,deepseek、豆包与得理法律大模型的归纳较为一致,即违约责任如何认定、案涉合同应否解除与责任如何承担。

得理法律大模型归纳争议焦点
Kimi在归纳争议焦点上表现最差。一是表述上缺乏法律专业性,二是争议焦点的归纳上冗余信息过多,将案例中不属于争议焦点的事实认定部分也整理其中。不过kimi表现较好之处在于,其归纳的争议焦点后面附上了当事人观点与法院观点,方便读者了解各方主张。

kimi归纳争议焦点
2
法院观点
在法院观点上,deepseek、得理法律大模型相较于豆包,表现更优之处在于法院论证逻辑更加完善,说明了法院如何解释合同条款、如何认定违约等。而豆包仅笼统介绍。
而得理法律大模型相较于deepseek,表现更优之处在于得理法律大模型对于一审法院观点和二审法院观点进行了区分,让用户能够看到两级法院观点的异同。而其他模型对此的处理均是杂糅呈现的。
从以上几点总结而言,几个大模型在信息准确性上表现相当,均能提炼出案件的核心事实。在逻辑清晰度上,kimi表现不佳,无法准确提炼争议焦点,对法院观点的总结不能高度契合判决书内容。得理法律大模型在完整性和专业性上表现最佳。
想要详细了解通用大模型与法律专业大模型差异如何产生
请点击查看《Deepseek爆火背后——通用大模型与法律专业大模型有何差异?》
便捷性
从速读和便捷性上考虑,得理法律大模型能够最大程度简化案例分析动作。
通用大模型分析案例至少需要以下几个步骤:
①查找案例;
②下载案例;
③大模型界面上传案例;
④输入提示词。
而使用得理法搜只需要一个步骤:查找案例。
点击进入案例详情,无需输入提示词,即可获得案例智能摘要、裁判要点、时间轴,省去下载、上传、撰写提示词等一系列动作。真正做到速读案例。

AI阅读裁判文书示例

时间轴示例
如果想像其他大模型一样使用上传文档文本分析功能,得理法律大模型也更加便捷。
上传案例后,同样无需输入提示词,得理法律大模型会分析上传文档类型,提供智能摘要、智能审查、文本问答三种功能。

点击文本问答,得理法律大模型会根据案例内容总结争议焦点,点击可查看详细分析。

点击智能摘要,得理法律大模型的内置提示词帮用户省去撰写和调整提示词的时间,一键获取案例摘要。

法律大模型 + 法律大数据 + Deepseek
小理AI免费试用
一键开启智能化法律之旅
WEB端进入小理AI首页
https://www.delilegal.com/ai
小程序端扫码立即跳转

扫码下载得理律助/法搜app立即体验


得理律助APP
得理法搜APP
- END -