语言大模型不断向垂直行业领域拓展，这次出圈的是北大法律大模型。
大模型又「爆了」。
一个法律大模型ChatLaw登上了知乎热搜榜榜首。热度最高时达到了2000万左右。
这个ChatLaw由北大团队发布，致力于提供普惠的法律服务。一方面当前全国执业律师不足，供给远远小于法律需求；另一方面普通人对法律知识和条文存在天然鸿沟，无法运用法律武器保护自己。
目前，ChatLaw共有三个版本，分别如下：
ChatLaw-13B，为学术demo版，基于姜子牙Ziya-LLaMA-13B-v1训练而来，中文各项表现很好。但是，逻辑复杂的法律问答效果不佳，需要用更大参数的模型来解决；
ChatLaw-33B，也为学术demo版，基于Anima-33B训练而来，逻辑推理能力大幅提升。但是，由于Anima的中文语料过少，问答时常会出现英文数据；
ChatLaw-Text2Vec，使用93w条判决案例做成的数据集，基于BERT训练了一个相似度匹配模型，可以将用户提问信息和对应的法条相匹配。
根据官方演示，ChatLaw支持用户上传文件、录音等法律材料，帮助他们归纳和分析，生成可视化导图、图表等。此外，ChatLaw可以基于事实生成法律建议、法律文书。该项目在GitHub上的Star量达到了1.1k。
目前，由于ChatLaw项目太过火爆，服务器暂时崩溃，算力已达上限。该团队正在修复，感兴趣的读者可以在GitHub上部署测试版模型。
小编本人也还在内测排队中。所以这里先展示一个ChatLaw团队提供的官方对话示例，关于日常网购时可能会遇到的「七天无理由退货」问题。不得不说，ChatLaw回答挺全的。
不过，小编发现，ChatLaw的学术demo版本可以试用，遗憾的是没有接入法律咨询功能，只提供了简单的对话咨询服务。这里尝试问了几个问题。
其实最近发布法律大模型的不只有北大一家。上个月底，幂律智能联合智谱AI发布了千亿参数级法律垂直大模型PowerLawGLM。据悉该模型针对中文法律场景的应用效果展现出了独特优势。
图源：幂律智能
首先是数据组成。ChatLaw数据主要由论坛、新闻、法条、司法解释、法律咨询、法考题、判决文书组成，随后经过清洗、数据增强等来构造对话数据。同时，通过与北大国际法学院、行业知名律师事务所进行合作，ChatLaw团队能够确保知识库能及时更新，同时保证数据的专业性和可靠性。下面我们看看具体示例。
基于法律法规和司法解释的构建示例：
抓取真实法律咨询数据示例：
律师考试多项选择题的建构示例：
然后是模型层面。为了训练ChatLAW，研究团队在Ziya-LLaMA-13B的基础上使用低秩自适应(Low-RankAdaptation,LoRA)对其进行了微调。此外，该研究还引入self-suggestion角色，来缓解模型产生幻觉问题。训练过程在多个A100GPU上进行，并借助deepspeed进一步降低了训练成本。
如下图为ChatLAW架构图，该研究将法律数据注入模型，并对这些知识进行特殊处理和加强；与此同时，他们也在推理时引入多个模块，将通识模型、专业模型和知识库融为一体。
该研究还在推理中对模型进行了约束，这样才能确保模型生成正确的法律法规，尽可能减少模型幻觉。
当用户的问题模糊不清时，这种方法通常会产生次优的结果。因此，研究者从用户查询中提取关键信息，并利用该信息的向量嵌入设计算法，以提高匹配准确性。
实验结果
该研究收集了十余年的国家司法考试题目，整理出了一个包含2000个问题及其标准答案的测试数据集，用以衡量模型处理法律选择题的能力。
然而，研究发现各个模型的准确率普遍偏低。在这种情况下，仅对准确率进行比较并无多大意义。因此，该研究借鉴英雄联盟的ELO匹配机制，做了一个模型对抗的ELO机制，以便更有效地评估各模型处理法律选择题的能力。以下分别是ELO分数和胜率图：
通过对上述实验结果的分析，我们可以得出以下观察结果
（2）加入特定类型任务的数据进行训练，模型在该类任务上的表现会明显提升。例如，ChatLaw模型优于GPT-4的原因是文中使用了大量的选择题作为训练数据；
（3）法律选择题需要进行复杂的逻辑推理，因此，参数量更大的模型通常表现更优。
参考知乎链接：
其他参考链接：
投稿或寻求报道：content@jiqizhixin.com
原标题：《挤爆服务器，北大法律大模型ChatLaw火了：直接告诉你张三怎么判》