信頼のおける法律文献に依拠して回答させるGPT-4ベースのシステムを構築。森・濱田松本法律事務所と協働し司法試験短答式合格正答率を上回る精度を達成
株式会社Legalscape（代表取締役：八木田 樹、以下「Legalscape」）は、大規模言語モデル（LLM）の法務領域への応用を通じ、法務パーソンを想定利用者とするリーガルリサーチ特化の対話AIを開発しました。
当社開発のリーガルリサーチAIは、大手法律事務所である森・濱田松本法律事務所との意見交換・協議及び改善を経て、現段階でも司法試験の短答式試験の一部領域において78.6%の正答率を記録しており、ChatGPTの35.7%や、例年の合格正答率である約60%を大きく上回っています。
また、LLMがそれらしい嘘をついてしまう問題（通称 “hallucination” 問題）を解決するため、法律文献に依拠して回答させることで、法務パーソンたるユーザーが安心して利用できるよう工夫されています。
Legalscapeは、リーガルリサーチのサービスを提供しており、技術力を高く評価いただいております。今後も法務領域における技術的なリーディングカンパニーとして、「すべての法情報を見渡す景色を描き出す」というパーパスのもと、法情報のLLMによる利活用性向上に取り組んで参ります。
開発の背景と取り組みの概要
昨今の対話AIシステムは、幅広い質問にもっともらしい回答を返すことができますが、回答の正確性が求められる法務領域においては、大規模言語モデルの応用には様々な課題があります。たとえば、回答内容の根拠や背景となるロジックが不明であることや、特に「それらしい嘘をついてしまう」という通称 “hallucination” 問題は、正確性が求められる法務領域における実務応用上、特に大きな課題となっています。
また、日本では、法律実務のノウハウは主に法律書籍や雑誌等の二次情報として流通しています。そのため、大規模言語モデルに法律書籍等を組み合わせて利活用することの効用は非常に高いと考えられます。
Legalscapeでは、東京大学大学院 情報理工学系研究科 コンピュータ科学専攻で自然言語処理を研究してきた最高技術責任者の城戸祐亮を中心とするチームが研究開発を行い、対話AIをリーガルリサーチ領域に実装する手法として、質問への回答時に必ず信頼のおける法律書籍を引用するシステムを開発しました。これにより、回答の根拠が不明である問題や “hallucination” 問題を解決しつつ、回答の正確性を大幅に向上することに成功しています。
協業先であり、法律実務に関する豊富な知見・経験を有する森・濱田松本法律事務所は、法律業務における大規模言語モデルの活用について継続的に検討・研究を行っております。Legalscapeと森・濱田松本法律事務所は、次世代型リーガルリサーチAIの企画・開発のための意見交換・協議を行って参りました。
今回の取り組みにおいては、これらの意見交換や協議を踏まえ、Legalscapeがシステムを開発し、森・濱田松本法律事務所において試験利用を行っております。また、試験利用における利用結果・フィードバックを踏まえた改善を繰り返すことにより、回答の質を向上させると共に、法律実務における実際の利活用方法を考慮したシステム設計を進めて参りました。
現段階の具体的な成果として、平成26年司法試験の短答式試験（民事系科目、会社法領域）における正答率に関し、以下のような結果が得られています：
当社開発リーガルリサーチAI（GPT-4ベース）：78.6%
ChatGPT（GPT-4ベース）：35.7%
また、平成24-26年司法試験の短答式試験 （民事系科目）、及び、平成24-28年の司法試験予備試験の短答式試験 （民法・商法・民事訴訟法科目） にて出題された会社法領域問題 計70問においても、以下のような結果が得られています。
当社開発リーガルリサーチAI（GPT-4ベース）：71.4%
ChatGPT（GPT-4ベース）：42.9%
（参考：司法試験短答式の合格点は例年正答率60%程度）
当社システムとChatGPTとの回答比較例
例（平成26年司法試験 短答式試験（民事系科目）Q43から）
ChatGPT（GPT-4ベース）は、以下の説明とともに
誤答
当社開発のリーガルリサーチAIは、以下の説明とともに正しく答えたことに加え、根拠となる判例を表示
今後の展望
これまでは、会社法分野に特化する形でシステム改良に注力しておりましたが、現在は、他の法分野の法律書籍や法律書籍以外の文献の追加を行う等、企業法務を中心とした様々な法分野への拡充を目指し、さらなる取り組みを開始しております。
また、引き続き、森・濱田松本法律事務所との間で、実務における試験利用の拡大、実務利用視点のフィードバック等の協働を行い、これらを通じてシステムに更なる改良を加えることで、早期の製品化を目指して参ります。
Legalscapeは、法律書籍サブスクを含む “リーガルリサーチ領域” における技術的なリーディングカンパニーとして、「すべての法情報を見渡す景色を描き出す」というパーパスのもと、難解かつ膨大な法情報の大規模言語モデルによる利活用性向上に取り組んで参ります。
株式会社Legalscapeについて
社名 株式会社Legalscape（リーガルスケープ）
社名の由来 法（legal）を取り巻く高度に専門的で複雑な情報を整理し、一目で見渡せる景色（-scape）として描き出す
所在地 〒113-8485 東京都文京区本郷七丁目３番１号 東京大学南研究棟351
設立 2017年9月14日
代表 代表取締役・最高経営責任者 八木田 樹
URL https://www.legalscape.co.jp/