JNLIによるAIの論理的推論能力の測定とハルシネーション抑制

JNLIによるAIの論理的推論能力の測定とハルシネーション抑制とは

JNLI（Japanese Natural Language Inference）は、大規模言語モデル（LLM）などのAIが日本語のテキストにおいて論理的推論を行う能力を測定するためのベンチマークです。具体的には、前提文と仮説文が与えられた際、その間に「含意（前提から仮説が導かれる）」、「矛盾（前提と仮説が両立しない）」、「中立（どちらでもない）」のいずれの関係があるかをAIが判断する精度を評価します。この論理的推論能力の高さは、AIが事実に基づかない情報を生成する「ハルシネーション」を抑制し、より信頼性の高い出力を生み出す上で不可欠です。本評価は、国産LLMの総合的な性能を評価するJGLUE（Japanese General Language Understanding Evaluation）における重要な要素の一つとして位置づけられています。

このキーワードが属するテーマ