AIモデル「DeepSeek-R1」のハルシネーション（事実に基づかない情報の生成）率が、先行モデルである「DeepSeek-V3」の約4倍に達していることが明らかになりました。データ分析企業Vectaraの調査によると、R1のハルシネーション率は14.3%を記録しています。この結果は、AIモデルを基盤に自律的な運用を行う暗号資産AIエージェントプロジェクトにとって、技術的なリスク要因となる可能性が指摘されています。
14.3%のハルシネーション率が判明
Vectaraが公開したハルシネーション評価モデル（HHEM 2.1）のデータによると、DeepSeek-R1のハルシネーション率は14.3%でした。これは、先行モデルであるDeepSeek-V3の3.9%と比較して約4倍高い数値です。DeepSeek-R1は、中国のAI研究所DeepSeekが開発した推論モデル（論理的な思考プロセスを重視したモデル）ですが、情報の正確性の面では課題が浮き彫りになりました。
技術的背景と「過剰な補助」の傾向
Vectaraの分析では、DeepSeek-R1には「過剰に補助しようとする（overhelp）」傾向が見られるとされています。これは、回答に根拠のない情報を付け加えてしまうことで、結果として事実とは異なる文脈を捏造してしまう現象です。一般的に、推論能力に特化した大規模言語モデル（LLM）は、標準的なモデルよりもハルシネーション率が高くなる傾向があるとされていますが、DeepSeek-R1の数値は他のモデルと比較しても顕著な差が出ています。
暗号資産AIエージェント市場への影響
この調査結果は、暗号資産（仮想通貨）業界で注目を集めている「AIエージェント」関連銘柄に影響を与える可能性があります。AIエージェントとは、LLMを介してオンチェーンでの取引や意思決定を自律的に行うプログラムを指します。Virtuals Protocol（VIRTUAL）やai16z（AI16Z）といったプロジェクトがその代表例として知られています。基盤となるAIモデルが誤った情報を生成しやすければ、それに基づく自律的なアクションが誤作動や損失を招くリスクがあるため、モデルの選定や検証が今後の重要な課題になると見られます。
ポイント
- DeepSeek-R1のハルシネーション率が14.3%に達し、V3の約4倍であることが判明しました。
- データは企業向けAIスタートアップのVectaraによる評価モデルに基づいています。
- 推論モデル特有の傾向として、根拠のない情報を追加してしまう「過剰な補助」が要因の一つとされています。
- 自律的な取引を行う暗号資産AIエージェントにとって、モデルの不正確さは運用上の重大なリスクとなり得ます。
- 信頼性が重視されるWeb3ビジネスにおいて、基盤AIモデルの精度検証がより重要視される可能性があります。