·34 views·しんたろー
Claude APIの構造化出力でハルシネーションを防ぐ理由。AIの嘘を排除する開発手法
プロンプトに「推測するな」と書けばAIの嘘が止まる。そう思っていた時期が僕にもあった。 検証に使ったのは126件の実データだ。プロンプトによる指示は無力だと分かった。AIはデータ欠損を勝手に補完し、存在しない実績から精巧な嘘のレポートを錬成する。 AIのハルシネーションを防ぐ手段はプロンプトの調整ではない。構造化出力で型を強制的に縛り、出力された根拠をコード側で再検証するゲートを挟むことだ。
