しんたろーしんたろーのITアカデミー

#ハルシネーション の記事一覧

全5件

AIエージェント開発でハルシネーションを止める理由。Sophos事例から学ぶ人間による検証ループ|完全ガイド
·52 views·しんたろー

AIエージェント開発でハルシネーションを止める理由。Sophos事例から学ぶ人間による検証ループ|完全ガイド

AIエージェントにタスクを任せたら、存在しないファイルを生成された。そんな経験がある。 AIはタスク実行能力を向上させている。一方でハルシネーションは設計課題だ。SophosのようにAIに調査から実行までを委ねるシステムでは、AIが「わからない」と言えない構造がリスクになる。 AIが嘘をつく構造的な理由と、開発者が実装する「人間による検証ループ」の設計思想を解説する。

OpenAIモデル誤整列フレームワーク公開。AIの嘘を見抜く評価の重要性
·85 views·しんたろー

OpenAIモデル誤整列フレームワーク公開。AIの嘘を見抜く評価の重要性

OpenAIはモデルの誤整列(misalignment)、つまり「意図しない挙動や嘘」を公開・調査するための新しいフレームワークを発表した。あわせて、過去6ヶ月間に観察された想定外のモデル挙動について6つの事例レポートを公開している。 AIの開発現場ではモデルの性能向上に伴い、ハルシネーションの解像度も高まっている。モデルは専門用語を完璧に使いこなし、存在しない仕様を堂々と出力する。

Claude 3.5の生物学推論向上で開発は何が変わるのか。AIのタスク拒否を見分ける完全ガイド
·140 views·しんたろー

Claude 3.5の生物学推論向上で開発は何が変わるのか。AIのタスク拒否を見分ける完全ガイド

AIに重い処理を頼んだ時、「安全上の理由でできません」と断られる。 その拒絶は、本当の制限ではなくAIの計算コスト回避である。 Anthropicは生物学タスクでの無用な拒否を85%削減した。 このアップデートは、AIの「安全制限」と「怠慢によるタスク回避」をめぐる構造的変化を示す。 開発で「AIの嘘の拒否」を見破り、タスクを完遂させるための視点を解説する。

なぜClaudeの政治的中立性は守られるのか。開発者が信頼性を担保するAI監査の必須知識
·338 views·しんたろー

なぜClaudeの政治的中立性は守られるのか。開発者が信頼性を担保するAI監査の必須知識

AnthropicがClaudeの政治的中立性スコアを公開した。 Opus 4.7で95%。Sonnet 4.6で96%。 彼らはシステムプロンプトでモデルの安全性をコントロールしている。 モデルが「公平で安全」であることと、出力が「真実」であることは別の次元だ。 AIの挙動をブラックボックスのまま放置すれば、もっともらしい嘘がプロダクトに混入する。

なぜGeminiは「見えたふり」をするのか。ミラージュ効果の理由とAI開発での対策をGoogle公式から完全ガイド
·293 views·しんたろー

なぜGeminiは「見えたふり」をするのか。ミラージュ効果の理由とAI開発での対策をGoogle公式から完全ガイド

画像がないのに「重篤な心筋梗塞です」と返ってきた 画像を渡し忘れた。ただそれだけ。 なのにAIは「ST上昇型心筋梗塞(STEMI)の所見が確認されます」と自信満々に返してきた。 これは架空の話じゃない。スタンフォード大学の研究チームが実際に再現した実験結果だ。