Claude Code開発で判明。AIに情報を詰め込むと精度が落ちる理由はコンテキストのノイズだった

情報を増やすほどAIがバカになるという残酷な真実

衝撃のデータがある。

AIに情報を渡せば渡すほど賢くなるという常識が崩れている。

最新の調査では、無関係な情報を1つ混ぜるだけでAIの推論精度が低下する。

最新モデルですら、未知の環境では1パーセントも正解できない。

コンテキストを埋める戦略は通用しない。

これからは「いかに情報を削るか」が開発者の腕の見せ所だ。

Claude Codeで1人SaaS開発をしている中で感じていた違和感が、数字で証明された。

この「引き算の設計」の正体を、最新動向から深掘りする。

コンテキストの腐敗と未知への適応力という壁

AI業界では「コンテキストの量から質の追求」へのシフトが起きている。

直面している問題は主に3つだ。

1つ目は「Context Rot（コンテキストの腐敗）」だ。

コンテキストに意味的に似ているが無関係な情報（ディストラクター）を混ぜると、モデルの精度が低下する。

実験では、無関係な情報を4つ混ぜるだけで正答率がベースラインを下回る。

論理的に整った文書より、シャッフルしてバラバラにした情報を渡すほうが精度が高いという結果も出ている。

整理された「無関係な資料」こそが、AIにとってのニセの根拠になる。

2つ目は、推論タスクにおける「注意力の分散」だ。

無関係なコンテキストを増やすほど、推論のステップ精度が低下する。

無関係な情報を1つから15個に増やしただけで、ステップ精度が43パーセントから19パーセントまで落ち込んだ。

情報を足した結果、答えの正確さが半分以下になる。

窓が広いからと全部入れる戦略は、AIの注意力を奪う行為だ。

3つ目は、「未知の環境への適応力」の欠如だ。

ベンチマーク「ARC-AGI-3」の結果がそれを物語っている。

このテストは、AIにヒントを与えず、未知のゲーム環境で目的を推測させ行動させるものだ。

人間なら初見でクリアできる環境において、トップモデルたちは軒並み低いスコアを出した。

Gemini 3.1 Pro Previewが0.37パーセント。

GPT 5.4が0.26パーセント。

Grok-4.20に至っては0.00パーセントだ。

既存のAIは学習データにある知識には強いが、その場で推論して適応する能力はまだ低い。

しんたろー：
最強モデルたちが1パーセント未満という結果が気になる。
AIは賢くなったのではなく、単に検索が上手くなっただけかもしれない。
未知のバグに直面したとき、Claude Codeが迷う理由が分かった気がする。

開発者が直面する「引き算」のコンテキスト設計

開発者が取るべき戦略は「減算のコンテキストエンジニアリング」だ。

情報を貯蔵するのではなく、モデルの注意力という予算をどう配分するかを設計する。

開発現場で削るべきノイズは以下の5種類だ。

* 古い仕様書と廃止済みコード:

新しい仕様と形が似ているため、モデルが過去を根拠に嘘をつく。

APIのバージョンアップ時にv1とv2を混ぜて渡すと、AIは誤った回答を生成する。

* 重複した説明:

README、Wiki、ソースコードのコメントに同じ内容が3回出てくると、モデルはそれを過剰に重要視する。

回答のバランスが崩れ、特定の話題に偏ったアドバイスが生成される。

* タスクに関係のない周辺ファイル:

プロジェクト全体を理解させようとすると、似た名前の別関数をAIが修正し始める。

* 冗長なログデータ:

スタックトレースの核心部分以外は、AIの注意力を削ぐ砂嵐だ。

* 過剰な制約条件:

ルールを盛り込みすぎると、AIは動けなくなる。

情報の量だけでなく、ルールの量も注意力を消費するコストだ。

今この瞬間のタスクに絶対に必要な情報だけを動的にフィルタリングする仕組みが必要だ。

ThreadPost開発では、RAGで取得した情報をそのまま全件突っ込むのをやめた。

検索結果に対してタスクとの関連性を判定するステップを入れるだけで、コード生成の精度が変わった。

しんたろー：
AIも机の上が散らかっていると仕事ができないタイプだと思った。
Claude Codeにファイルを渡すとき、参考になるかもと追加していたものは、ただの邪魔だった。

AIエージェント時代の評価指標「RHAE」の衝撃

これからのAI開発では「いかに効率的に正解に辿り着いたか」が問われる。

ARC-AGI-3で導入された「RHAE（相対的人間行動効率）」という指標がある。

人間がタスクを解くのに要した手数と、AIが要した手数を比較するものだ。

計算式は「(人間の手数 / AIの手数)の二乗」だ。

人間が10手で解く問題を、AIが100手かけて解いた場合、スコアは1パーセントになる。

この二乗のペナルティは、力技の否定を意味する。

AIが自律的に仮説を立て、最小限の試行錯誤で正解に辿り着く賢さの密度が求められる。

SaaS開発でも、APIを叩きまくって正解を導き出すエージェントは未知の状況に弱い。

モデルに情報を詰め込むのではなく、自ら情報を探しに行き仮説を検証できる環境を整えることがコンテキストエンジニアリングの本質だ。

しんたろー：
100回試行して1回成功するエージェントより、3回考えて1回で決めるエージェントの方が価値が高いと思った。
二乗のペナルティを自分の開発効率に適用したら発狂しそうだが、納得感はある。

実務で今すぐ見直すべき3つのアクション

アクションアイテムをまとめる。

1. コンテキストの階層化と分離:

全ての情報を1つのプロンプトに詰め込むのをやめる。

短期的な会話の文脈、ユーザーの永続的な好み、タスクに必要な技術仕様をデータベースレベルで分離する。

会話のたびに今、この瞬間に必要なピースだけを抽出して注入する仕組みを構築する。

1. RAGのポストプロセッシングの強化:

ベクトル検索で上位10件を引っ張っても、そのままLLMに渡さない。

内容が重複しているものを削り、質問に対する関連度を別の軽量モデルで再評価する。

検索結果を増やす努力よりも、検索結果を削る努力に工数を割く。

1. 「情報の不在」を許容する設計:

AIが自ら追加の情報を取得するためのツールを使えるように設計する。

最小限の情報でスタートさせ、必要に応じてAIに情報を取ってこさせる。

これが注意力を守りながら複雑なタスクを解かせる道だ。

僕らの仕事は、AIに大量の知識を教え込む教師から、AIが迷わないようにノイズを排除する交通整理のプロへと変わる。

FAQ

Q1: RAGで精度が出ない場合、まず何をすべきですか？

A1: 検索結果の量を疑ってください。関連性の低いドキュメントが混ざると、LLMはノイズに引きずられます。検索アルゴリズムを改善してノイズを混ぜないこと、そして検索結果から重複や古い情報を削るポストプロセッシングを導入してください。

Q2: AIコンパニオンで「記憶」が長続きしません。どうすればいいですか？

A2: 記憶をすべてLLMのコンテキストに放り込むのは避けてください。短期的な会話文脈と、ユーザーの長期的な好みをデータベースで分離管理してください。会話のたびに、その文脈に最も必要な情報だけを抽出してコンテキストに注入する記憶の階層化が有効です。

Q3: Claude Codeのようなエージェントを使う際、プロジェクト全ファイルを読み込ませるのは良くないですか？

A3: 避けるべきです。ファイル数が増えるほどContext Rotのリスクが高まり、AIが関係ないファイルのコードを参考にしたり、修正箇所を間違えたりします。必要なファイルだけを明示的に渡すか、エージェントが自律的にファイルを探す際の検索精度を上げる工夫が必要です。

結局、AIの知能は「情報の密度」で決まる

AIの性能はどれだけ知っているかではなく、どれだけノイズに惑わされずに考え抜けるかで決まる。

情報を詰め込みすぎて精度が落ちる現象は、開発者にとっての教訓だ。

* コンテキストは貯蔵庫ではなく注意の予算である。

* 無関係な情報1つで、推論のステップ精度は半分になる。

* 未知の環境では、最新モデルでも1パーセントも通用しない。

この現実を受け入れた上で、引き算の設計を始める。

机の上をきれいに片付けるように、AIに渡すコンテキストを磨き上げる。

その地味な作業の先にしか、真に実用的なAIプロダクトは存在しない。

さて、僕もClaude Codeに渡している余計なファイルを消しに行く。

👉 ThreadPostでSNS運用を自動化する