技術で稼ぐを、実体験から。SNS運用の自動化・AI活用・収益化を、個人開発者が自分で試した結果から発信しています。
RAGを組んで動かしたとき、「これ本当に正しく動いてる？」という壁にぶつかる。モデルやプロンプトを調整しても、測定する仕組みがなければ改善なのかノイズなのか判断できない。 RAG開発において、モデル選びよりも先に評価ハーネス（測定の仕組み）を作る。 揺れのない決定論的な指標で測定軸を固定すると、無駄を削れた割合が明確な数値で分かる。検索精度を維持したままAPI使用量を削減できた割合は28%だ。
RAGの精度限界は検索アルゴリズムのせいではない RAGを作っても期待した精度が出ない。 多くの開発者がベクトル検索のアルゴリズムを弄り回している。 回答精度が40%で頭打ちになる原因はデータの取り込み方にある。 特にPDFの表データが鬼門だ。 ここで構造が壊れ、AIが幻覚を起こしている。 そこに、Markdown変換を捨てて空間配置をそのままLLMに読ませる新しいアプローチが登場した。
結論：AIエージェントの品質はテストと評価の仕組みで決まる 結論から言うと、AIエージェントの実運用に耐えうる品質は、プロンプトの微調整ではなくテストと評価の仕組みで決まる。 1問1答の簡単な会話なら完璧にこなすAIでも、複雑なタスクや長時間のやり取りになると途端にポンコツになることが多い。 これは、マルチターンと呼ばれる複数回のやり取りを想定した品質保証の仕組みが抜け落ちているからだ。
