しんたろーのITアカデミー

なぜLLMに計算を任せるとAI開発は失敗するのか。Claude CodeとLangfuseによる自動評価が必須な理由

冒頭フック LLMに計算を任せるとプロジェクトが死ぬ。 請求書の合計金額を出させる。 RAGで「3万円以下」を検索させる。 結果は惨敗だ。 AIは意味を理解する天才だが、足し算はポンコツだ。 開発者が直面する「LLMの限界」と、それを乗り越えるための評価基盤の話をする。 LLMアプリ開発が直面する「計算と検索」の壁 生成AIを実務に組み込むと、必ず壁にぶつかる。