しんたろーしんたろーのITアカデミー

#eval の記事一覧

全2件

OpenAI APIで5億人規模のアプリを8週間で構築した理由|プロのAI開発評価術を完全ガイド
·14 views·しんたろー

OpenAI APIで5億人規模のアプリを8週間で構築した理由|プロのAI開発評価術を完全ガイド

5億人のユーザーを抱え、7,250万人の同時接続を支えるライブ配信プラットフォーム。この規模でAIを導入する際、多くの開発者がモデルの性能に注力する。 わずか8週間でこの巨大サービスにAIを実装したチームは、モデルそのものよりも「評価(Eval)パイプライン」の設計を優先した。本番環境でAIを動かすための検証レイヤーが、開発の成否を分ける。

Claude Code開発でClaude 3.5 Sonnetの評価を自動化し作業時間を半減させる理由
·170 views·しんたろー

Claude Code開発でClaude 3.5 Sonnetの評価を自動化し作業時間を半減させる理由

AI開発のフェーズが変わった。 モデルのパラメータ数やベンチマークの結果を追いかける時代は終わった。 今の最前線は「いかに精緻な評価指標(eval)を持つか」と「AIと人間の役割をどうデザインするか」にある。 これを理解しているかどうかで、開発スピードには2倍以上の差が出る。 Claude Codeを使い倒している僕の視点で、最新のAIエージェント設計思想を解剖する。