しんたろーしんたろーのITアカデミー

#vLLM の記事一覧

全2件

DeepSeek Files APIで通信量9割削減。AI開発者が知るべき推論最適化の使い分け
·22 views·しんたろー

DeepSeek Files APIで通信量9割削減。AI開発者が知るべき推論最適化の使い分け

同じ画像を何度もAPIへ送信し、無駄な通信量とコストを発生させていませんか? DeepSeekの「Files API」は画像データの使い回しを可能にします。しかし、これが直接的なコスト削減に直結するわけではありません。開発者が注目すべきは、API経由の転送量最適化と、自前ホスティング環境における「推論エンジン側のKVキャッシュ分離」という2つの異なるレイヤーの最適化戦略です。

Claude Codeで開発費を半減させる仕組み、なぜモデルの使い分けが最強なのか
·75 views·しんたろー

Claude Codeで開発費を半減させる仕組み、なぜモデルの使い分けが最強なのか

AIモデルの性能差が縮まり、トークン単価が急激に下がっている。単なる値下げではなく、複数のモデルを組み合わせる「配分設計」が開発の鍵だ。 最上位モデルにすべてを頼る手法は過去のものとなった。重要な判断を上位モデルに任せ、下準備を低コストな軽量モデルに委譲する。この連携で品質を維持したまま開発コストを40%近く削減できる。