·76 views·しんたろー
OpenAIのWebSocket導入でなぜエージェント開発は変わるのか。Claude Code実践者が読み解く高速化の理由
推論速度1000 TPSの時代が到来した。 エージェントのボトルネックは、AIモデルの推論速度からAPIの通信速度へと移行した。 OpenAIはWebSocketによる持続的接続を導入し、エージェントループ全体で40%の高速化を実現した。 これはインフラ層のアップデートであり、開発者のコードの書き方やAIとの向き合い方に影響を与える。
しんたろーのITアカデミー
SNS運用・プログラミング・IT活用に関する情報を発信しています。
タグ: #API最適化
すべての記事を表示
·69 views·しんたろー
Claude CodeのプロンプトキャッシュとMCPで開発コストが激減する理由。エージェント化を徹底解説
AIコスト最適化の主戦場が、モデルの賢さから「設計」に移った プロンプトキャッシュの1時間TTL対応。MCPによるツール自律探索。バッチ処理設計の標準化。 この3つが同時に動き始めている。 モデルの性能を上げるより、APIをどう叩くかの設計でコストが10倍変わる。Claude Codeの最新アップデートがそれを象徴している。
·122 views·しんたろー
外部ツール依存はなぜ危険か。llm-devproxy v0.2.0のローカル完結でAI開発のAPI代を削る理由
人気AIプロキシの特定バージョンにマルウェアが混入した。SSHキーやKubernetes設定が根こそぎ盗まれる事態が発生している。 一方で、ローカル完結型のキャッシュツール「llm-devproxy」がv0.2.0へアップデートされた。384次元のベクトルを用いたセマンティックキャッシュを、外部APIに依存せずローカルで処理する。