しんたろーのITアカデミー

Metaの埋め込みモデル導入でCVが最大6%向上、AI開発で実践すべき2段階推論の完全ガイド

Metaは広告のコンバージョン率を最大6%引き上げた。大規模AIの推論コストを抑える「ある設計」がその裏側にある。 それが、オフラインでのベクトル化とオンラインでの軽量推論を分ける2段階推論だ。LLMをリアルタイムで毎回回す手法は過去のものとなった。 ユーザーの過去行動を非同期に埋め込み化してキャッシュする。本番環境ではミリ秒単位で動的結合を行う。