·22 views·しんたろー
Metaの埋め込みモデル導入でCVが最大6%向上、AI開発で実践すべき2段階推論の完全ガイド
Metaは広告のコンバージョン率を最大6%引き上げた。大規模AIの推論コストを抑える「ある設計」がその裏側にある。 それが、オフラインでのベクトル化とオンラインでの軽量推論を分ける2段階推論だ。LLMをリアルタイムで毎回回す手法は過去のものとなった。 ユーザーの過去行動を非同期に埋め込み化してキャッシュする。本番環境ではミリ秒単位で動的結合を行う。
しんたろーのITアカデミー
技術で稼ぐを、実体験から。SNS運用の自動化・AI活用・収益化を、個人開発者が自分で試した結果から発信しています。
タグ: #レコメンデーション
すべての記事を表示
·20 views·しんたろー
MetaのレコメンドモデルGEMが示すAI開発の転換点。汎用LLMよりデータ構造最適化が重要になる理由
汎用LLMのパラメータ数を競う時代は、静かに終わりを告げつつある。 今、AI開発の主戦場で起きているのは特定ドメインにおけるデータ構造の最適化と推論効率の極限追求だ。Metaが運用する数兆規模の巨大レコメンドモデルから、事前学習ゼロでメモリ使用量を16分の1に削る最新の量子化アルゴリズムまで、勝負の鍵はデータの持ち方にシフトしている。
·196 views·しんたろー
MetaのSilverTorchによる推論の変革。モデル統合が開発を変える
推論の常識が変化。マイクロサービスの終焉と「モデル統合」 推論の高速化はモデルの軽量化か、GPUの強化が定石だった。Metaが発表したSilverTorchは、その常識を覆す。 レコメンデーションシステムを構成するマイクロサービスを、一つの巨大なニューラルネットワークに統合した。これをIndex as Modelと呼ぶ。 何百万ものコンテンツから、ユーザーに最適な数千個を絞り込む。