しんたろーのITアカデミー

MetaのSilverTorchによる推論の変革。モデル統合が開発を変える

推論の常識が変化。マイクロサービスの終焉と「モデル統合」 推論の高速化はモデルの軽量化か、GPUの強化が定石だった。Metaが発表したSilverTorchは、その常識を覆す。 レコメンデーションシステムを構成するマイクロサービスを、一つの巨大なニューラルネットワークに統合した。これをIndex as Modelと呼ぶ。 何百万ものコンテンツから、ユーザーに最適な数千個を絞り込む。