しんたろーしんたろーのITアカデミー

#MoE の記事一覧

2

Sakana Fuguで推論コストを最適化。Claude Code開発者が選ぶ実務特化モデルの選び方
·13 views·しんたろー

Sakana Fuguで推論コストを最適化。Claude Code開発者が選ぶ実務特化モデルの選び方

推論モデルの選び方。ベンチマークの数値で選ぶのはやめる。 理論上の計算量が少なくても、デプロイ時にVRAM 48GBを要求されるとインフラが対応できない。 Sakana Fuguのような高い推論能力を持つモデルが登場する一方で、MoE(混合エキスパート)とDense(全活性)モデルの決定的なメモリ差や、特定の条件で起きるプロンプト崩壊のリスクが検証データで露わになった。

Microsoft新モデルMAI-Thinking-1で開発のコストが下がる理由
·30 views·しんたろー

Microsoft新モデルMAI-Thinking-1で開発のコストが下がる理由

AIモデルの開発競争が新しいフェーズに入った。 Microsoftが推論特化モデルMAI-Thinking-1を発表した。パラメータ数270億のモデルがスマホで動作し、稼働率を32分の1まで削るモデルも登場している。 巨大モデルをAPIで叩く時代は終わった。これからは推論コストを抑える高効率モデルの時代だ。開発コストやアプリ構成の変化を解説する。