【速報】DeepMindがGemini 3.5を正式発表。音声翻訳の工程統合で開発者が注力すべき領域

SNS運用を自動化しませんか？

ThreadPostなら、投稿作成・画像生成・スケジュール管理までAIがサポート。

無料で始める

70言語をリアルタイムで。音声AIの「つなぎ合わせ」が終わる日

DeepMindがGemini 3.5 Live Translateを発表した。

70種類以上の言語を、ほぼ遅延なしで相互に翻訳するモデルだ。

これまで音声認識・翻訳・音声合成を個別に構築していたパイプラインが過去のものになる。

End-to-Endのモデルが、人間の呼吸を読み、感情を乗せて別の言語で話し出す。

開発者にとって、これは「何を作るか」の前提が変わる出来事だ。

音声翻訳の歴史を塗り替える「Gemini 3.5 Live Translate」の全貌

Googleの翻訳は20年前に始まった。

毎月1兆語以上が翻訳され、数十億人に利用されている。

その最新の到達点がGemini 3.5 Live Translateだ。

70以上の言語を自動判別し、流暢な音声をリアルタイムに生成する。

従来のシステムは、話し手が言葉を終えるのを待つ「ターン制」だった。

このモデルは話し手が喋っている最中から、ストリーミング形式で翻訳音声を生成し続ける。

文脈の理解と即時性をモデル内部で調整している。

スピーカーから数秒遅れるだけで、通訳が隣にいるような体験を実現する。

抑揚、ペース、ピッチも再現する。

話し手の感情やニュアンスを維持したまま、別の言語として出力する。

騒がしい環境でも音声を拾うノイズ耐性も備えている。

多言語が混ざった入力も、モデルが自動で処理する。

このモデルはGoogle Meetでの同時通訳や、Google Translateアプリで展開される。

ビジネス向けユーザーから順次展開され、年内に広く利用可能になる。

開発者向けにはGemini Live APIを通じて提供される。

配車サービスの現場では、ドライバーと乗客のコミュニケーションを支えるテストも始まっている。

月間1,000万件以上の通話が行われる現場で、この技術が実戦投入されている。

しんたろー：
70言語対応でEnd-to-End。
今までWhisperなどを組み合わせて作っていたパイプラインが全否定された気分だ。
複雑なつなぎ込みのデバッグから解放されるなら、開発者は別の場所に時間を使える。

開発者目線で見る「カスケード型」から「End-to-End型」へのパラダイムシフト

今回の発表で注目すべきは、End-to-End（E2E）への完全移行だ。

これまでの音声AIアプリは、カスケード型が主流だった。

STT（音声認識）: 音声をテキストに変換する
LLM（言語モデル）: テキストを翻訳・加工する
TTS（音声合成）: テキストを音声に戻す

この3つの工程をつなぎ合わせるのが開発者の仕事だった。

しかし、この構造にはレイテンシと情報の欠落という弱点がある。

各工程でデータをやり取りするたびに、コンマ数秒のロスが生まれる。

STTでテキスト化した瞬間に、話し手の「怒り」や「悲しみ」といった非言語情報が削ぎ落とされていた。

Gemini 3.5 Live Translateは、この壁を壊した。

音声を入力として受け取り、直接、別の言語の音声を出力する。

中間でテキストを介在させないため、感情の同期が可能になった。

開発の難易度は「モデルの選定」から「ストリーミング体験の設計」へ移る。

APIを叩く回数が増えればエラーの確率も上がり、トークンコストも嵩む。

Gemini 3.5のような統合モデルが主流になれば、SDKを一つ読み込むだけで済む。

AgoraやLiveKitといったストリーミング基盤とGeminiを組み合わせる流れが加速する。

低レイヤーの音声処理はプラットフォームに任せ、ユーザーが自然に会話を始められるUXの細部に集中できる。

リソースをビジネスロジックのテスト駆動開発に全振りできる環境が整いつつある。

しんたろー：
モデルのつなぎ合わせで消耗するのは飽きた。
Gemini 3.5のデモを見たが、あの「間」のなさは異常だ。
複雑なストリーミング処理をSDKに丸投げして、ビジネスロジックに集中したい。
Claude Codeに「Gemini Live APIのラッパー書いて」と頼むだけで、通訳エージェントが作れる。

ここまで読んだあなたに

今なら無料で全機能をお試しいただけます。設定後はAIが投稿案を毎日生成。確認して選ぶだけ。

無料で始める