株式会社renue
コマースエージェント
コマースエージェントで、この記事のテーマを実務に落とし込めます
renueが社内で運用しているシステムをサービス化したものです。何ができるか、どう動くかをサービスページでご覧ください。
音声AIエージェントとは|パイプライン型と音声を直接扱う方式
音声AIエージェントは、音声で質問を受けたり業務を実行したりするAIの総称です。STT→LLM→TTSのパイプライン型と、音声を直接扱うRealtimeモデル等を区別します。単一モデルのSpeech-to-Speech(S2S)は、必須の中間文字起こし・TTSを挟まず音声を理解して応答する方式ですが、音声エージェント全てがこの構成ではありません。S2Sの音声を直接扱うモデルでも、文字の入出力・文字起こし・ツールを併用できます。元の「数秒対数百ミリ秒」は、モデル・回線・発話終了検出・測定区間が未確認です。初音声の到達と、ツール処理を含む有用な回答の到達を分け、同じ条件で遅延・音声表現・タスク成功を測ります。
2024年10月のOpenAI Realtime APIプレビュー以降、2025年8月にgpt-realtime本番モデルがGA(General Availability)、2026年3月26日にはGoogleがGemini 3.1 Flash Liveをプレビュー公開し、低レイテンシ・多言語対応・カメラ入力対応で音声AIエージェントが実用段階に入りました。本記事では音声AIの仕組み、主要API比較、ユースケース、コスト試算、そしてrenue独自視点として「音声AIエージェント導入7原則」を解説します。Function CallingはFunction Calling、エージェント運用はAgentOps、コストはFinOps for AIを併読してください。
従来パイプライン vs Speech-to-Speech
| 観点 | 従来 STT→LLM→TTS | Speech-to-Speech |
|---|---|---|
| レイテンシ | 元目安の数秒は測定条件未確認。STT・LLM・TTSをストリーミングする構成もある | 元目安の数百ミリ秒は測定条件未確認。回線・VAD・モデル・ツール・再生までの区間を揃えて測定 |
| 感情・抑揚 | 音声を文字にする段階で抑揚等がLLMへ届かない場合がある | 入力の音声的特徴を直接扱えるが、出力の表現・保持はモデルと設定で評価 |
| 笑い・ため息・間 | 使うTTSと制御方法による | モデル・声・設定・タスクで自然さを評価 |
| 言い淀み・割り込み | ターン検出・ストリーミング・再生停止の実装による | VAD・割り込みイベント・再生/会話状態の同期が必要。方式だけで自然さを保証しない |
| 多言語混在 | STTの対応言語・切替と下流のモデル/TTSを確認 | モデルの対応言語・発音・言語混在を同条件で検証 |
| パイプライン複雑性 | STT・LLM・TTSを連携。単一APIで統合提供する製品もある | 単一音声モデルを使用できるが、通信・ターン検出・ツール実行等の構成は必要 |
| コスト | STT・LLM・TTS・通信・運用等の総額。製品内でまとめて課金する方式もある | モデル別入力/出力・履歴・キャッシュ・ツール/電話等を含む総額で比較。常に高価とは限らない |
| カスタマイズ | 各層で細かく制御可 | 制御は限定的 |
主要音声AI比較|モデルAPI・統合製品・フレームワークを区別
| サービス | 提供元 | 特徴 | 料金感 |
|---|---|---|---|
| OpenAI gpt-realtime | OpenAI | 2025年8月GA、MCPサーバ連携・画像入力・SIP電話対応 | gpt-realtimeの音声入力 $32/M tokens、適用できるキャッシュ入力$0.40、音声出力 $64/M tokens(2026年10月12日確認)。文字・画像・文字起こし等の費用は別。通話時間の固定料金ではない |
| Gemini 3.1 Flash Live | 2026年3月26日リリース、低レイテンシ・多言語・カメラ入力対応 | gemini-3.1-flash-live-previewの有料Standard音声入力$3/M tokens、音声出力$12/M tokens(2026年10月12日確認)。元の約1/10という総額比較は、モデル・音声token換算・会話条件が未確認 | |
| Gemini 2.5 Live | 従来世代、長文対応 | 中 | |
| Azure GPT Realtime | Microsoft | Azureで提供される対応モデル/版を、対応地域・デプロイ形態・接続方式とともに確認 | Azureの料金を地域・通貨・契約・モデル・形態ごとに確認。OpenAI直接契約と同じ単価としない。取得した価格表は数値が$-表示のため、特定地域の単価は確定していない |
| ElevenLabs Conversational AI | ElevenLabs | 現ElevenAgentsの公式構成はASR・LLM・TTS・turn-takingモデル。単一音声モデル型S2Sとは分ける | 月額プラン+従量 |
| Deepgram Voice Agent | Deepgram | 単一APIでSTT・LLM・TTSを統合する製品。APIが一つであることと、必須の中間テキストを使わない単一モデルは別 | 低 |
| Pipecat (OSS) | Daily.co | OSS音声エージェントFW、複数バックエンド対応 | 無料(自前運用) |
| LiveKit Agents | LiveKit | WebRTCによる音声エージェントの実行基盤。STT-LLM-TTS・Realtime・half-cascade等の選択肢を持つフレームワークで、単一S2Sモデル名ではない | 自前運用 or マネージド |
1時間音声対話のコスト試算
元の時間料金は、対象モデル・試算時点・入力/出力の発話時間・会話履歴・キャッシュ・文字/画像/ツール・電話/通信等の対象範囲を確認できていません。OpenAIの会話Realtimeは各Responseの入力/出力tokenを課金し、履歴が次ターンの入力になるため、「通話1時間」だけでは総額は決まりません。Googleもモデル/モダリティ別の料金で、同じtoken数だけを揃えても音声tokenの換算が異なれば同じ発話量の比較にはなりません。
- Gemini Live:元記載は約$1.75 / 1時間。対象モデルと上記条件・元試算の原典が未確認で、現行の固定時間料金として使わない
- OpenAI Realtime:元記載は約$18 / 1時間。対象モデルと上記条件・元試算の原典が未確認で、現行の固定時間料金として使わない
元の約10倍という比較は同じ会話条件の計算と原典を確認できていません。用途と品質要件を同条件で評価し、実際の請求token・適用キャッシュ・追加サービスの総額と、精度・指示追従・ツールの成功・有用な返答までの遅延で比較します。費用の高低から品質の優劣が自動的に決まるわけではありません。
Speech-to-Speechと従来パイプラインの使い分け
| 用途 | 推奨 | 理由 |
|---|---|---|
| カスタマーサポート音声ボット | S2S(Gemini Live等) | レイテンシと自然さが顧客体験に直結 |
| 議事録自動生成 | STT(Whisper等)+ LLM | S2Sは不要、コスト効率優先 |
| 音声検索アシスタント | S2S | 即応性が必須 |
| 多言語翻訳通訳 | S2S(Gemini Live) | 感情と抑揚を保持 |
| 営業ロールプレイ訓練 | S2S | 自然な対話が学習効果を上げる |
| 音声書き起こし | STT特化(Whisper/Deepgram) | 双方向不要 |
| ナレーション・音声合成 | TTS特化(ElevenLabs) | 事前生成で十分 |
| 音声分析(感情/音響) | 専用音声モデル | S2Sは不向き |
有望なユースケース10選
- コンタクトセンター自動応答:24時間音声で一次対応(SIP電話直接接続も可能)
- 音声カスタマーサポート:アプリ内音声ボット
- 営業ロールプレイ訓練:新人教育の自動化
- 面接練習:就活生・転職者向け模擬面接
- 多言語通訳エージェント:国際会議・接客
- ハンズフリー業務支援:現場作業者の音声操作
- 視覚障害者向けアクセシビリティ:音声UI
- 自動車内アシスタント:運転中の対話
- 言語学習会話パートナー:24時間ネイティブ風練習
- カメラ連動エージェント:Gemini Liveでカメラ画像+音声で物体説明・作業ガイド
実装アーキテクチャの典型パターン
1. 単純な音声ボット
WebRTC/Twilio等で音声をクラウドへ→Realtime APIに直接ストリーミング→応答音声を返す。Pipecat/LiveKitフレームワークで実装容易。
2. 電話対応(SIP)
OpenAI Realtime APIはSIP直接接続をサポートしており、電話からの問い合わせをそのままAIエージェントに繋げられます。コンタクトセンター刷新の現実的な選択肢です。
3. RAG+音声ハイブリッド
音声からの質問をリアルタイム処理しつつ、社内ドキュメントのRAGで知識を補強。Function Calling経由で検索ツールを呼ばせます。
4. マルチモーダル(音声+映像)
Gemini Liveのカメラ入力対応を活用し、画面共有や物理空間を「見ながら」会話するエージェントを構築。デザインツール支援や現場作業ガイドに有効です。
実装上の注意点
- レイテンシ予算設計:1秒以内は本記事の設計目標で、全モデルの実測保証ではない。発話終了判定・ネットワーク・モデル・ツール待ち・音声バッファ/再生を含め、有用な返答までの遅延を同じ区間で測定
- 割り込み処理:ユーザーが話し始めたら即座にAIの発話を停止する制御
- 音声認識精度:固有名詞・専門用語のためのプロンプトでのヒント注入
- ハルシネーション対策:音声でハルシネーションは即座に信頼を失う、Faithfulness評価必須(RAG評価)
- セッション切断・再接続:WebRTCの不安定性に備える
- 録音と監査ログ:法的証跡・改善材料として保存(Observability)
- 個人情報保護:音声に含まれるPIIの自動マスキング(セキュリティ)
- コスト上限:1セッションの最大時間・トークン上限を設定(FinOps for AI)
renueの視点|音声AIエージェント導入7原則
renueは広告代理AIエージェント・AI PMOエージェント・Drawing Agent・SEO記事生成エージェント等を複数自社運用する中で、音声AIエージェント導入の7原則を確立しています。
(1) 用途で従来パイプラインとS2Sを使い分ける:議事録・書き起こしは従来STT、双方向対話・即応UXはS2S。「全部S2Sに置き換える」はコストと制御性を失います。
(2) コストはGemini Live優先で検討:特に大量トラフィックではGemini LiveがOpenAIの約1/10で、ROIが大幅改善します。品質要件が許せば第一候補にします。
(3) PoCはPipecat/LiveKit等のOSSフレームワークで:いきなりベンダー独自API実装ではなく、OSSフレームワークで複数バックエンドを試せる構成にします。後でモデル切替が容易です。
(4) レイテンシ予算を1秒以内で設計:S2Sの強みは低レイテンシです。ネットワーク・モデル・WebRTC全体で1秒以内を目標にし、超えるなら設計を見直します。
(5) 録音とスクリプト両方を監査ログに保存: 録音データの取り扱いは機密性・安全性・プライバシーを個別に確認します。法的要件(GDPR/個情法)は事前確認します。
(6) ハルシネーションは音声では即座に致命的:文字なら気付きにくい誤りも、音声で言い切られると信頼が瞬時に崩れます。RAGで知識を補強し、不確実な場合は「分かりません」と言わせる設計が重要です。
(7) 1セッションのコスト上限と最大時間を設定:長時間の暴走で予算超過しないよう、1セッションの最大トークン・最大時間・最大ターン数を必ず設定します。
よくある失敗パターン
- 全業務をS2Sに置き換え:議事録等の片方向タスクで過剰投資
- OpenAIだけ検討:モデル・発話量・履歴・キャッシュ・追加費用を揃えた複数候補の総額比較を省く。Gemini Liveの一律約1/10を前提にしない
- レイテンシ未設計:1秒超の対話で「人より遅い」UX
- ハルシネーション対策なし:音声でデタラメ回答で信頼喪失
- 監査ログなし:係争時の証跡がない
- PII対策未実装:録音に個人情報が混入し漏洩リスク
- コスト上限未設定:長時間セッションで請求書ショック
よくある質問(FAQ)
Q1. OpenAI RealtimeとGemini Liveどちらを選ぶべきですか?
元のGemini Live約1/10という総額比は、比較モデル・発話量・履歴・キャッシュ等の条件が未確認です。対象モデルの公式単価で同じ業務シナリオの総費用を計算し、日本語・指示追従・ツール成功・有用な返答までの遅延と併せて選びます。費用だけでOpenAIの品質が常に上とは判断しません。
Q2. 日本語対応は十分ですか?
OpenAI gpt-realtime/Gemini Live双方とも日本語対応は良好ですが、業界用語・固有名詞・関西弁等の方言は実データで検証が必要です。
Q3. 電話との接続は可能ですか?
OpenAI Realtime APIはSIP直接対応、Twilio/Plivo経由でも接続可能。Gemini Liveも各社の音声基盤と組み合わせ可能です。
Q4. オフライン・オンプレ運用は可能ですか?
2026年4月時点ではS2Sのオンプレモデルは少なく、クラウド経由が主流です。機密要件がある場合はパイプライン型(STT/LLM/TTSをそれぞれOSSで)を検討します。
Q5. renueは音声AIエージェント導入を支援していますか?
はい。ユースケース選定・モデル選定・OSSフレームワーク構築・監査ログ設計・コスト管理まで一貫して支援しています。
関連記事
- AgentOps完全ガイド2026
- Function Calling完全ガイド2026
- FinOps for AI完全ガイド2026
- LLM API徹底比較2026
- LLM Observability完全ガイド2026
- 生成AIセキュリティ完全ガイド2026
- Computer Use AIエージェント完全ガイド2026
- RAG評価完全ガイド2026
音声AIエージェント・Realtime API実装のご相談はrenueへ
renueは複数のAIエージェント事業を自社運用するAIエージェント開発企業として、音声AIエージェントのユースケース選定・モデル選定・OSSフレームワーク構築・監査ログ設計・コスト管理までワンストップで支援しています。コンタクトセンター刷新・音声カスタマーサポート・通訳エージェント等でお困りの方はお気軽にご相談ください。
本記事の参考情報
- OpenAI: Introducing gpt-realtime and Realtime API updates for production voice agents
- OpenAI: Introducing the Realtime API
- OpenAI Platform Docs: Realtime API
- Microsoft Learn(日本語): Azure OpenAI で GPT Realtime API を使用する
- Google AI for Developers: Gemini Live API overview
- FuriousGreen: Gemini 3.1 Flash Live 音声AIエージェントの開発
- JOBIRUN: Google Gemini 3.1 Flash Live(2026年3月26日リリース)
- AIエージェントナビ: リアルタイム音声会話API料金比較 2026
- ITトレンド: GoogleがGemini 3.1 Flash Liveを公開
- Plivo: OpenAI Realtime (Speech-to-Speech) Pipecat連携

