車載機器向けLLMベースのエージェント開発

【概要】
大規模言語モデル(LLM)を活用し、ドライバーが自然な話し方で車両を操作したり、情報を入手できる次世代の音声対話システムを開発いたしました。
従来の定型的な音声コマンドによる操作を超え、柔軟で人間らしい対話と確実な車両操作を両立させ、以下のようなユーザー体験を実現いたしております。

  • まるで人と会話しているような自然な言葉での車両操作

  • 音声対話によるリアルタイムな情報検索や質問応答

  • ローカル処理とクラウド処理を組み合わせた高効率な応答

【開発内容】

・ハイブリッドAI

・車両内のAIと、クラウド上の高性能AI(LLM)を組み合わせて活用する仕組みを構築
・応答速度が重要なシンプルな処理は車載AIで行い、複雑で高度な質問応答はクラウドAIで行うことで、レスポンスの速さと回答の質の高さを両立

・対話機能の統合

・ドライバーの「話す」声をテキストに変換する機能(音声認識)及びAIの回答を自然な音声で返す機能(音声合成)をLLMとシームレスに連携させ、スムーズな会話を実現
・対話の履歴を管理し、ユーザーの意図を汲み取った形で会話を継続させることを実現

・LLMによる車両の操作(Function Calling)

・LLMの推論結果から必要な車両操作を抽出し、車両制御APIにコマンドを送信
・例:「暑い」→意図推定(温度を下げたい)→車両操作の抽出(エアコンの設定温度の目標決定)→車両制御APIをコール→実行結果の音声返答

開発事例一覧に戻る

車載機器向けLLMベースのエージェント開発

【概要】
大規模言語モデル(LLM)を活用し、ドライバーが自然な話し方で車両を操作したり、情報を入手できる次世代の音声対話システムを開発いたしました。
従来の定型的な音声コマンドによる操作を超え、柔軟で人間らしい対話と確実な車両操作を両立させ、以下のようなユーザー体験を実現いたしております。

  • まるで人と会話しているような自然な言葉での車両操作

  • 音声対話によるリアルタイムな情報検索や質問応答

  • ローカル処理とクラウド処理を組み合わせた高効率な応答

【開発内容】

・ハイブリッドAI

・車両内のAIと、クラウド上の高性能AI(LLM)を組み合わせて活用する仕組みを構築
・応答速度が重要なシンプルな処理は車載AIで行い、複雑で高度な質問応答はクラウドAIで行うことで、レスポンスの速さと回答の質の高さを両立

・対話機能の統合

・ドライバーの「話す」声をテキストに変換する機能(音声認識)及びAIの回答を自然な音声で返す機能(音声合成)をLLMとシームレスに連携させ、スムーズな会話を実現
・対話の履歴を管理し、ユーザーの意図を汲み取った形で会話を継続させることを実現

・LLMによる車両の操作(Function Calling)

・LLMの推論結果から必要な車両操作を抽出し、車両制御APIにコマンドを送信
・例:「暑い」→意図推定(温度を下げたい)→車両操作の抽出(エアコンの設定温度の目標決定)→車両制御APIをコール→実行結果の音声返答

開発事例一覧に戻る

車載機器向けLLMベースのエージェント開発

【概要】
大規模言語モデル(LLM)を活用し、ドライバーが自然な話し方で車両を操作したり、情報を入手できる次世代の音声対話システムを開発いたしました。
従来の定型的な音声コマンドによる操作を超え、柔軟で人間らしい対話と確実な車両操作を両立させ、以下のようなユーザー体験を実現いたしております。

  • まるで人と会話しているような自然な言葉での車両操作

  • 音声対話によるリアルタイムな情報検索や質問応答

  • ローカル処理とクラウド処理を組み合わせた高効率な応答

【開発内容】

・ハイブリッドAI

・車両内のAIと、クラウド上の高性能AI(LLM)を組み合わせて活用する仕組みを構築
・応答速度が重要なシンプルな処理は車載AIで行い、複雑で高度な質問応答はクラウドAIで行うことで、レスポンスの速さと回答の質の高さを両立

・対話機能の統合

・ドライバーの「話す」声をテキストに変換する機能(音声認識)及びAIの回答を自然な音声で返す機能(音声合成)をLLMとシームレスに連携させ、スムーズな会話を実現
・対話の履歴を管理し、ユーザーの意図を汲み取った形で会話を継続させることを実現

・LLMによる車両の操作(Function Calling)

・LLMの推論結果から必要な車両操作を抽出し、車両制御APIにコマンドを送信
・例:「暑い」→意図推定(温度を下げたい)→車両操作の抽出(エアコンの設定温度の目標決定)→車両制御APIをコール→実行結果の音声返答

開発事例一覧に戻る

©2020 Calibur Technology Co., Ltd.