株式会社カリバー

LLM-Based In-Vehicle Agent
Development

【Overview】
We developed a next-generation voice interaction system for in-vehicle systems by leveraging large language models (LLMs), enabling drivers to control vehicle functions and access information using natural, conversational speech.

Going beyond conventional command-based voice control, the system achieves both flexible, human-like dialogue and reliable vehicle operation, delivering the following user experiences:

Natural vehicle control through conversational, human-like speech
Real-time information retrieval and question answering via voice interaction
Highly efficient responses through a hybrid approach combining on-device and cloud-based processing

【Technical Scope】

・Hybrid AI Architecture

- Architecture design of a hybrid AI framework that combines in-vehicle AI with high-performance cloud- based AI (LLMs)
- Simple, latency-sensitive tasks are processed locally within the vehicle, while complex and advanced question answering is handled by cloud-based AI, achieving both fast response times and high-quality answers

・Integration of Conversational Capabilities

- Seamless integration of speech recognition (converting the driver’s voice into text) and speech synthesis (generating natural spoken responses) with LLMs to enable smooth, natural conversations
- Implementation of dialogue context management to maintain conversation history and continue interactions based on inferred us

・LLM-Based Vehicle Control (Function Calling)

- Extraction of required vehicle operations from LLM inference results and sending control commands to vehicle control APIs
- Example workflow:

“It’s hot” → intent inference (desire to lower cabin temperature) → extraction of vehicle operation (target climate control setting) → vehicle control API call → spoken feedback of execution results

Back to Development Cases

車載機器向けLLMベースのエージェント開発

【概要】
大規模言語モデル（LLM）を活用し、ドライバーが自然な話し方で車両を操作したり、情報を入手できる次世代の音声対話システムを開発いたしました。
従来の定型的な音声コマンドによる操作を超え、柔軟で人間らしい対話と確実な車両操作を両立させ、以下のようなユーザー体験を実現いたしております。

まるで人と会話しているような自然な言葉での車両操作
音声対話によるリアルタイムな情報検索や質問応答
ローカル処理とクラウド処理を組み合わせた高効率な応答

【開発内容】

・ハイブリッドAI

・車両内のAIと、クラウド上の高性能AI（LLM）を組み合わせて活用する仕組みを構築
・応答速度が重要なシンプルな処理は車載AIで行い、複雑で高度な質問応答はクラウドAIで行うことで、レスポンスの速さと回答の質の高さを両立

・対話機能の統合

・ドライバーの「話す」声をテキストに変換する機能（音声認識）及びAIの回答を自然な音声で返す機能（音声合成）をLLMとシームレスに連携させ、スムーズな会話を実現
・対話の履歴を管理し、ユーザーの意図を汲み取った形で会話を継続させることを実現

・LLMによる車両の操作（Function Calling)

・LLMの推論結果から必要な車両操作を抽出し、車両制御APIにコマンドを送信
・例：「暑い」→意図推定（温度を下げたい）→車両操作の抽出（エアコンの設定温度の目標決定）→車両制御APIをコール→実行結果の音声返答

開発事例一覧に戻る

LLM-Based In-Vehicle Agent Development