プラットフォームの概要

デジタルヒューマンプラットフォームは、ユーザーがウェブブラウザ、モバイルデバイス、キオスク、デジタルサイネージなどのアクセスチャンネルを通じてデジタルヒューマンと対話できるようにします。

アクセスチャンネルは、ページに組み込まれたSDKを使用して、ビデオやオーディオデータをデジタルヒューマンプラットフォームに送信し、プラットフォームはさまざまな機能を実行した後、ユーザーが発話したデータ（追加のメタデータを含む）を接続された会話AI/自然言語処理（LLM）/チャットボットサービスに送信します。

会話AI/自然言語処理（LLM）/チャットボットサービスには、デジタルヒューマンがユーザーにどのように返答（発話）すべきかを決定するためのロジックとコンテンツが含まれており、プラットフォームにその返答内容を指示します。

プラットフォームは、リアルタイムに音声やアバターのビデオデータを生成し、そのデータをユーザーが受信できるアクセスチャンネルに送信します。

下図は、上記の図をより具体的かつ拡張したものです。さまざまな外部システムとの連携が可能であり、有人チャットや有人オペレーターとの連携、eKYCなどとも連携することができます。

※ 標準・オプションで対応する会話AI/LLM/チャットボットの接続実績はこちらで公開しています。対応するサービスを随時増加していますが、ご要望に応じてお好みの会話AI/LLM/チャットボットと接続することが可能です。

デジタルヒューマンプラットフォームは、ユーザーがPCまたはスマートフォンのウェブブラウザを使用してデジタルヒューマンと対話できるようにサポートします。

私たちはサブスクリプションサービスを契約しているお客様にJavascript SDKを提供しています。これにより、お客様はデジタルヒューマンをウェブサイト/ウェブアプリケーションに統合して展開することができます。SDKは、ウェブサイト/ウェブアプリケーションとプラットフォーム間の通信を容易にします。

ユーザーはモバイルデバイスでもデジタルヒューマンと対話することができます。

かつてはiOSアプリ向けの組み込みSDKを提供していましたが、現在はWEB SDKのみ提供しています。アプリ側でブラウザを組み込むなどの対応をお願いします。

デジタルヒューマンプラットフォームでは、スクリーン、マイク、スピーカーを搭載したキオスク端末（コンピューティングデバイス）やデジタルサイネージに、ダウンロード可能なアプリケーションをインストールしたり、ブラウザを利用することで、ユーザーはどこでもデジタルヒューマンと対話することができます。

多くの場合、セキュリティと外観の向上のために、必要なハードウェアを収納するケースやスタンドを作成し、お客様のブランディングに合わせます。

デジタルヒューマンプラットフォーム（デジタルヒューマンのアニメーション基盤）は、音声認識（STT）や音声合成（TTS）を処理し、同時にアニメーションを描画して、WEBサイトやアプリ、LLMやチャットボットなどの会話AIとの橋渡しをします。

デジタルヒューマンプラットフォームのポリシーとして、音声認識と合成音声の生成に必要な最低限の会話は通過しますが、音声認識や音声合成を行った際に会話ログは一切保存せず、すべて破棄しています。

つまり、運営側は電話サービスと同様に開始と終了のタイムスタンプを取得しますが、会話の内容には一切関与せず、善意の第三者として運営しています。私たちはお客さまのいかなる会話にもアクセスせず、アクセスすることもできない構造になっています。

当社が提供するオーケストレーションレイヤーをご利用頂く場合、お客様の同意のもとサポートや分析用にログを取得する場合があります。同意がない場合は会話の内容を特定できるようなログは取得いたしません。

お客様にて会話ログを収集したい場合は、会話AI/チャットボットの会話履歴か、下のオーケストレーションレイヤーでログを取得することが可能です。

デジタルヒューマンにはいくつかの世代があります。

世代（Gen1,Gen2,Gen3 / P1,P2）

オーケストレーションインターフェース（オーケストレーションレイヤー）は、デジタルヒューマンプラットフォームとLLM/チャットボットとの会話の橋渡しを行います。サンプルソースコードを公開しているため、お客様の仕様に合わせて自身で開発することも可能です。

オーケストレーションインターフェースの用途は以下を想定していますが、他の用途でも利用することが可能です。

設置方法についてはこちらのページをご覧ください。

会話AI/チャットボット部分は様々なサービスと接続可能です。ルールベース、一問一答（一問多答）のチャットボット、ChatGPTやClaude、Gemini等をはじめとするLLMとも接続できます。これにより、デジタルヒューマンに個性や知能・頭脳を与えることができます。

既に使用中のチャットボットがある場合は、蓄積されたデータをそのまま利用できます。また、チャットボットのシナリオを変更すれば、デジタルヒューマンはその通りに動作します。LLM/チャットボットはデジタルヒューマンの特徴の一つであり、アバターの制御に使われます。したがって、チャットボットの設定に合わせて、デジタルヒューマンプラットフォームで合成音声やアニメーションを生成します。

接続実績のあるチャットボットについては、下記をご覧下さい。APIがあれば、お手持ちの会話AIやチャットボットと接続できます。

接続実績のある会話AI・チャットボット

会話AI/チャットボットと接続することで、会話をパーソナライズしたり、会話を解析してより素晴らしい対話サービスにするための重要な要素です。

カスタマークラウドは、私たち運営側が関与しない企業や団体のクラウドサービスを指します。以下のようなサービスを想定しています。