ニュースイッチ

声から感情を可視化する、海外ビジコン席巻するベンチャーの正体

連載・音の時代がやってくる #05
声から感情を可視化する、海外ビジコン席巻するベンチャーの正体

共感AI「DARUMA」を実際に使用しているオペレーター

「仕事が多くて本当に疲れましたね」―。マイクにそう話すとディスプレーに映った4色のグラフのうち赤色が上にぶれた。話し手は怒りの感情を秘めているようだ。人工知能(AI)が声からそう導き出した。

Empath(エンパス・東京都渋谷区)が開発した音声感情解析AIだ。声の強さや高さなどの特徴を基に声の主の喜怒哀楽をリアルタイムに4色のグラフで示す。赤は「怒り」、黄は「喜び」、緑は「落ち着き」、青は「悲しみ」だ。前向きと後ろ向きな感情を差し引きして算出した「元気度」も表示する。

このAIをベースにコールセンターBPOを提供するTMJ(東京都新宿区)と共同開発したコールセンター支援システムの引き合いが足元で増えている。オペレーターと顧客の感情を解析し、それを基に画面に映るダルマの姿をしたバーチャル・アシスタントがオペレーターに寄り添って声をかけることで、従業員の満足度を底上げし、定着率を高めている。また、海外のピッチコンテストで度々優勝を飾っており、同社が公開する音声感情解析APIの利用企業は世界50カ国に広がっている。

AIスピーカーの登場により、音声で操作するVUI(ボイス・ユーザー・インターフェース)が世界で浸透し始めた。エンパスの下地貴明CEO(最高経営責任者)はVUIに音声感情解析AIを搭載することで機械が人に共感し、生活を豊かにする将来を展望する。(取材・葭本隆太)

音声感情解析AIのイメージ。「喜び」「落ち着き」「怒り」「悲しみ」の感情を4色のグラフで示す

【世にないサービスを作れ】

「世の中にはICT技術を使った『メンタルヘルスケア』がなかった。そこに目を付けた」。下地CEOは音声感情解析AIの開発を始めた2012年当時を振り返る。医療・ヘルスケア事業を手がけるスマートメディカル(東京都千代田区)に所属し、ICT事業の担当者として「世にないサービスを作れ」という指示の下で開発をスタートした。

音声解析に焦点をあてた理由は、研究論文を調査する中で表情解析は多くの先行事例を見つけたものの「音声は珍しかった」から。その領域を深掘りして研究し、音声感情解析AIを試作した。

具体的にはまず、4万人の音声データを集め、数十人の評価者がそれぞれの声の主の感情について「喜び」「怒り」「悲しみ」「落ち着き」のいずれかで評価してラベルを貼る。その結果、過半数の評価者が「喜び」のラベルを貼った声を「喜び」の教師データ群と定義。そのデータ群に対して声の高さや強さなどの音声の物理特徴量を解析し、その共通の特徴量について機械学習を使ってモデル化する。そのモデルと対比して声を解析する仕組みだ。

【被災地の支援者たちを支えた】

初の実践は音声感情解析AIの価値を確信し、事業化に踏み出す契機になった。13年のNTTドコモの東日本大震災復興支援プロジェクトだ。当時はボランティアスタッフなどの「支援疲れ」が社会問題化していた。スマートメディカル社員の知人にドコモの関係者がいた縁で同プロジェクトに参加し、支援者の不調を早めに検知するツールとして1年間活用した。支援者の毎朝の声を基に「元気度」を定点観測し、変調を見極めた。

その結果、「解析結果と本人の感情が定性的に一致した」。この成果を受け、スマートフォンに声を入力するとその日の気分状態を計測するアプリを開発し、ドコモが「じぶん予報」として16年に発売した。

Empathの下地貴明CEO

しかし、ビジネスとしては成功しなかった。事業者に対する労働者のストレスチェック義務化を踏まえて投入したものの、利用は広がらなかった。下地CEOは「スマホを入り口に設計したのが敗因だった。スマホをわざわざ立ち上げて音声を吹き込む作業は重い」と振り返る。

ただ、この敗因分析が次の飛躍の足場になる。「すでに音声がある世界に生かそう」。そう考え、注力していったのがコールセンターだ。コールセンターのオペレーターは日々強いストレスにさらされており、モチベーション維持などに課題を抱えていた。

【褒めて支える】

TMJとの共同研究は15年に始めた。コールセンターBPOの差別化策として感情解析技術を探していた同社の声かけがきっかけだ。スマートメディカルからスピンオフしてエンパスを創業した時期を挟み約4年間、音声感情解析AIの有用性についてコールセンターの現場で検証を続けた。そこで得た知見を基に、コールセンターの生産性を高めるシステムとして共感AI「DARUMA(ダルマ)」を開発し、19年7月に試験投入した。

ダルマはオペレーターと顧客の感情をリアルタイムに解析し、その結果を基にバーチャル・アシスタントのダルマが寄り添ってサポートする。1人につき10―40人を管理しなくてはならず、業務過多でなかなか個別にフォローできない管理者に代わって、ダルマがオペレーターを褒めたり一緒に悲しんだりして支える。また、感情解析に基づきフォローが必要なオペレーターをリアルタイムで検出し、管理者のモニタリングを効率化する。

共感AI「DARUMA」のオペレーター用画面。ダルマの姿をしたバーチャル・アシスタントが感情解析の結果に応じて褒めたり、慰めたりする

同10月までの実証ではオペレーターの出席率が高まるなど、モチベーションの向上に貢献した。管理者の残業時間を削減する成果も出した。同11月に正式販売を始め、現在は小売業や金融業のコールセンターなどで引き合いが強まっている。

【ビジコンに勝ち続けられる理由】

エンパスは海外のピッチコンテストでの活躍も注目を集める。19年までに10回以上も優勝を飾っている。

それほど勝ち続けられる理由について下地CEOは「感情解析は世界でもまだフロンティア。その領域で収益を上げている点が評価されている」と説明する。さらに「AIスピーカーが登場し、海外では音声操作が当たり前に使われており、今後の期待値も高い。音声感情解析AIがそこに入るとより生活が豊かになるという我々が描くストーリーも受け入れられている」と続ける。

例えば、AIスピーカーが操作者の声を基に感情を理解し、元気がないと判断すると「疲れていませんか」と声をかけたり、週末の温泉旅行を提案したりするほか、子どもに「お父さん疲れているみたいですよ」と声をかけて家族間のコミュニケーションを活発にするような世界を創造したいと考えている。

【否定的な意見も】

一方、感情解析には否定的な声もある。一部からは「嘘発見器」などと呼ばれ、人の心の裏側を探るツールという悪いイメージを持たれるという。コールセンターの中にも強烈な監視ツールと受け止められ、抵抗感を示す人はいるという。

こうした点について下地CEOは「(音声感情解析は)使い方を間違えると社会に認められない技術になる。我々は人と機械、人と人とのコミュニケーションを円滑にし、人を幸せにできる技術と信じて取り組んでいる」と力を込める。

共感AI「ダルマ」の開発につながったTMJとの約4年間の検証では、AIの精度向上以上に、解析結果の使い方の設計が重要なテーマだったという。どのような使い方をすれば、利用したいと思ってもらえるか。その答えがオペレーターに褒めながら寄り添うバーチャル・アシスタントだった。音声感情解析AIを社会に広げていく上でそうした観点は欠かせない要素になる。

【連載・音の時代がやってくる(全5回)】

#01 人気じわり…“聴く読書”オーディオブックは出版業界を救うか(1月27日公開)
 #02 “声のブログ”で人気沸騰、Voicyが届けたい音声メディアの本当の価値(1月28日公開)
 #03 TBSラジオ「音声映画」に挑む、コンテンツ市場での勝算は?(1月29日公開)
 #04 NECやソニー狙う…「ヒアラブル端末」は働き方改革の救世主か(1月30日公開)
 #05 声で感情が分かる、海外ビジコン席巻するベンチャーの正体(1月31日公開)

ニュースイッチオリジナル
葭本隆太
葭本隆太 Yoshimoto Ryuta デジタルメディア局DX編集部 ニュースイッチ編集長
音声感情解析AIは、声の主ではなく、声を聞いた他人の評価(声の主がどんな感情を抱いていると感じるか)を基に構築しています。その理由を下地さんに聞いたところ「顧問の早稲田大学の渡邉克巳教授と議論した際に、実際に個人の内面の感情を正しく理解することは、脳の情動反応を直接電極などで抽出しなければノイズが多すぎて判定出来ないが、人がどのように他人の感情を評価しているかは実験系として成り立つと言われている(という話になった)。我々としては人の感情認知方法と同様なプロセスをコンピュータに理解させるという立ち位置で開発している」と回答いただきました。人の感情は複雑ですね。連載は今回で最終回。お読みいただきありがとうございました。

特集・連載情報

音の時代がやってくる
音の時代がやってくる
音声ビジネスが注目を集めています。通勤時などに“ながら消費”ができることなどを背景に聴く読書と称される「オーディオブック」や声のブログをコンセプトにした「ボイシ―」など新メディアが人気です。AIスピーカーに搭載された音声操作UIが浸透したり、声から感情を分析したりとテクノロジーが新しい世界を拓こうとしています。音声ビジネスの最前線を追いました。

編集部のおすすめ