根拠を説明できないAIが招く“人工無能”な組織の懸念

「説明力」や「信頼性」が“売り”に

 人工知能(AI)の「説明力」や「信頼性」が“売り”になろうとしている。ディープラーニング(深層学習)を中心にAIがどういう思考プロセスでその結論に達したのか分からないと、問題になる懸念が大きくなってきたからだ。日本や欧州でAIの公正や倫理に関する原則がまとめられる中、社会の要請としてAI開発者やサービス事業者に説明責任が生じる。ITベンダー各社は技術開発を急ぐ。

説明責任3段階


 「突き詰めれば、人や社会の問題だ。(AIが理解できず)『AIは恐ろしい』とあおっても本質は見えない」とNECの江村克己最高技術責任者は嘆く。AIが「説明責任を果たしていない」と言われるのは詳しく見ると三つの段階がある。一つは技術的な問題。深層学習などの複雑な学習モデルは内部で情報をどう処理したのかわかりにくい。AIの専門家の間でも説明が容易ではないが、一つひとつの情報をたどることはできる。

 二つ目は開発者からAIユーザーとなるサービス事業者への説明だ。医師や警察官など、AI技術以外の専門家への説明は、ユーザーの専門知識や意思決定に合わせAIの判断を解釈できるようにする必要がある。

 最後はサービス事業者から一般の人への説明だ。説明をする側と受ける側がともにAI知識が乏しいことが多く、AI開発者によるサポートが届かなければ、齟齬(そご)が生じ、立場の弱い側が不利益を受ける。

理解してもらう


 それぞれ対策は進む。まず深層学習の理解だが、これは基礎研究そのものであり、大学や企業で理論研究と実証研究が進む。学習を繰り返す中で、結論に至るまでの情報の一部が消滅するといった問題が起きる。だがこうした現象の解明はAIの性能に直結するため、研究が盛んだ。米グーグルは1万層と巨大な深層学習でも、情報消滅を防ぐ手法を開発した。

             

 二つ目の開発者からサービス事業者への説明は、ITベンダーにとってビジネスチャンスだ。

 NEC中央研究所担当の西原基夫執行役員は、「『説明可能』がマーケティング用語になった。ただ、説明可能の中身をしっかり“説明”しないと、わかってもらえない」と強調する。

 NECは産業技術総合研究所と共同で、専門知識やシミュレーションとAIを組み合わせる技術を開発した。例えばプラント保守の異常診断では、まずマニュアルや設計図などをもとに運用手順を絞る。その上でシミュレーションを回しながら強化学習にかけ、異常からの最短復帰手順を求める。マニュアルやシミュレーションの結果を理解できるプラントエンジニアは、AIの判断の根拠を理解できる。

 マニュアルからの絞り込みは論理推論という知識処理のAI技術に、シミュレーションを使った強化学習はデータ駆動のAI技術に、それぞれなる。絞り込みによって学習時間が数日間と運用可能なレベルになったという。

 日立製作所は、ユーザーがAIを解釈する根拠を整理・蓄積する管理インターフェースを開発した。日立は深層学習の学習結果から、診療ガイドラインにあるような説明因子を抽出する技術を開発していた。そこに医師が診療の過程でAIの予測と説明因子とを比べ、納得できた根拠をひも付けて蓄積するインターフェースを加えた。

 この根拠や診療履歴は検索で振り返ることができる。診療で利用するほど根拠や判断の記録が増え、根拠のあるデータに絞り込んだ再学習も可能になる。高田実佳研究員は、「米国は病院や地域ごとに人種や生活レベル、治療履歴が大きく変わる。この違いに再学習で対応できる」と期待する。

課題多い第3段階だが…


 一方、三つ目のサービス事業者から市民への説明は課題が多い。説明する側と受ける側双方でAI技術の知識が不足するためだ。さらに東京大学の須藤修教授は、「医療や警察のようにもともと説明責任が求められる分野では、AIだろうと要求レベルは下がらない」と断言する。

 部下が愚直に上司に従うように、AIを使う上層部に現場が愚直に従う懸念も生じる。例えば犯罪者の再犯率を推定するシステムでは、AIが特定の人種の再犯率を過大に評価した結果、現場での締め付けが厳しくなり、実際に特定人種の再犯率が向上するリスクがあるという。

 AI分野では、人間のように振る舞うものの、実際には知識などを理解しないAIを「人工無脳」とやゆするが、このままだと人工無脳的な組織が広がりかねない。日立の永野勝也執行役常務は、「情報システムの設計だけでなく、顧客の意思決定のコンサルタントまで踏み込む必要がある」と主張する。

 ただ、根本的な課題もある。AIに学習させるデータの品質管理が難しいことだ。AIの判断が現実に即さないとわかっても、そのデータがどこから来たのか追えなければ対策が打てない。特に個人から購買履歴などのデータを預かり、企業に提供する「情報銀行」が浸透すると、データはデータ加工会社を経てさまざまな経路で切り売りされ、統合されて利用される。

 そこで富士通研究所はデータの加工履歴をデータ一つひとつに埋め込む技術を開発した。データが改変されれば来歴情報を記録する。富士通研究所の佐々木繁社長は、「巨大IT企業がデータを一手に握っている間は技術投資も大きく、ある程度は管理できる。中小企業や個人など多様な事業体が参加すると、分散的に機能する管理技術でないと対応できない」と指摘する。

 富士ソフトはAIの品質保証に商機を見いだす。八木聡之執行役員は「AIの学習保証は更新する度に発生する。継続的な事業になる」と期待する。設計開発から運営、更新まで一貫して対応するためにAI人材を増員中だ。今後、多様な参加者への説明と信頼醸成が巨大な商売になる。

             

(文=小寺貴之)

日刊工業新聞2019年1月24日

小寺 貴之

小寺 貴之
02月03日
この記事のファシリテーター

GAFAがデータとサービスを握っていた時代は、GAFAを監視し社会的な責任を果たさせることができました。今後、個人や中小事業者がデータを切り売りする時代になると、どのように監視し、責任を果たさせるのか、非常に困難になると思います。プライバシーと同様にAIの公平性や説明責任は社会問題になるはずです。一方、現在の人間による説明責任が十分果たされているかどうかも難しい問題です。商品を売る場面では松竹梅の三択にして、利率の良い真ん中を選ばせるような方法が多いです。本来、AIやビッグデータといっている時代に三択にする必要はないのですが、消費者に選択させることで自己肯定感と納得を引き出します。対消費者向けのシステムは、説明可能なAIを使いながら、結局は選択肢を絞るAIサービスを提供する事業者が増えるのかもしれません。サービスのインターフェースは事業者の姿勢を表すことになると思います。

この記事にコメントする

  

ファシリテーター紹介

記者・ファシリテーターへのメッセージ

この記事に関するご意見、ご感想
情報などをお寄せください。