人工知能（ＡＩ）の「説明力」や「信頼性」が“売り”になろうとしている。ディープラーニング（深層学習）を中心にＡＩがどういう思考プロセスでその結論に達したのか分からないと、問題になる懸念が大きくなってきたからだ。日本や欧州でＡＩの公正や倫理に関する原則がまとめられる中、社会の要請としてＡＩ開発者やサービス事業者に説明責任が生じる。ＩＴベンダー各社は技術開発を急ぐ。

説明責任３段階

　「突き詰めれば、人や社会の問題だ。（ＡＩが理解できず）『ＡＩは恐ろしい』とあおっても本質は見えない」とＮＥＣの江村克己最高技術責任者は嘆く。ＡＩが「説明責任を果たしていない」と言われるのは詳しく見ると三つの段階がある。一つは技術的な問題。深層学習などの複雑な学習モデルは内部で情報をどう処理したのかわかりにくい。ＡＩの専門家の間でも説明が容易ではないが、一つひとつの情報をたどることはできる。

　二つ目は開発者からＡＩユーザーとなるサービス事業者への説明だ。医師や警察官など、ＡＩ技術以外の専門家への説明は、ユーザーの専門知識や意思決定に合わせＡＩの判断を解釈できるようにする必要がある。

　最後はサービス事業者から一般の人への説明だ。説明をする側と受ける側がともにＡＩ知識が乏しいことが多く、ＡＩ開発者によるサポートが届かなければ、齟齬（そご）が生じ、立場の弱い側が不利益を受ける。

理解してもらう

　それぞれ対策は進む。まず深層学習の理解だが、これは基礎研究そのものであり、大学や企業で理論研究と実証研究が進む。学習を繰り返す中で、結論に至るまでの情報の一部が消滅するといった問題が起きる。だがこうした現象の解明はＡＩの性能に直結するため、研究が盛んだ。米グーグルは１万層と巨大な深層学習でも、情報消滅を防ぐ手法を開発した。


　二つ目の開発者からサービス事業者への説明は、ＩＴベンダーにとってビジネスチャンスだ。

　ＮＥＣ中央研究所担当の西原基夫執行役員は、「『説明可能』がマーケティング用語になった。ただ、説明可能の中身をしっかり“説明”しないと、わかってもらえない」と強調する。

　ＮＥＣは産業技術総合研究所と共同で、専門知識やシミュレーションとＡＩを組み合わせる技術を開発した。例えばプラント保守の異常診断では、まずマニュアルや設計図などをもとに運用手順を絞る。その上でシミュレーションを回しながら強化学習にかけ、異常からの最短復帰手順を求める。マニュアルやシミュレーションの結果を理解できるプラントエンジニアは、ＡＩの判断の根拠を理解できる。

　マニュアルからの絞り込みは論理推論という知識処理のＡＩ技術に、シミュレーションを使った強化学習はデータ駆動のＡＩ技術に、それぞれなる。絞り込みによって学習時間が数日間と運用可能なレベルになったという。

　日立製作所は、ユーザーがＡＩを解釈する根拠を整理・蓄積する管理インターフェースを開発した。日立は深層学習の学習結果から、診療ガイドラインにあるような説明因子を抽出する技術を開発していた。そこに医師が診療の過程でＡＩの予測と説明因子とを比べ、納得できた根拠をひも付けて蓄積するインターフェースを加えた。

　この根拠や診療履歴は検索で振り返ることができる。診療で利用するほど根拠や判断の記録が増え、根拠のあるデータに絞り込んだ再学習も可能になる。高田実佳研究員は、「米国は病院や地域ごとに人種や生活レベル、治療履歴が大きく変わる。この違いに再学習で対応できる」と期待する。

課題多い第３段階だが…

　一方、三つ目のサービス事業者から市民への説明は課題が多い。説明する側と受ける側双方でＡＩ技術の知識が不足するためだ。さらに東京大学の須藤修教授は、「医療や警察のようにもともと説明責任が求められる分野では、ＡＩだろうと要求レベルは下がらない」と断言する。

　部下が愚直に上司に従うように、ＡＩを使う上層部に現場が愚直に従う懸念も生じる。例えば犯罪者の再犯率を推定するシステムでは、ＡＩが特定の人種の再犯率を過大に評価した結果、現場での締め付けが厳しくなり、実際に特定人種の再犯率が向上するリスクがあるという。

　ＡＩ分野では、人間のように振る舞うものの、実際には知識などを理解しないＡＩを「人工無脳」とやゆするが、このままだと人工無脳的な組織が広がりかねない。日立の永野勝也執行役常務は、「情報システムの設計だけでなく、顧客の意思決定のコンサルタントまで踏み込む必要がある」と主張する。

　ただ、根本的な課題もある。ＡＩに学習させるデータの品質管理が難しいことだ。ＡＩの判断が現実に即さないとわかっても、そのデータがどこから来たのか追えなければ対策が打てない。特に個人から購買履歴などのデータを預かり、企業に提供する「情報銀行」が浸透すると、データはデータ加工会社を経てさまざまな経路で切り売りされ、統合されて利用される。

　そこで富士通研究所はデータの加工履歴をデータ一つひとつに埋め込む技術を開発した。データが改変されれば来歴情報を記録する。富士通研究所の佐々木繁社長は、「巨大ＩＴ企業がデータを一手に握っている間は技術投資も大きく、ある程度は管理できる。中小企業や個人など多様な事業体が参加すると、分散的に機能する管理技術でないと対応できない」と指摘する。

　富士ソフトはＡＩの品質保証に商機を見いだす。八木聡之執行役員は「ＡＩの学習保証は更新する度に発生する。継続的な事業になる」と期待する。設計開発から運営、更新まで一貫して対応するためにＡＩ人材を増員中だ。今後、多様な参加者への説明と信頼醸成が巨大な商売になる。


（文＝小寺貴之）