人工知能（ＡＩ）技術の社会実装において説明可能性が重要になっている。ＡＩの判断根拠となるデータを示して人間が解釈できる形に直す技術だ。ただデータを理解できるのは専門家に限られる。そこでＡＩの情報処理を人間の知識や意思決定フローと結びつけ、納得を引き出して行動変容につなげる研究が進む。教育や医療、安全など、公的な場面では説明責任が強く求められる。果たしてＡＩは社会を変えられるのか。（小寺貴之）

【試験の自動採点】教育者の知見設定・助言

「教員や生徒に広く使ってもらうには納得感が重要。採点結果だけでなく、採点基準に沿った説明が大切になる」と文部科学省の桐生崇教育ＤＸ推進室長はＡＩによる自動採点について説明する。オンライン学習用の「文部科学省ＣＢＴシステム（ＭＥＸＣＢＴ、メクビット）」に記述式の回答文に対してＡＩ採点を試験導入する。記述式は人手での採点に依存してきた。採点者によるバラつきや採点負荷が大きく、運用が難しい。大学入学共通テストで導入が見送られるなど、大規模な試験には向かない。また宿題などの日々の学習においても記述式の採点は教員の負荷になってしまう。

自動採点のニーズは大きいが実用化は難しかった。原因はＡＩが文章を人間のように理解しているわけではないためだ。例えばエッセーのＡＩ採点では語感や文章力、自然さ、発想力などを採点されたテキストを大量に用意し、採点スコアに従ってテキストデータを分類する。この分類の過程で発想力などの評価尺度ができるが、本当の発想力を評価しているわけではない。生徒に採点理由を聞かれても答えられず、助言はできない。これでは学習意欲につながらない。教育では採点と助言は表裏一体だ。

そこで理化学研究所の乾健太郎チームリーダーらは採点項目ごとに学習モデルを作成した。例えば回答文で「西洋と東洋の対比を挙げているか」「心情を捉えているか」などという採点項目ごとに点数とテキストデータを集めて学習する。この採点項目の設定に教育者の知見を込められる。心情を捉えていなければ、心情を考えようと助言できる。

乾リーダーは「基準が具体的で判断しやすい項目はＡＩの採点精度が高い。表現が多様で採点者の主観で評価が揺れるとＡＩ採点も困難になる」と説明する。ＡＩ採点に向いた良問を作成し、データを蓄えていく必要がある。日本の教育界の知見と厚みを生かせる。

【因果探索】がん細胞薬剤耐性　1000兆通り1日で計算

因果探索もＡＩの説明に利用できる技術だ。物事の相関でなく、因果関係が求まればＡＩは原因を示せる。ただ因果探索は因子の数が増えると計算量が膨大になる課題があった。そこで富士通はスパコン「富岳」と並列処理を駆使して力業で大規模問題を解いた。

東京医科歯科大学とがん細胞が薬剤耐性を獲得する因子を総当たりで計算した。ヒトの遺伝子２万個と肺がんの治療薬「ゲフィチニブ」への耐性獲得との１０００兆通りの可能性を網羅的に探索する。４０００年かかる計算を１日で解いた。因果関係の強い遺伝子が約１０００個ピックアップされ、新しい耐性獲得経路が見つかった。富士通人工知能研究所の小柳佑介研究員は「網羅性があると実験では検証しきれない規模の知見が得られる」と説明する。がん研究の地図のような役割を果たせる。

【反実仮想説明・決定木】生活習慣の変容促す

保健分野ではＡＩの判断を受けて行動を促すまでが求められる。例えば糖尿病や高脂血症、高血圧症などの生活習慣病のリスクをＡＩで推定するだけでは行動は変わらない。具体的なアクションを提示し、その意思決定フローも納得いくものである必要がある。

そこで北海道大学と共同で反実仮想説明というＡＩ技術を開発している。反実仮想説明は現在の状態から望ましい状態までの最短経路を求める技術だ。体重や食事量、運動量、血糖値、飲酒量などのデータ空間の高リスク領域に自分が該当したら、低リスク領域に移行する経路を求められる。ＡＩにリスクと目標が提示される。

さらに、なぜリスクがあり対策が必要なのかフローチャートのような決定木で提示される。決定木では体格指数（ＢＭＩ）が３０以上か未満かなどの条件分けを与える。この条件分割と経路探索を交互に最適化し、人が解釈しやすい形でリスクと目標を説明する。富士通ＡＩ研の高木拓也研究員は「技術的には無数のフローチャートを作れる。ただユーザーが理解しやすい規模感で提示している」と説明する。判断の透明性と一貫性を両立した。

【ナレッジグラフ】リスク行動、仮想空間で分析

行動変容につなげるために動画を生成する説明可能なＡＩも存在する。産業技術総合研究所は家での活動をナレッジグラフ（ネットワーク構造の知識データ）に変換する技術を開発した。舞台はメタバース（仮想空間）だ。ソファに座ったり、食事をしたりという日常生活からＡＩが扱える知識データを生成する。仮想空間にある物や状態、アバターの動作をすべて記述する。

そのため「いすに座ったまま床の物を拾う」などの転倒リスクの高い行動や状況を抽出できる。産総研の福田賢一郎研究チーム長は「リスク行動の頻度などを定量化し、実際にその様子をビデオで見せられる。動画で自分を確かめると行動変容につながりやすいはず」と説明する。

危険行為などのまれにしか起こらない事象はデータが少なく、多くは教訓やガイドライン、ルールなどの知識として保存されている。ナレッジグラフでログを残すと知識で検索できる。仮想空間でのマナー違反や悪質行為などの検出や頻度分析にも応用できる。

そして同技術は現実の世界にも適用できる。画像の物体認識や動画の行動認識などで現実世界の物や動作のデータを集め、ナレッジグラフに変換する研究が進む。現実世界からの知識収集は認識系のＡＩ技術に依存する。仮想世界でデータを増幅し補完できるとシステムの完成度が上がる。そして工場や店などの物や作業、ルールが明確な場面は実用化が早いと考えられる。

ＡＩが説明できるように、その説明を人間が解釈しやすいように整える技術開発が進んでいる。この説明から納得を引き出す部分は現場の知見が重要になる。現場の知識や顧客を説得してきた経験との融合がＡＩの社会実装へのカギを握っている。