人工知能（AI）やビッグデータを活用して個人を評価する取り組みが広がる。インターネットの閲覧履歴や購買履歴などから趣味嗜好を推察するプロファイリングが定着しているほか、個人の属性や行動データなどを基にAIが信用力を点数化する「信用スコア」に取り組む企業も増えている。ただ、特に信用スコアは算出方法が不透明であり、社会に広く浸透するとスコアの低い人やスコアを持たない人が不利益を被るといったリスクを懸念する声は多い。

AIが人を評価する時代に我々はどう向き合うべきか。憲法学が専門で個人情報保護に詳しい慶應義塾大学法科大学院の山本龍彦教授に聞いた。(聞き手・葭本隆太)

■ブラックボックス問題のリスク

―信用スコアが抱える課題を教えてください。
　一つは「ブラックボックス問題」だ。スコアの算出に使われたデータや、その比重が見えないと、信用力が適切に算出されたか検証できない。ディープ・ラーニング（ＤＬ、深層学習）技術（のような高度な方法）によって人が算出方法を理解できなくなるとも言われる。この問題は不適切なデータが混入する可能性を生む。

例えば、学生の内定辞退率を予測したリクナビ問題（※１）のようにインターネットの閲覧履歴を評価に反映する場合。（評価対象の）Ａくんの閲覧履歴にはＢくんの就職活動に協力するための行動があるかもしれないし、Ａくんのアカウントでその父親が閲覧するかもしれない。他者の情報が本人の評価に紛れる可能性がある。今後は見分けられるようになるかもしれないが、現時点では難しいだろう。

また、ブラックボックス問題にひも付く社会のリスクとして「萎縮効果」や「バーチャルスラム（仮想貧困）」が上げられる。

※１リクナビ問題：就活情報サイト「リクナビ」を運営するリクルートキャリアが就活生のウェブサイト閲覧履歴などを基にAIによって内定辞退率を予測させ、適切な同意を得ずに企業に販売していた問題。学生の内定辞退率を5段階にスコア化した「内定辞退予測」を35社に販売していた。

―具体的には。
　信用スコアの算出基準が見えないと、怖くて大胆に行動できなくなる。社会の多様性や創造性が失われる。法律は罰則を受ける行動を事前に明示するため、自由な領域が明確になる。ＡＩのアルゴリズムにはそれがない。

バーチャルスラムは（ブラックボックス問題により）低スコアの人がそこから逃れる方法が分からず、社会の至るところで排除されること。スコアに基づく階層社会が生まれ、新たなスラムを形成する可能性がある。現時点においては（国内のスコアは用途を限定して利用されており）発生しにくいが、一つのスコアが広く汎用的に使われ、市場支配力を高めると問題になる。

―ご指摘のリスクを踏まえると、アルゴリズムには透明性が求められそうです。
　アルゴリズムを公開すると（逆に）「ゲーミング」の問題が生じる。インターネット検索のＳＥＯ（サーチエンジン最適化）対策のように評価を受ける側が算出基準に見合った行動をとるようになるため、本当の信用力が測れなくなる。アルゴリズムが知的財産として保護されると考えると、（信用スコアを運用する）企業は「公開しない」とも言える。

―アルゴリズムの公開・非公開の両面で課題があるとすると、どのような運用が適切でしょうか。
　非常に難しい。21世紀最大の課題ではないだろうか。欧州連合（ＥＵ）の（個人データの保護に関する法律である）一般データ保護規則（ＧＤＰＲ）では22条において、本人の明示的な同意に基づく場合はＡＩの評価だけで重要な判断を下せると規定しているが、その際にはＡＩの判断ロジックを説明する義務が課される。ただ、その「説明」を満たす条件はいまだに整理できていない。

―先生ご自身はどのように考えますか。
　予測精度が著しく下がらない程度にできる限り説明すべきだと思う。特にスコアを上げる具体的な方法など一定の行動指針は提示する必要がある。それが個人の自由や自己決定に資する。何よりもＡＩの評価は絶対ではないと認識した上で、人が最終的に評価の責任を持つべきだろう。

■ＡＩのビッグデータ解析とどう向き合うか

―信用スコアは性別や人種などに関わる差別・偏見の助長や再生産につながる可能性も指摘されています。
　例えば、企業が技術職の採用にＡＩ（による評価）を用いた際に、女性が不当に排除されてしまった事例がある。これまでが男性優位の職場環境だったため、データが少なく女性を適切に評価できなかったからだ。本人が努力しても変えられない性別や人種をスコアに反映するのは問題だろう。また、性別や人種といった属性データを直接利用しなくても「女子大出身」といった属性の代理データが入り込む可能性があり、注意が必要だ。

―与信に活用する国内の一部の信用スコアも性別や婚姻状況などの属性を盛り込み採点しています。その理由としてこれまでも融資の場面では性別などの属性データが審査基準に入っており、スコアの精度の維持に現時点では必要という説明を聞きます。
　AIが学習するのはあくまで過去のデータだ。これまでと同様だから、ＡＩが同じように判断してもよいと開き直るかどうか。そもそも女性の信用力が低く見積もられるとすれば、それは女性が過去に社会で受けてきた扱いに起因する。データ分析によってこれまでの差別や偏見が可視化されると思う。（ビッグデータによって）性別によらない個人の特性や能力がデータとして見られるようになったのなら性別にこだわる必要はなく、比重は少なくとも落とすべきだ。データによって可視化されてきたものに対し、人間がどう向き合っていくかが求められている。

■「使わない手はない」

―国内の信用スコアについて現状は融資審査での利用が中心ですが、今後はそのほかの第三者企業への提供を見据えています。
　本人同意の下で目的に限定をかけて提供する仕組みであれば、ぎりぎり大丈夫だろうと思う。ただ、多様な領域で無制限に使われると問題がある。例えば宿泊施設がスコアを活用する場合、（スコアの高い人に対する）優待券の贈与は許容されたとしても、宿泊の条件として使うべきではないのではないか。（スコア算出企業には）提供先におけるスコアの使い方を含めた制御を期待したい。個人的には目的限定を実現するためにスコアは「セクトラル方式」が望ましいと考えている。

―どのような方式ですか。
　領域ごとに別のアルゴリズムを作る考え方だ。そもそも人の信用を測る物差しは多様で一つでは測れないはず。中国の「芝麻（ジーマ）信用（※２）」は一つの物差しを多様な領域で使い回しているが、それでは個人のよい部分をしっかり評価できていないと思う。（国内において）与信一つをとっても短期の借り入れか（長期の）住宅ローンか融資の形態によって変えるべきだ。

※２芝麻信用：中国・アリババグループのモバイル決済「アリペイ」の付帯機能として登場した信用スコア。資産状況やクレジットカードの返済履歴、購買履歴のほか、交友関係なども分析して算出する。点数が高いと融資の条件が有利になったり、ホテル予約の保証金が不要になったりする。一方、スコアが低いと就職や結婚で不利になるともいわれ、社会での影響力が強まっている。

―一方、信用スコアの利点をどのように考えていますか。
　「ファイナンシャル・インクルージョン（金融包摂）」の実現に資する。資産などを持たず今まで金融取引から排除されてきた人たちは、信用力が（多様な行動記録や行動パターンなどにより）可視化されることで融資を受ける可能性が広がる。加えて、信用スコアがオンライン取引の口コミや星の数に変わる信頼指標になることで、ＣtoＣ（消費者間取引）などにおいて安心安全な取引が可能になる。仮に不道徳な行動や危険な行為がスコアの低下に結びつくとすると、個人が道徳的な行動を取るようになり、社会がよい方向に進むとも指摘されている。

また、信用力はこれまで人間が審査してきたが、そこにもいいかげんな面はあった。多様なデータが加味されるスコアによって正確な判断ができるようになる。

―これまでの差別や偏見の是正に活用できるとも言えそうです。
　性別や学歴で差がつくなど（人が審査する）現状の方がむしろバイアスがかかっている。（信用スコアは）適切な運用を前提にすれば使わない手はない。

■倫理観が問われている

―先生の著書『おそろしいビッグデータ―超類型化ＡＩ社会のリスク』では、ＡＩ・ビッグデータを活用したプロファイリングに基づくマーケティングについて、心理状況の変化まで透視して実施できる侵襲性の高さを問題点として指摘しています。
　広告はこれまでも個人の意思決定を特定の方向に誘導する役割を担ってきた。ビッグデータ解析が入ったからといって何が違うのかとも言われる。ただ、プロファイリングによって消費者の心理状況を詳細に予測できるので、（消費者意思の）操作可能性は高くなる。そこにリスクがある感覚は共有できるだろう。もちろん感覚だけで規制するわけにはいかない。まずは具体的にどんなデータが使われているかを透明化させて課題をあぶり出す必要があるだろう。

一方、行政による規制の議論よりも前に企業自身がデータ活用の方法（の善し悪し）について問題意識を持たないといけない。

―企業の問題意識の現状をどう見ていますか。
　これまで（国内の企業にとって）プライバシー保護といえば「セキュリティー」だった。情報漏洩の防止に注力されてきた一方で、データ分析が個人にもたらす不利益についてあまり考慮されていなかった。リクナビ問題がそうだろう。なぜプライバシーを守るのか、企業自らが倫理観を作っていかなくてはいけない時代に来ている。

―個人データの管理や活用について生活者の意識の現状をどう見ていますか。
　関心はあるが、どうしてよいのか分からない状況だろう。公正取引委員会の調査によるとデジタル・プラットフォーマーによる個人情報や利用データの収集、利用、管理などについて「懸念がある」と答えた人は75.8％に上った。ただ、自分のデータの使われ方が分からないし、（しっかり調べるのは）面倒くさいのであきらめているという状態に近いと思う。個人に多くを期待するのは難しいので、まずは企業が（データを取得されることが嫌な人は拒否しやすいといった）親切なユーザーインターフェースを作り、その設計に行政がインセンティブを与える形がよいだろう。

■「情報銀行」の本来的な役割

―個人がデータを自ら管理・活用するための枠組みとして企業がその代理人になる「情報銀行」のビジネスが立ち上がりつつあります。この枠組みをどう見ていますか。
　バランスのとれた制度だと思う。企業が代理人として責任を持ち、情報を管理する役割を果たせば、個人の負担も軽くなる。ただ、「データの主権は個人」という理念を企業がどれだけ共有できるか。個人からの包括同意でデータを吸い取れる仕組みと考えてしまうと、よくない方向に行く。

―情報銀行に参入するプレーヤーに話を聞くと、情報銀行ビジネスを回すための肝は第三者企業に個人データを提供する際の個人への対価のあり方だと指摘します。「個人データの流通ありき」にも見えます。
　ビジネスとして成り立たせるために致し方ない面があるかもしれない。情報銀行はデータ仲介時に（データ提供を受ける）企業から収入を得る。個人の利用が無料だと、提供先の利益ばかり見てしまい、個人が忘れられるリスクがある。現状は個人から手数料をもらい受けて徹底的に個人のためにデータを管理・運用するビジネスモデルがない。個人から手数料を取るモデルを作らないと、情報銀行の本来的な役割からはずれてくるのではないか。

―データ管理に関わる個人の権限強化を盛り込んだ個人情報保護法の制度改正大綱がまとまり、同法改正案が３月に閣議決定されました。
　（どのような自己情報が集められているかを知り、不当に使われないよう関与する）「自己情報コントロール権」の考え方をこれまで以上に意識しており、肯定的に捉えている。特に制度大綱では（企業の自主的な取り組みとして）保有個人データの処理方法の説明の必要性に言及しており、（AIによる）プロファイルの方法を個人に伝えなくてはならないということが示唆されている。あとは政令の制定などが（本人関与を重視する）理念通りに運用されることを期待したい。

【連載・個人データは誰のモノ―情報銀行の可能性―】

個人データを預かり、本人同意の下で企業に仲介する「情報銀行」というビジネスが立ち上がろうとしています。そのビジネスが開く可能性がある未来と、数多くの課題を追いました。新型コロナの脅威においてデータをどう生かすべきかを考えた番外編（＃00）も是非お読みください。

＃00　感染者との接触通知も…打倒コロナへデータ活用は救世主か（20.4.20公開）
　＃01　コロナ後の基盤に、あなたのデータ生かす新ビジネス「情報銀行」全貌（20.4.20公開）
　＃02　情報銀行の〝裏ボス〟DNPを突き動かしたCRMの限界（20.4.21公開）
　＃03　コロナ禍で関心増の「副業」、個人データで〝解禁の壁〟に風穴開ける（20.4.22公開）
　＃04　神奈川県が初連携…｢地域通貨×情報銀行｣は地域経済を豊かにするか（20.4.23公開）
　＃05　敵か味方か…参入相次ぐ「信用スコア」の未来展望（20.4.24公開）
　＃06　AIが人を格付けする時代、気鋭の憲法学者が抱く危機と希望（20.4.24公開）