AIモデルの長年の課題「過学習」に見いだした世界初の知見とは?
グリッド(GRID、東京都港区、曽我部完社長)は、機械学習で長年課題となっていた、人工知能(AI)モデルの精度向上を阻む要因である「過学習」について、世界初の知見を見いだした。電気通信大学の協力を得て「量子機械学習器は過学習しにくい」という性質を統計的機械学習の理論を通して示し、その根拠を世界的な権威を持つコンピューターサイエンス学会「ACM」の学術雑誌に論文掲載した。
過学習とは、学習精度がある一定の精度まで向上すると、以降は未知のデータへの対応力を失ってしまう現象。既存の古典コンピューターを用いた従来型AIでは、学習に制限を設けることで過学習を回避してきたが、課題は残ったまま。一方、量子コンピューターでは過学習が抑制される性質があることが示唆されていたが、理論を含む検証はこれまで示されてなかった。
具体的には、さまざまな量子アルゴリズムで採用されている汎用的な量子回路について、量子ビットの数と量子回路の深さなどがモデルの表現力と過学習にどう影響するかを研究した。その結果、「量子回路の深さを増してパラメーターを増加させると、ある地点でモデルの表現力が飽和する」ことを数値実験で見いだした。
「表現力の飽和は回路パラメーターを増加させても、それ以上モデルが複雑化せず、過学習が起きないことを意味する」(グリッド)。さらに理論保証として、モデルの複雑性の指標である「VC次元(学習モデルが完全に分類できる最大のデータ数を数値化したもの)」が上限値を持つことを証明した。
グリッドはAI開発ベンチャー企業。米IBMが量子研究で運営するパートナー組織「Qネットワーク」にも参加し、量子コンピューターのソフトウエアやアルゴリズムの開発で実績を持つ。
重要な指針と評価
「現在のAIブームは06年にニューラルネットワーク(NN)が深層学習(ディープラーニング)と名前を変えて華々しく再登場したことが契機だ」と語る慶応義塾大学量子コンピューティングセンター長の山本直樹教授は、今回の論文について「量子NNのVC次元と過学習問題を初めて正面から扱ったものだ」と評価した。
同氏によると、NNの情報処理能力が高すぎると、例えば試験勉強で教科書を丸暗記する学生のように未知のデータに対応できなくなってしまう。この意味で「重要な指針が得られた」と指摘する。
NNの訓練として普及する誤差逆伝播法を、天利俊一博士が提案したのが66年。その後、過学習問題の指針となる情報量規準を赤池弘次博士が提案したのが73年。ジョージ・チベンコ氏によるNNの万能近似定理が証明されたのは89年で、ウラジミール・ヴァプニク氏の統計的学習理論が広く知れ渡ったのは90年以降。これらを踏まえ「将来、量子NNのVC次元を初めて計算したのは21年のグリッドの論文だった、と回顧することが楽しみだ」とコメントした。