情報通信研究機構（ＮＩＣＴ）が１７９０億パラメーターの大規模言語モデル（ＬＬＭ）の開発を進めている。高品質な日本語データを学習させており、日本社会の常識を備えたモデルになると期待される。ＮＩＣＴが学習データを保有しているため、データとモデルの両面から誤情報生成の対策を検証できる。これは日本が人工知能（ＡＩ）を使いこなし、リスクに対応していく知見になる。ＮＩＣＴは産学官に成果を提供する。

「学習途中だが、出来はいまいち。この苦労がＬＬＭ開発の基礎になる」―。ＮＩＣＴの鳥澤健太郎フェローは開発中のＬＬＭの手応えをこう説明する。

７月に４００億パラメーターのＬＬＭを発表し、現在は１７９０億パラメーターのＬＬＭを開発中だ。巨大なＡＩモデルの学習はリスクが高い。学習の途中で計算が破綻することがたびたび起こるのだ。

そこで破綻を防ぎつつ精度の高い計算を限られたメモリーで実行することがノウハウになる。例えば計算に用いる浮動小数点数の精度と表現範囲の広さがトレードオフになっている。表現範囲が広いと学習が破綻しにくく、精度が高いとＡＩの答えの質が上がる可能性がある。鳥澤フェローは「こうした細かなノウハウを実際に試し積み上げている」とし、最適条件を探っている。９月にも現在の学習が完了する。

学習が完了したモデルから得られた知見も多い。１７９０億パラメーターの初期モデルは気の利いた答えを出力している。一方で内容は正しいものの、端的で流ちょうではない答えもある。これらを定量的に評価することが難しい。鳥澤フェローは「正答率が高くても、ＡＩサービスとして評価されるかどうかは分からない。作家を比較するような難しさがある」と指摘する。

今後、ＬＬＭの選択肢が増えても性能比較では個々の優劣の判断はつかない可能性がある。ＬＬＭの性能そのものよりも開発サポートなどの周辺部分が競争力になるかもしれない。

例えば個人情報や誤情報などのフィルタリング技術が重要だ。ＬＬＭの前後で個人情報の入出力をブロックしたり、誤っている可能性が高い情報には注意を喚起したりする仕組みが求められる。これらはＮＩＣＴが蓄積してきた知見が生きる。総務省は著作権侵害防止のデータ分析を含め、リスクに対応する技術を開発する方針だ。ＮＩＣＴを中心にＬＬＭの活用とリスク対応を進め、産学官に知見を提供していく。（小寺貴之）