1790億パラメーターに挑戦…情通機構「大規模言語モデル」日本語を猛特訓!
情報通信研究機構(NICT)が1790億パラメーターの大規模言語モデル(LLM)の開発を進めている。高品質な日本語データを学習させており、日本社会の常識を備えたモデルになると期待される。NICTが学習データを保有しているため、データとモデルの両面から誤情報生成の対策を検証できる。これは日本が人工知能(AI)を使いこなし、リスクに対応していく知見になる。NICTは産学官に成果を提供する。
「学習途中だが、出来はいまいち。この苦労がLLM開発の基礎になる」―。NICTの鳥澤健太郎フェローは開発中のLLMの手応えをこう説明する。
7月に400億パラメーターのLLMを発表し、現在は1790億パラメーターのLLMを開発中だ。巨大なAIモデルの学習はリスクが高い。学習の途中で計算が破綻することがたびたび起こるのだ。
そこで破綻を防ぎつつ精度の高い計算を限られたメモリーで実行することがノウハウになる。例えば計算に用いる浮動小数点数の精度と表現範囲の広さがトレードオフになっている。表現範囲が広いと学習が破綻しにくく、精度が高いとAIの答えの質が上がる可能性がある。鳥澤フェローは「こうした細かなノウハウを実際に試し積み上げている」とし、最適条件を探っている。9月にも現在の学習が完了する。
学習が完了したモデルから得られた知見も多い。1790億パラメーターの初期モデルは気の利いた答えを出力している。一方で内容は正しいものの、端的で流ちょうではない答えもある。これらを定量的に評価することが難しい。鳥澤フェローは「正答率が高くても、AIサービスとして評価されるかどうかは分からない。作家を比較するような難しさがある」と指摘する。
今後、LLMの選択肢が増えても性能比較では個々の優劣の判断はつかない可能性がある。LLMの性能そのものよりも開発サポートなどの周辺部分が競争力になるかもしれない。
例えば個人情報や誤情報などのフィルタリング技術が重要だ。LLMの前後で個人情報の入出力をブロックしたり、誤っている可能性が高い情報には注意を喚起したりする仕組みが求められる。これらはNICTが蓄積してきた知見が生きる。総務省は著作権侵害防止のデータ分析を含め、リスクに対応する技術を開発する方針だ。NICTを中心にLLMの活用とリスク対応を進め、産学官に知見を提供していく。(小寺貴之)