ニュースイッチ

1790億パラメーターに挑戦…情通機構「大規模言語モデル」日本語を猛特訓!

1790億パラメーターに挑戦…情通機構「大規模言語モデル」日本語を猛特訓!

NICTの計算資源(NICT提供)

情報通信研究機構(NICT)が1790億パラメーターの大規模言語モデル(LLM)の開発を進めている。高品質な日本語データを学習させており、日本社会の常識を備えたモデルになると期待される。NICTが学習データを保有しているため、データとモデルの両面から誤情報生成の対策を検証できる。これは日本が人工知能(AI)を使いこなし、リスクに対応していく知見になる。NICTは産学官に成果を提供する。

「学習途中だが、出来はいまいち。この苦労がLLM開発の基礎になる」―。NICTの鳥澤健太郎フェローは開発中のLLMの手応えをこう説明する。

7月に400億パラメーターのLLMを発表し、現在は1790億パラメーターのLLMを開発中だ。巨大なAIモデルの学習はリスクが高い。学習の途中で計算が破綻することがたびたび起こるのだ。

そこで破綻を防ぎつつ精度の高い計算を限られたメモリーで実行することがノウハウになる。例えば計算に用いる浮動小数点数の精度と表現範囲の広さがトレードオフになっている。表現範囲が広いと学習が破綻しにくく、精度が高いとAIの答えの質が上がる可能性がある。鳥澤フェローは「こうした細かなノウハウを実際に試し積み上げている」とし、最適条件を探っている。9月にも現在の学習が完了する。

学習が完了したモデルから得られた知見も多い。1790億パラメーターの初期モデルは気の利いた答えを出力している。一方で内容は正しいものの、端的で流ちょうではない答えもある。これらを定量的に評価することが難しい。鳥澤フェローは「正答率が高くても、AIサービスとして評価されるかどうかは分からない。作家を比較するような難しさがある」と指摘する。

今後、LLMの選択肢が増えても性能比較では個々の優劣の判断はつかない可能性がある。LLMの性能そのものよりも開発サポートなどの周辺部分が競争力になるかもしれない。

例えば個人情報や誤情報などのフィルタリング技術が重要だ。LLMの前後で個人情報の入出力をブロックしたり、誤っている可能性が高い情報には注意を喚起したりする仕組みが求められる。これらはNICTが蓄積してきた知見が生きる。総務省は著作権侵害防止のデータ分析を含め、リスクに対応する技術を開発する方針だ。NICTを中心にLLMの活用とリスク対応を進め、産学官に知見を提供していく。(小寺貴之)

日刊工業新聞 2023年08月18日
小寺貴之
小寺貴之 Kodera Takayuki 編集局科学技術部 記者
総務省と文部科学省でLLMや基盤モデルの透明性・信頼確保の研究が動き出しています。概算要求に向けた動きもあり、NICTとNII、理研などがその主体になるはずです。普段なら似たテーマはまとめろと言われてしまうのですが、それぞれ別々に進めた方がいいように思います。オペレーションが異なるプロジェクト、研究チームが競うことで多様な技術が生まれます。大規模なモデルの研究者は少なかったので、いまの日本には必要な重複、試行錯誤になるはずです。

編集部のおすすめ