ニュースイッチ

パラメーター130億に抑制…NECが開発、日本語対応の高性能LLMの中身

NECは、生成人工知能(AI)活用のカギとなる基盤モデルとして、130億パラメーターの日本語性能を持つ軽量な大規模言語モデル(LLM)を開発した。

同LLMをベースとし、顧客別にカスタマイズ(個別対応)可能な生成AIを事業に生かす。専用ハード・ソフトウエアやコンサルティングなども加味した「ジェネレーションAIサービス」を軸に関連事業を含め今後3年間で約500億円の売り上げを目指す。

新開発のLLMは画像処理用プロセッサー(GPU)を1枚搭載した標準的なサーバーで動作し、クラウド、オンプレミス(自社保有)いずれの環境でも運用可能。事前学習には独自に収集・加工した多言語データを活用。高い性能を実現しながらもパラメーター数をコンパクトに抑えるように工夫している。

具体的には、LLMの性能がパラメーターサイズだけでなく、学習に使う高品質なデータの量や学習時間に左右されることに着目。パラメーターサイズをGPU1枚で動作する範囲に抑えた上で、多量のデータと膨大な計算時間をかけ、高い性能を実現した。

同LLMを日本語言語理解のベンチマーク(JGLUE)で評価した結果、現時点で知識量に相当する質問応答で81・1%、推論能力に相当する文書読解では84・3%と、世界トップ水準の性能を達成したという。一連の開発には同社が持つAI研究用スーパーコンピューターを活用し約1カ月で高性能なLLMを構築した。

日刊工業新聞 2023年07月07日

編集部のおすすめ