パラメーター1750億個、産総研・東工大など世界トップレベル「LLM」公開へ
産業技術総合研究所と東京工業大学、国立情報学研究所などは、世界トップレベルの大規模言語モデル(LLM)の構築に着手した。まずはパラメーター数が1750億個のLLMを構築して経験を蓄える。オープンに利用できるモデルになる。これを踏み台に、世界トップレベルのLLMを構築して公開していく。
情報学研が主宰する勉強会「LLM―jp」と東工大が開発主体となり、産総研の人工知能(AI)向けスパコン「ABCI」を利用してLLMを構築する。1750億パラメーターは米オープンAIが2020年に発表したLLM「GPT―3」と同規模になる。
学習データと学習プロセスを日本で管理できるため、透明性の高いLLMになる。誤情報などが生成される仕組みを押さえられる。学習原理の解明や生成系AIのロボット応用などに展開していく。
日刊工業新聞 2023年10月19日