パラメーター数は70億…楽天が日本語に最適化した「LLM」
楽天グループは日本語に最適化した大規模言語モデル(LLM)の基盤モデル「RakutenAI7B」を公開した。フランスの人工知能(AI)スタートアップであるミストラルAIのオープンモデル「Mistral―7B―v0・1」を基に、継続的に大規模なデータを学習させて開発した。LLMの性能指標となるパラメーター数は70億。
指示形式のデータで基盤モデルをファインチューニング(調整)し、利用者が入力した指示に対する返答を生成可能にしたインストラクションチューニング済モデル「RakutenAI7Bインストラクト」、同モデルを基に会話形式で質問への返答をできるようにしたチャットモデル「RakutenAI7Bチャット」もオープンなモデルとして公開した。
3モデルともに、AI関連のオープンソース共有基盤「ハギングフェイス」からダウンロードできる。文章の要約や質問応答、一般的な文章の理解、対話システムの構築など、さまざまなテキストの自動生成を商用目的で使用可能。他のモデルの基盤としても利用できる。
日刊工業新聞 2024年03月26日