「深層学習のパラメーター」50分の1に削減…中部大が新技術、半導体メーカーと実用化へ
中部大学の小浜大和大学院生と山下隆義教授、藤吉弘亘教授らは、深層学習(ディープラーニング)のパラメーターを50分の1に削減する技術を開発した。メモリーの使用量を98%削減でき、計算資源の限られるエッジ端末で高度な人工知能(AI)処理を実行できるようになる。半導体メーカーと連携し実用化を目指す。
巨大なAIモデルを特定の用途にチューニングする再学習時にパラメーターを削減する。従来は巨大モデルの構築時に計算した重要度で残すパラメーターを選んでいた。
開発した技術では、再学習時に変化の大きなパラメーターを残す。構築時の重要度は低くても再学習時に変化の大きなパラメーターが残る。
6億3000万のパラメーターのAIモデルに適用するとメモリーの使用量を2・35ギガバイト(ギガは10億)から47メガバイト(メガは100万)に削減できた。組み込みシステムに載るサイズになる。
【関連記事】 半導体パッケージ基板で存在感を増す印刷会社
日刊工業新聞 2023年07月28日