ロボットの行動計画も生成AIにお任せになるか　Google DeepMind社とNVIDIA社がリード？

2023年11月17日テクノロジー

イメージ

2010年代半ば以降、AI（Machine Learning、Deep Learningなど）の応用が急速に進展し、多様な分野で産業お用がなされている。ロボットマニピュレーションにおいても、従来のルールベースの処理をDeep Learningに置き換え、動作生成し、タスクを実行する手法が提案されている。ただ、ロボットのトップカンファレンスで「Deep Learning」という言葉が初めてキーワードにあがったのは、2017年開催の「IEEE/RSJ IROS 2017」とされ、他分野に比して（認識を除き）ロボット分野でのDeep Learningの適用は早いとは言い難い。

それでも、産業応用の期待値は年々高まっており、Deep Reinforcement Learning（深層強化学習）や模倣学習、深層予測学習による高度なタスクが発表されている。そして、2023年に入ってからは、Generative AI（生成AI）の一種である「ChatGPT」のビジネス応用を受け、ロボットの行動計画生成にも適用する動きがある。その1つが、2023年7月に米Google DeepMind社が発表した、視覚と言語を行動に翻訳するVLA（Vision-Language-Action）モデル「RT-2」である。

Web上のテキストと画像でトレーニングされたTransformerベースのモデルであり、ロボットの行動計画を直接出力することができ、Web上のデータから知識を転送してロボット動作に情報を付与することができる。従来、動作生成のためには把持対象をはじめ膨大な定義が求められたが、こうした作業を不要とし、まさしく「教示レス」を達成する可能性に注目が集まっている。

もう１つが、米NVIDIA社が10月20日に発表したAIエージェント「Eureka」である。NVIDIAではOpenAIのGPT-4搭載のEurekaのライブラリを公開しており、強化学習用物理シミュレーションリファレンスアプリケーション「Nvidia Isaac Gym」で検証が行える。

Eurekaでは、まずGPT-4 LLM と生成 AI を用いて、強化学習のためにロボットに報酬を与えるソフトウェアコードを作成。Isaac Gym でのGPU 高速シミュレーションを利用して、報酬候補の大規模バッチの品質を評価し、より効率的に訓練を行う。次に、訓練結果から主な統計概要を構築して報酬関数の生成を改善するようGPT-4 LLM に指令を出し、自律的に改善して学習を行う。公開した高速なペン回しの動作やロボットアームによる引き出しを開けるタスクは、発表した手法で生成しており、これらの80％以上のタスクにおいて、専門家が作成した強化学習にかかる報酬プログラムよりも優れたパフォーマンスを発揮したという。生成学習手法と強化学習手法を用いたEurekaの利用により、困難なタスクを可能にする新たなアルゴリズムの開発につながるとしている。

なお、日刊工業新聞社は「2023国際ロボット展（iREX2023）併催セミナーとして、11月30日（木）に「AIロボットマニピュレーションの最前線と産業応用」を開催する。AI利用による動作計画・動作制御の先進的な取り組みに加え、RT-2による行動計画および把持計画への適用を考察する。