パナソニックコネクトの黄瀬輝係長と立命館大学の谷口忠大教授らは、大規模言語モデルと世界モデルを組み合わせてロボットを動かすシステムを開発した。米オープンＡＩの大規模言語モデル「ＧＰＴ―４」でコードを生成し動作させる。コードを経由することで技術者はプロセスを管理しやすくなる。シミュレーションで試験し概念実証（ＰｏＣ）を達成した。

人間の命令（プロンプト）をＧＰＴ―４でロボット用のコードに変換する。実行不可能なコードは取り除く仕組みを用意した。命令を工夫すればほぼロボット制御に使えるコードが生成される。

コードを基に世界モデルの「ニュートニアンＶＡＥ」でロボットの動きを生成する。ニュートニアンＶＡＥはロボット自身の動きとワークなどの操作対象、ロボットの視覚映像などを学習し、自分の身体と周囲環境を含むモデルを作る。

例えば「赤いブロックを青い円柱に重ねる」と指示するとロボットは対応する映像を読み出し、その状態に近づけるようにハンドを動かす。モノの位置を計測したり、軌道を計算したりせずに実行できる。

積み木を用いた実験では１０回中１０回成功した。「太陽の色のブロックを海の色の円柱に乗せる」などと言い換えた指示に対応し、ＧＰＴ―４の言語対応力が発揮された。

一方で世界モデルが学習していない情報には対応が難しい。見ていない物を探すといった仕事はこれからの課題になる。人間の命令も曖昧さがないよう工夫する必要がある。

まだ基礎的な研究だが、大規模言語モデルの記号表現と世界モデルの潜在表現をつなぐ仕組みになる。事業化できれば、知識と物理的なサービスの結節点を押さえることができる可能性がある。