LLM-BRAIn: AI-driven Fast Generation of Robot Behaviour Tree based on Large Language Model

[Buddies-as-you-know]

論文リンク

https://arxiv.org/pdf/2305.19352.pdf

title: "論文タイトル"

date: YYYY-MM-DD categories:

1. どんなもの？

人間のオペレータの口頭説明に基づいて事前に作成されたノードのライブラリを使用して、BT 形式で複雑なロボットの動作を生成する、自律ロボット制御への新しいアプローチを提案します。 自律型ロボット制御における新しいアプローチであるLLMBRAInの作成

• スタンフォードAlpaca 7Bモデルから微調整された変換器ベースの大規模言語モデル(LLM)であり、テキスト記述からロボットの行動ツリー(BT(ビヘイビアツリー))を生成する
• ビヘイビアツリーとは、ツリー構造を用いて行動決定を記述したものです。

  2. 先行研究と比べてどこがすごいの？

• BT生成のための大規模なデータセット(8,500サンプル)をtext-davinci-003を用いて自動生成した。既存手法では人手でデータセット作成が必要。
• Stanford AlpacaモデルをロボットのBT生成タスクに初めて適用した。AlpacaはGPT-3と近い性能で小規模なモデルなので、ロボットへの実装が容易。

  3. 技術や手法の"キモ"はどこにある？

  

• システムは、7億の重みを持つ再トレーニングされたLLM-BRAInモデルを実行可能なオンボードマイクロコンピュータを含む必要がある。
• ハードウェアには、タスクを実行するために必要なセンサー、アクチュエーター、およびロボットの機械部品が全て含まれている。
• ソフトウェアシステムには、LLM-BRAInモデルを実行するアプリケーション、それをロボットの実行可能ファイルに変換するBTインタープリタ、およびロボットが実行できるアクションのリストを含むノードライブラリが含まれている。
• 操作者が自然言語でロボットにコマンドを与えることができる。
• コマンドはモデルへのリクエストとして整形され、利用可能なノードのリストで補足される。
• モデルによって処理されたクエリの出力は、特殊文字を変換した後、XML形式の生成されたBT（Behavior Tree）である。
• 以前は手動でBTを書いていたが、このアプローチはその普遍性と多用途性のためにロボティクスで広く普及している。
• コマンドの実行は、FacontiとColledanchiseによるリポジトリ[16]にあるBehaviorTree.CPPライブラリを使用してROS2ノードとして行われる。
• 重要なのは、テキスト コマンドを解釈し、詳細なロボット動作ツリーを効果的に生成するための大規模言語モデルの微調整
• モデルは、text-davinchi-003 を使用した自己指示のスタイルで生成された指示に従うデモンストレーションでトレーニング
• Stanford Alpacaモデルをファインチューニングすることで、テキストからBTを生成できるLLM-BRAInを実現。Alpacaの汎用性と生成能力を活かした。
• text-davinci-003モデルを使って、様々なBTを自動生成。大規模で質の高いデータセット作成を可能にした。
• LoRAによる効率的ファインチューニング手法を採用。モデルサイズを小さく保ちつつ生成能力を高めた。
• ROS2とBehaviorTreeライブラリを用いて、生成されたBTを即座に実行可能な形に変換。実ロボットへの実装を容易にした。
• 再帰的にサブツリーを生成することで、BTのサイズ制限を緩和する方針。大規模かつ複雑なBTの生成を可能にする。
• ロボットの車載マイコンへの搭載に適したコンパクトなサイズを維持しながら、複雑なロボットの動作を正確に生成する能力により際立っています。

4. どうやって有効だと検証した？

• LLM-BRAIn によって生成された動作ツリーと人間によって生成された動作ツリーとの比較（ユーザー実験の被験者数は15人）
• LLM-BRAInによるBTと人間によるBTは主観的に区別がつかないことが示された。

5. 議論はあるか？

• データセットの品質判断基準があいまい。多様性、構造の正しさなどの定量的な尺度がない。
• ノードライブラリの作成プロセスが明確でない。どのように安全性を担保したのかも不明確。
• BTの規模が制限されているため、より大規模なBTが生成できるようにすること。
• ドローンやマニピュレータなど、タスク固有のデータセットを用意して性能を評価すること。
• ユーザーからのフィードバックに基づくBTの修正や説明生成機能を追加すること。
• 本手法を産業用ロボットや自動運転などの実アプリケーションに適用していくこと。
• 比較実験として、従来の手法(状態遷移など)との定量的比較が必要。
• より多くの被験者による主観評価実験を行い、統計的有意性を高めること。

  6. 次に読むべき論文はあるか？

  [16]https://github.com/BehaviorTree/BehaviorTree.CPP

  論文情報・リンク