AgroGPT: 専門家調整による効率的な農業ビジョン言語モデル

[fulfulggg]

タイトル: AgroGPT: 専門家調整による効率的な農業ビジョン言語モデル

リンク: https://arxiv.org/abs/2410.08405

概要:

大規模マルチモーダル会話モデル（LMM）は、オンラインで入手可能な膨大な画像テキストデータを利用することで、著しい進歩を遂げました。しかし、これらのモデルは、新しいドメインにわたる複雑な会話を行う能力を阻害する、大きなドメインギャップに直面することがよくあります。最近の取り組みでは、ドメイン固有の画像テキストデータに依存して命令チューニングデータを作成することで、この問題の軽減が図られています。しかし、農業などの多くのドメインでは、そのような視覚言語データが不足しています。本研究では、農業ドメインの視覚のみのデータを利用して命令チューニングデータを作成する手法を提案します。複数のドメインにわたる多様な農業データセットを利用し、クラス固有の情報をキュレーションし、大規模言語モデル（LLM）を用いて専門家チューニングセットを作成した結果、AgroInstructと呼ばれる7万件の専門家チューニングデータセットが得られました。さらに、専門家によるチューニングを行い、複雑な農業関連の会話を維持し、有用な洞察を提供できる効率的なLMMであるAgroGPTを作成しました。また、評価のためにAgroEvalsを開発し、{AgroGPT}のパフォーマンスを、大規模なオープンソースおよびクローズドソースのモデルと比較しました。{AgroGPT}は、きめ細かい農業概念の特定に優れており、農業の専門家として行動し、マルチモーダルな農業の質問に対して役立つ情報を提供します。コード、データセット、モデルは、https://github.com/awaisrauf/agroGPT で公開されています。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• llm
• vision-language-model
• domain-generalization

[fulfulggg]

論文要約

論文要約: AgroGPT: 専門家調整による効率的な農業ビジョン言語モデル

背景:

• 画像とテキストを扱うAIモデル（LMM）は、大量のデータで学習することで高性能化している。
• しかし、特定分野（例：農業）の専門知識が不足しており、複雑な質問への回答が難しい。
• 特定分野の画像とテキストのデータを集めるのは容易ではない。

提案手法:

• 専門家による知識を用いて、農業画像のみから、AIモデルの学習用データを作成する手法を開発。
• 具体的には、多様な農業画像データセットに、大規模言語モデル（LLM）を用いて専門家主導の説明文を追加し、「AgroInstruct」という7万件のデータセットを構築。

結果:

• AgroInstructを用いて学習した農業特化型AIモデル「AgroGPT」を開発。
• AgroGPTは、複雑な農業関連の会話に対応し、専門性の高い情報を提供可能。
• 新規評価指標「AgroEvals」による評価の結果、AgroGPTは既存モデルよりも高精度に農業の概念を理解し、専門家として機能することが示された。

貢献:

• 専門知識を用いた、効率的な農業特化型AIモデルの学習データ作成手法を提案。
• AgroGPTおよびAgroEvalsを開発し、農業分野におけるAI技術の進歩に貢献。

その他:

• 開発したコード、データセット、モデルは公開されている。