文脈依存プロンプトと詳細なラベル付けによるヘイトミーム検出

[fulfulggg]

タイトル: 文脈依存プロンプトと詳細なラベル付けによるヘイトミーム検出

リンク: https://arxiv.org/abs/2411.10480

概要:

ソーシャルメディアにおけるマルチモーダルコンテンツの普及は、自動モデレーション戦略を複雑化させています。これは、マルチモーダル分類の強化と、画像やミームに含まれる暗黙の意味のより深い理解を必要とします。これまでの研究では、ファインチューニングによるモデル性能の向上を目指していましたが、モダリティ、プロンプト、ラベル付け、ファインチューニングを考慮したエンドツーエンドの最適化パイプラインを検討したものはほとんどありません。本研究では、複雑なタスクにおけるモデル最適化のためのエンドツーエンドの概念フレームワークを提案します。実験の結果、この伝統的でありながら斬新なフレームワークの有効性が裏付けられ、最高の精度とAUROCを達成しました。また、アブレーション実験により、個別の最適化も単独では効果がないわけではないことが示されました。

[fulfulggg]

論文要約

論文要約: ヘイトミーム検出の精度向上のための包括的なアプローチ

ソーシャルメディア上のヘイトミームを自動的に検出するために、この論文では画像とテキストの両方を考慮した新しい手法を提案しています。これまでの研究では個別の要素の改良に焦点が当てられていましたが、この研究は、以下の4つの要素をまとめて最適化することで、より効果的な検出が可能になることを示しています。

• モダリティ (Modality): 画像とテキストの両方を利用
• プロンプト (Prompt): AIモデルへの指示を文脈に合わせて調整
• ラベル付け (Labeling): より詳細な分類で学習データを作成
• ファインチューニング (Fine-tuning): ヘイトミーム検出に特化したモデルの調整

実験の結果、この包括的なアプローチは従来の手法よりも高い精度を達成しました。また、個々の要素の改良も効果的ですが、全てを組み合わせることでさらに大きな効果が得られることが確認されました。 つまり、ヘイトミーム検出においては、個々の要素だけでなく、全体的なシステムの最適化が重要であるということです。