zerebom
commented
1 year ago ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks
概要
- ChatGPTを使ったテキストアノテーションタスクの性能評価実験
- 2,382件のツイート、訓練済アノテーター、MTurk、ChatGPTを用いた5つのタスク比較
- 目的：コスト削減と高品質なテキストアノテーション実現
- ChatGPTのゼロショットクラス分類で高い一致度、1/20の低コストを達成
- ゼロショットで、4つのタスクでMTurkより高精度、インターコーダー合意では全タスクで精度を上回る
- コスト削減と高品質なアノテーションで大量データの簡単な分析が可能
アノテーション内容
- ChatGPT APIの「gpt-3.5-turbo」バージョンを使用
- 各タスクについて、ChatGPTに対応するアノテーションのテキストを提示し、タスクごとの指示に従ってラベル付け
- ChatGPTに固有のプロンプトは追加しないようにすることで、MTurkのクラウドワーカーと比較可能にした。
- 各ツイートにつき新しいチャットセッションを作成したことで、アノテーションの履歴によってChatGPTの結果が影響を受けないようにしている
タスクの内容
-
相関性の検出：与えられたテキストが与えられたトピックに関連しているかどうかを調べ、関連性を示すラベルを付けるタスク。
-
スタンスの検出：与えられたテキストが、ある特定の議論や問題に対するスタンスを表しているかどうかを調べ、肯定的、否定的、中立的などのスタンスラベルを付けるタスク。
-
トピックの検出：与えられたテキストがどのトピックに属するかを分類するタスク。トピックには、政治、スポーツ、エンターテイメントなどがある。
-
フレームの検出（2つの種類）：まず、与えられたテキストがある特定のフレームに属しているかどうかを調べるためのタスク。フレームには、特定の事件、人、場所などが含まれる。次に、与えられたテキストが前接文法または行動主義フレームワークに従っているかを調べるためのタスク。
Why
Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。
prev. https://github.com/wantedly/machine-learning-round-table/issues/187
What
話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！