[2305.14450] Is Information Extraction Solved by ChatGPT?

[ftnext]

論文紹介の存在を知り https://scrapbox.io/nikkie-memos/%E8%AB%96%E6%96%87%E7%B4%B9%E4%BB%8B%EF%BC%9AChatGPT_%E3%81%A7%E6%83%85%E5%A0%B1%E6%8A%BD%E5%87%BA%E3%82%BF%E3%82%B9%E3%82%AF%E3%81%AF%E8%A7%A3%E3%81%91%E3%82%8B%E3%81%AE%E3%81%8B%EF%BC%9F 参考になりそうなところが多そうと読んだ https://scrapbox.io/nikkie-memos/Is_Information_Extraction_Solved_by_ChatGPT%3F_An_Analysis_of_Performance,_Evaluation_Criteria,_Robustness_and_Errors

• ChatGPTが登場。Information Extractionの各タスクはChatGPTに解かれるのかを検証した
• IEの4つのタスク、合計14のサブタスク。全部で17のデータセット
• 検証結果「解かれない」。SOTAとの間には開きがある
  • few shot ICLがオススメ（と理解した）
• 検証方法
  • zero shotでプロンプト5つから選択
  • few shotのICLとCOT、それぞれ例を5パターン用意し、検証
• その他
  • Micro F1 + 提案のsoft matching
  • エラー分析から、ChatGPTと一緒にアノテーションする可能性を記している（これ以上はfuture works）

感想

• 平均取るのか！プロンプトによらない性能推定
• データセットのテストデータを使ってプロンプトを決めているので、問題に対するChatGPTの汎化性能が推定できているかは疑問符
• conll2003データセット周りを見たが再現性に大きな懸念
  • trainとdevがhugging face/datasetsと一致しない
  • 3000件超えるが3000件まで絞ってなさそう（誤読かも）
  • 実装伸びしろ。もっと細かく分けたい