Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/186

What

話したいことがある人はここにコメントしましょう！面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

Extracting Accurate Materials Data from Research Papers with Conversational Language Models and Prompt Engineering - Example of ChatGPT

https://arxiv.org/pdf/2303.05352.pdf

(GPT4に要約してもらいました)

背景

材料科学分野におけるデータ抽出の重要性と効率化のニーズ
既存の抽出手法の問題点として、手動抽出の労働集約性や自動抽出の精度の低さ
ChatGPTを活用したデータ抽出への可能性

研究課題

ChatGPTを用いた新しいデータ抽出アプローチ（ChatExtract）の開発と評価
論文中から高精度にデータ抽出を行なう試み

提案手法

会話の情報保持を活用し、目的的な冗長性を適切に適用する方法を確立させる
ChatExtractは、会話型LLMに適用されるプロンプトのセットで構成
様々なプロンプトとフォローアップ質問の組み合わせによる抽出性能の向上を狙う

実験結果

高い精度（100%）と再現率（90.3%）の達成

考察

ChatExtractアプローチ成功の要因として会話の情報保持と目的的な冗長性の活用
ChatExtractアプローチの応用範囲や改善点に関する今後の研究の検討

Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence

⚠️ peer review前の論文 (GPT4に4ページずつ程度pdfをコピペして与え、要約してもらったものを編集しました)

Summary

本研究では、大学卒業者が中間レベルのプロフェッショナルなライティングタスクをこなす際のChatGPTの影響を調査しました。その結果、ChatGPTを使用することで、低能力者の品質が向上し、高能力者の効率が向上することが示されました。また、生産性の不平等が減少し、労働者の努力が置き換えられる傾向があることが分かりました。この研究は、ChatGPTの効果についての理解を深めるための一歩となることが期待されます。

1. はじめに

この研究では、大学卒業した専門家がChatGPTを使用してプロフェッショナルなライティングタスクを実行する際の生産性向上や効果について分析しています。

2. 実験デザイン

2.1 参加者とタスク

アメリカの大学卒業者 & プロフェッショナルなライティングタスクに携わっている労働者を対象にしたオンライン調査
参加者は、Amazon Mechanical Turk（MTurk）を通じて募集され、年齢や性別、職業、経験などの異なる背景を持つ人々が含まれる
プロフェッショナルなライティングタスクを実行
労働者は2つのタスクを実行し、その後アンケートに回答
- 1つ目のタスクは、与えられたプロンプトに基づいて、150語程度の文章を作成すること
- 2つ目のタスクは、与えられたテーマに沿って、自分の意見を述べる400語程度のエッセイを作成すること

2.2 実験手順

参加者を2つのグループに分け、片方はChatGPTを使用、もう一方は自分の力でタスクを実行
タスク終了後、アンケートに回答

2.3 測定方法

タスクの品質、完成までの時間、自己評価、仕事満足度などを測定

3. 結果

3.1 主な結果

実験の結果、ChatGPTを利用した場合、文章の品質が0.20標準偏差向上し、所要時間が18.3%短縮されることが示されました。これらの効果は、労働者の能力レベルやタスクの種類に関係なく一貫して観察されました。

3.2 能力レベル別の効果

低能力者に対しては、ChatGPTの利用により、品質が0.29標準偏差向上し、所要時間が24.3%短縮されました。一方、高能力者では、品質はほぼ変わらず、所要時間が18.9%短縮されました。つまり、ChatGPTは、低能力者の品質を向上させ、高能力者の効率を向上させる効果があることが示されました。

3.3 タスク別の効果

本実験で用いられた3つのタスクにおいて、ChatGPTの効果は異なりました。エディトリアルタスクでは、品質が0.29標準偏差向上し、所要時間が27.7%短縮されました。一方、ファクトチェックタスクでは、品質が0.19標準偏差向上し、所要時間が14.0%短縮されました。最後に、メールタスクでは、品質が0.12標準偏差向上し、所要時間が13.4%短縮されました。

3.4 効果の持続性

実験の進行に伴って、ChatGPTの効果が持続するかどうかを調べました。結果として、品質や所要時間に対するChatGPTの効果は、実験の後半でも維持されていました。

縮され、生産性の不平等が減少することが示されました。具体的には、低能力者の品質が向上し、高能力者の効率が向上することにより、生産性の格差が縮小されました。

3.7 職業満足度と自己効力感

ChatGPTへのアクセスが職業満足度に影響を与える可能性があります。例えば、タスクの面倒な部分を自動化したり、作業をより迅速に終わらせたりすることで、参加者がより幸せになるかもしれません。逆に、タスクの楽しい部分をすぐに自動化することで、経験があまり楽しくなくなるかもしれません。同様に、参加者の能力を向上させる複雑で強力なツールへのアクセスによって、自己効力感が向上するか、参加者が余分に感じることで自己効力感が低下するかもしれません。職業満足度と自己効力感は、1から10のリケルト尺度で測定されました。図4のパネル（a）では、ChatGPTが職業満足度を約0.40標準偏差向上させることが示されています（p = 0.000）。パネルBでは、自己効力感が0.20標準偏差向上するものの、精度が低いことが示されています（p = 0.060）。参加者が主に自己の努力を置き換えるためにそれを使用しているにもかかわらずです。参加者からの質的なフィードバック（アンケートの最後にあるオープンテキストボックス）では、多くの人がこのツールを発見し、それを使うことを楽しんでいることが示唆されています。

4. 議論

ChatGPTは生産性の向上に寄与するが、労働者のスキルを補完するよりも労働者の努力に代わるものとして機能
資本所有者が労働負担を減らす一方で、労働者への需要が減少する可能性がある

4.1 実験の限界

実験のタスクは短く、コンテキストに特化した知識が必要ないため、ChatGPTの有用性が過大評価される可能性がある職業満足度や自己効力感に関する結果も、実際の仕事全体の感情ではなく、小さなタスクに対する楽しさを反映しているにすぎない実験は、選択された職業に対するChatGPTの直接的で即時的な効果だけを捉えるものであり、労働市場や生産システムがChatGPTのような技術の登場に適応するにつれて、間接的で補強または相殺する一般均衡効果が多く生じる職業、タスク、スキルレベルによってChatGPTの影響が異なる可能性がある

4.2 今後の展望

ChatGPTやその後継技術が労働市場にどのような影響を与えるかは、今後の研究と時間の経過によって明らかになる現時点での証拠から、生成型AI技術が労働者に影響を与え、すでに影響を及ぼし始めていることが示唆される

Heterogeneous Multi-Behavior Recommendation Based on Graph Convolutional Networks

ユーザーの様々な行動をグラフを用いて取り込むことで推薦精度を向上させたという論文。

これまでの研究の課題

グラフを用いた推薦モデルではユーザーの単一の行動のみを用いるのが一般的だった(e.g. NGCF, LightGCN)。近年ではこういったグラフの課題を解決するために、複数種類の行動を取り入れたモデルも提案されるようになってきた(e.g. MBGCN)。しかしこれらのモデルでは行動の種類ごとにグラフを作成して何らかのaggregationをすることが多く、行動間の関係をうまく取り込めているとは言えなかった。

提案手法の利点

単一のグラフに全種のユーザー・アイテム間のインタラクションを入れて利用できる
対照学習を取り入れることで高次の関係性を取り入れた上でユーザー間の関係をうまく埋め込むことができる

結果

Beibei, Yelpの購買行動のデータセットを利用して評価。Beibeiのほうがベースラインと比べたときの性能向上率が大きい。これはBeibeiデータセットのほうがYelpよりもユーザー・アイテム数に対するauxiliaryデータ量が多いためだと言っていて、提案モデルがmulti-behaviorをうまく取り込めていると主張している。

Should I send this notification? Optimizing push notifications decision making by modeling the future

論文URL

https://arxiv.org/abs/2202.08812

著者

Conor O'Brien, Huasen Wu, Shaodan Zhai, Dalin Guo, Wenzhe Shi, Jonathan J Hunt

会議

-preprint

背景

プッシュ通知は、モバイル・デバイス上でコンテンツが消費されるための重要な方法であり、ユーザーは自分に関連する可能性のあるコンテンツについての通知を受け取ることになる、このような通知は、ユーザが積極的に情報を求めていないときに発生する。ユーザーは特定のアプリケーションを開くことによって積極的に求めるコンテンツと比較して、無関係な通知や気が散る通知に対して耐性が低い可能性があり、体験を悪化させる恐れがある。

このようなPush通知は体験悪化を招くのがある程度の未来の話であるため、近視眼的な推薦システムにおいては常にPush通知を送信するというポリシーになってしまい、多くの場合これは見過ごされてしまう。この問題に対して、多くの場合ヒューリスティックに対応することがあるが、これは最適とは言えないことが多い。

目的

長期的価値(LTV)を考慮したPush通知ポリシーを設定することでエンゲージメントを高める

アプローチ

モデルベースの強化学習（RL）アプローチを用いた通知戦略
- 過去に送信された通知のログデータから、将来的にユーザの行動が通知によってどのように影響されるかというモデルを構築する

memo

https://github.com/nogawanogawa/paper_memo/issues/76

wantedly / machine-learning-round-table

[2023/03/15]Machine Learning 輪講 #187

Why