Open nogawanogawa opened 1 year ago
Hayashi-Yudai
commented
1 year ago 新しいグラフベースの推薦モデルの提案。これまではグラフベースモデルの欠点として
がよく知られていた。このモデルでは、dropoutやcross-layer connectionを導入することでこの問題に対処した。
様々なデータセットで良い性能が出せている。特にデータのスパース性が最も高いTa-Fengデータセットで性能の向上幅が大きくなっており、提案手法の有効性が示されている。
nogawanogawa
commented
1 year ago https://arxiv.org/abs/2202.05387
Ahmed El-Kishky, Thomas Markovich, Serim Park, Chetan Verma, Baekjin Kim, Ramy Eskander, Yury Malkov, Frank Portman, Sofía Samaniego, Ying Xiao, Aria Haghighi
SIGKDD' 22
embeddingを推薦に組み込むことが効果的であることは、多くの先行研究で示唆されている。 しかし、先行研究の多くはuser-item間の関連を使用して"特定の"タスクを解くことにフォーカスしている。
Twitterでは、複数種類のインタラクションをして普遍的なナレッジグラフ埋め込みを獲得することを考える。 この分野の多くの研究は、実アプリケーションに適用されない段階か、少ない種類のインタラクションしか使用しない場合など、限定的なものになっている。
zerebom
commented
1 year ago LangChainのAgentに使われているReActを読んだ。
ReActは、大規模言語モデルを用いて、言語的推論とタスク特化アクションを交互に生成することで、効果的なタスク解決を可能にする手法です。これにより、人間が理解しやすく、進行中のタスクを制御できるようなアクションプランが生成されます。
従来の言語モデルでは、推論とアクション生成が別々に扱われていましたが、ReActは両者を統合することで、より効果的なタスク解決を実現しています。さらに、ReActは、少数のインプット例で学習し、新しいタスクに対しても高い汎用性を持っています。
ReActのキモは、言語的推論とアクション生成を組み合わせることで、タスク解決の効率と精度を向上させる点です。また、人間が理解しやすく、進行中のタスクを制御できるようなアクションプランが生成されることも、この手法の重要な特徴です。
ReActは、質問応答（HotPotQA）、事実検証（Fever）、テキストベースのゲーム（ALFWorld）、ウェブページナビゲーション（WebShop）などの様々なベンチマークで評価され、先行研究と比較して有効性が確認されました。具体的には、成功率がそれぞれ34%と10%向上しました。
ReActの有効性をさらに向上させるための方法として、リンフォースメントラーニングなどの補完的な手法との組み合わせが提案されています。また、ReActの性能はプロンプトの選択に対して頑健であることが示されており、さらなる応用可能性が期待されています。
ReActをWebアプリケーションにおける求人情報（Job Description）の推薦に適用する例
ユーザー情報の収集: ReActは、ユーザーのプロフィール（例えば、経歴、スキル、興味）を収集し、この情報を使用して求人情報の推薦に役立てます。
求人情報の取得: ReActは、ウェブサイトから求人情報を取得し、それらをエージェントが処理できる形式に変換します。これには、求人のタイトル、業種、職種、勤務地、給与などの情報が含まれます。
言語的推論を使用した求人情報の評価: ReActは、ユーザーのプロフィールと求人情報を比較し、言語的推論を使用してユーザーに適した求人情報を評価します。例えば、「このユーザーはプログラミングの経験が豊富で、リモートワークが可能な求人に興味がある」という推論を行います。
求人情報のランキング: ReActは、評価された求人情報をランク付けし、ユーザーに最も適した求人情報を上位に表示します。
推薦結果の表示: ReActは、上位の求人情報をユーザーに提示し、選択された求人情報の詳細情報を提供します。
LangChainのプロンプト例
できるだけ正確に以下の質問に答えてください。次のツールが利用可能です。
検索：検索エンジン。現在の出来事に関する質問に答える必要がある場合に便利です。入力は検索クエリである必要があります。
電卓：数学に関する質問に答える必要がある場合に便利です。
次の形式を使用してください。
質問：答えなければならない入力質問
思考：何をすべきかを常に考える
行動：行動を選択する。[検索、電卓]のうちの1つであるべきです
行動入力：行動に対する入力
観察：行動の結果
... (この「思考/行動/行動入力/観察」はN回繰り返すことができます)
思考：最終的な答えが分かりました
最終回答：オリジナルの入力質問に対する最終的な答え
始めましょう！
質問：レオ・ディカプリオの彼女は誰ですか？彼女の現在の年齢を0.43乗した値は？
思考：英語
Answer the following questions as best you can. You have access to the following tools:
Search: A search engine. Useful for when you need to answer questions about current events. Input should be a search query.
Calculator: Useful for when you need to answer questions about math.
Use the following format:
Question: the input question you must answer
Thought: you should always think about what to do
Action: the action to take, should be one of [Search, Calculator]
Action Input: the input to the action
Observation: the result of the action
... (this Thought/Action/Action Input/Observation can repeat N times)
Thought: I now know the final answer
Final Answer: the final answer to the original input question
Begin!
Question: Who is Leo DiCaprio's girlfriend? What is her current age raised to the 0.43 power?
Thought:
Why
Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。
prev. https://github.com/wantedly/machine-learning-round-table/issues/189
What
話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！