[2024/05/08] Machine Learning 輪講

[nogawanogawa]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/244

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[KKaichi]

Deep Learning-based Computational Job Market Analysis: A Survey on Skill Extraction and Classification from Job Postings

※ まだ深く読めていないです， ※ 「面白いものを見つけた時点でとりあえず話す」と宣言

会議

The First Workshop on Natural Language Processing for Human Resources (NLP4HR 2024)

概要

• 求人情報からのスキル抽出と分類に関するサーベイ論文
• 3章: スキル抽出・分類に関連する用語
• 4章: スキルとは（概念）
• 5章: スキル定義の操作化（スキルの定義を明確にし、実際に測定や評価が可能な形に具体化）
• 6章: スキル抽出に使える公開データセット
• 7章: スキル抽出と分類の方法
• 8章: 結論 　- 「ESCOのようなスキルベースを利用したスキル抽出方法」と「トレーニングデータの不足を補う形でLLMを活用する方法」の2つの主要な傾向がある 　- 求人情報に直接記述されていない暗黙のスキルを抽出する 　- 今後は新興スキルや求人に直接記されていない暗黙のスキルの抽出に注目が集まると予想

[chimuichimu]

Vector Quantization for Recommender Systems: A Review and Outlook

推薦システムへの活用を目的としたベクトル量子化（Vector Quantization, VQ）の研究動向のレビュー論文

ベクトル量子化とは

• ベクトルの表現を可能な限り保ちながら情報を圧縮する技術
• 1980年台に信号処理の分野で提案されたのが最初。その後2004年くらいから推薦システムに応用する研究が出始めた

ベクトル量子化と推薦システム

推薦システムのための VQ の手法は、以下２つの観点で分類できる（*）

Efficiency-oriented

• システムの効率化のために VQ が使用される
• 例
  • 埋め込み表現を圧縮することによる省メモリ化
  • ベクトル検索の効率化
  • attention 機構に VQ を適用することで推論を高速化

Quality-oriented

• 推薦の高度化のために VQ が使用される
• 例
  • ベクトルで表現されたアイテム情報を VQ で圧縮しモデルの入力とする
  • 複数モーダル間（画像 * テキストなど）の関係性を学習するタスクに使われる
  • アイテムを tokenize する手段として使われる

※ 上記以外にも論文中では以下の観点での分類を提案している

• 推薦システムの Training Phase による分類
• ベクトル量子化の手法による分類
• 量子化の対象による分類

今後のチャレンジ

様々なドメインのデータを統合してより汎用的かつマルチモーダルな推薦モデルを作る、などの課題があるらしい。

[Hayashi-Yudai]

Better & Faster Large Language Models via Multi-token Prediction

LLMの事前学習の際に、入力に対して次に続くnトークンを予測するタスクを解かせることによって、モデルの性能や推論パフォーマンスの向上を実現したという論文。

• この論文で実現できたこと
  • 学習効率をあまり損なうこと無く、メモリ効率も高いmulti-token predictionモデルの実現
  • コード生成などのgenerative taskでモデル性能が向上
  • 推論パフォーマンスを最大3倍まで向上