[2023/05/10]Machine Learning 輪講

[nogawanogawa]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/194

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[Hayashi-Yudai]

Improving dropout in graph convolutional networks for recommendation via contrastive loss

GNNベースの推薦モデルでは情報がスパースになることが多いので、普通にDropoutを使うと学習に必要な情報が欠落してうまく学習できていないのでは、ということを提起した論文。

提案手法

重みを共有した同じネットワークを2つ用意する(G', G'')。この2つのネットワークはGCNレイヤーのような重みは同じだが、Dropoutのランダム性により同じものを入れても出力はおなじになるとは限らない。このようなモデル構造で損失関数を2種類組み合わせて学習を行う。

• 各ネットワークで定義される損失関数：BPR Loss

  

• ネットワーク間で定義される損失関数：Contrastive Loss

  

結果

[nogawanogawa]

MaskNet: Introducing Feature-Wise Multiplication to CTR Ranking Models by Instance-Guided Mask

論文URL

https://arxiv.org/abs/2102.07619

著者

Zhiqiang Wang, Qingyun She, Junlin Zhang

会議

DLP-KDD 2021

背景

CTR予測のタスクにおいて、近年ではDNNを使用するモデルが提案されてきている。これらのモデルでは特徴量の相互作用をDNNによって暗黙的に捉えることで性能向上を期待しているが、特徴量の交差を捉えるのに非効率であるとの研究も行われている。実際、注意深く構成された協調フィルタリングを用いたドット積ベースラインがMLP層を大きく上回る結果も報告されている。 MLPは理論上どんな関数も近似できるが、それを実現するには大きな容量と多くのデータが必要になる。

目的

• 特徴量の相互作用を効率よく獲得する

アプローチ

• MaskNet
  • DNNのランキングシステムに特定の乗算演算を導入することで複雑な特徴の相互作用を効率良く捉える
  • MaskBlock , instance-guided mask
  • 特徴埋め込み層と隠れ層の情報量の多い要素を動的に強調

memo

https://github.com/nogawanogawa/paper_memo/issues/85

[zerebom]

Management of Machine Learning Lifecycle Artifacts: A Survey

MLモデルやデータ成果物の比較可能性、トレーサビリティ、再現性を達成するのは困難。これを達成するにはライフサイクルの各ステップやイテレーションの入力と出力成果物を記録するツールが必要。

これらをサポートする、ML成果物管理システム(AMS)があるが、AMSは幅広い目的があることや、定義が曖昧なことから比較が難しい。

本論文では、学術界および産業界のAMSに関する包括的な概要を提供することが目的。

本論文では、MLのライフサイクルを定義し、その各サイクルで必要なAMSの機能と、各ツールがどのような機能を提供しているかを包括的に比較できる評価項目を作成し、比較した。

機械学習ライフサイクルは、要件ステージ、データ指向ステージ、モデル指向ステージ、および操作ステージの4つのステージで構成されます。

1. ライフサイクルの統合：システムがどの部分のMLライフサイクルにアーティファクト収集および管理機能を提供しているかを示すカテゴリです。それぞれのステップがサブ基準になります。
2. アーティファクトのサポート：AMSがサポートし、管理するアーティファクトのタイプを示すカテゴリです。データ関連アーティファクト、モデル、メタデータ、ソフトウェアアーティファクトといった基準があります。
3. 操作：アーティファクトの操作方法を評価する基準です。主要な操作には、ロギング・バージョニング、探索、管理、コラボレーションがあります。
4. 収集・保存：アーティファクトの収集と保存の評価基準です。自動化された収集、ストレージタイプ、バージョニングのサブ基準が含まれます。
5. インターフェース・統合：AMSのインターフェースと統合方法を評価する基準です。API/SDK、CLI、Web UIや言語サポート、フレームワーク、ノートブックなどが含まれます。
6. 操作・ライセンス：AMSの操作方法とライセンスを評価する基準です。ローカル、オンプレミス、クラウドの運用方法や、無料/有料のライセンスが含まれます。