[2022/11/30]推薦・機械学習勉強会

zerebom commented 1 year ago

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は樋口(https://twitter.com/zerebom_3) まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912）よりご連絡ください！

What

Wantedly では隔週木曜日に

推薦の評価指標について議論したい
〇〇っていうライブラリ / フレームワークを導入してみたい
他社の基盤事例をみんなにシェアして自社の基盤開発に活かしたい
もっと推薦を良くするためにどんなものが必要か議論したい

といった話をする「推薦・機械学習勉強会」を開催しています。この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！会の間に話した内容もここにメモしましょう！

prev: #171

Hayashi-Yudai commented 1 year ago

SkyPilot: ML and Data Science on any cloud with massive cost savings

UC BerkeleyのSky Computing Labが開発して今月リリースされた、機械学習ジョブを走らせるフレームワーク

便利そうな点をまとめると

プリエンプティブルVMを使っていて取り上げられてもリソースを見つけてきて自動で途中から再開してくれる
- 新しいリソースを探す先は別のクラウドでもOK (ex. AWS → GCP)

PyPIからインストールできる
すでにあるコードは変更しなくて良い。SkyPilot用にYAMLを作るだけ

resources:
  accelerators: V100:4

setup: |
  git clone https://github.com/huggingface/transformers/
  cd transformers && pip install .
  cd examples/pytorch/text-classification
  pip install -r requirements.txt \
    torch==1.12.1+cu113 --extra-index-url https://download.pytorch.org/whl/cu113

run: |
  cd transformers/examples/pytorch/text-classification
  python run_glue.py \
    --model_name_or_path bert-base-cased \
    --dataset_name imdb  \
    --do_train \
    --max_seq_length 128 \
    --per_device_train_batch_size 32 \
    --learning_rate 2e-5 \
    --max_steps 50 \
    --output_dir /tmp/imdb/ --overwrite_output_dir \
    --fp16