Topology1225
commented
1 year ago e# 本番環境に移行しやすいMLエンジニアリング
https://zenn.dev/hrsma2i/articles/production-ready-ml
mlops関連 ただし扱ってるのはtableau data関連の技術 bigqueryそんなに便利なのか。。 他のDWH使ってるけどMLとの組み合わせはまだ考えたことなかった（基本python）
本番環境に移行しやすい ML エンジニアリングの Tips を紹介しました。
パッケージマネージャ（Poetry）、フォーマッタ（black）を使い、型アノテーションする リファクタリング用の極小データセットを用意する パスはCLIの引数として指定し、ハードコーディング or 環境変数での指定を避ける データは CSV や JSON Lines など一般的な形式で保存し、pickle は避ける 学習済みモデルの再現に必要なものは全て1つにまとめて保存する（ハイパーパラメータ、ID↔インデックスの変換テーブルなども） モデルの保存には joblib を使う データ取得の SQL も Git 管理して、ファイルとの対応を残す テンソルの shape をコメントする なるべく BigQuery に任す 前処理などを含め、推論をメソッド1つで呼べるようにしておく 推論のループでは pandas の apply() を使い、 for + iterrows() は避ける 学習・推論・評価に分けてスクリプト化する データから実行する関数 → パスから実行する関数 → CLI と階層化する 随時更新予定です。
より良い方法やご指摘があれば、コメントいただけると幸いです
大規模言語モデル
https://speakerdeck.com/chokkan/llm
統計関連学会 岡崎先生
n-gramからGPT4まで網羅されている最近LLMから自然言語始めた勢（私）にとってはNLPの流れを俯瞰できる良い資料。 もちろんdeep以前から構文解析や形態素解析の研究もされているので、LLMに流されず基礎的なところも勉強したい