GENZITSU
commented
1 year ago ファインチューンせずに高速に学習できる RAPIDS SVR (SVC) の紹介と MARC-ja の評価
サポートベクター回帰(分類)を高速に学習することが可能なRAPIDS SVRの利用方法の紹介記事
SVRは少数データに対しては性能が高い傾向にあるが学習時間がデータ数に応じて指数感的に増えるという弱点があった、これをGPUに最適化させたのがRAPIDS SVRでsklearnの10~50倍ほど高速に動作するらしい
実装例は以下。 使い方はほぼsklearnのsvcである。
# from https://secon.dev/entry/2022/12/13/090000-rapids-svr-svc-marc-ja/
from cuml.svm import SVC
import numpy as np
DEFAULT_SVC_PARAMS = {
"C": 3.0, # Penalty parameter C of the error term.
"kernel": "rbf", # Possible options: ‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’.
"degree": 3,
"gamma": "scale", # auto or scale
"coef0": 0.0,
"tol": 0.001, # 0.001 = 1e-3
}
def train_svc(
X: np.ndarray,
y: np.ndarray,
svc_params: dict[str, object] = DEFAULT_SVC_PARAMS,
probability: bool = True,
) -> SVC:
svc = SVC(**svc_params)
svc.probability = probability
svc.fit(X, y)
return svcこれをhaggingfaceの事前学習モデルからエンコードした文章特徴量にかけることで、サクッと高性能が出るというから驚きである。
記事中では約6000文章に対する学習が18秒で終わっている
コメント
学習時間が長くて使うのが億劫だったがここまで早ければ試してみたいところ。
Feature Attributionを使ったモデルモニタリングの開発と実際の機械学習モデルへの適用
モデルの出力に影響を与えた特徴量がどれほど変化したかでモデルのモニタリングを行うFeature Attributionを実際のシステムに適用した事例の紹介
モデルのモニタリングには、入力データの分布を監視する方法や出力を監視する方法などが有名だが、Yahooではそれをもう一歩進化させて入出力の関係を監視する方法を実装
どのようなモデルにも対応可能なKenerlSHAPを用いて特徴量のランキングを行い、いつものランキングとのnDCGを計算することでモデルの監視を実施
コメント
入出力の関係を定量化する方法として勉強になった。
出典
Feature Attributionを使ったモデルモニタリングの開発と実際の機械学習モデルへの適用