weekly useful materials - 06/15 -

[GENZITSU]

LightGBMのearly_stoppingの仕様が変わったので、使用法を調べてみた

詳細に書かれている記事だけど要はcallback使いましょうということ

古い書き方

# from https://qiita.com/c60evaporator/items/2b7a2820d575e212bcf4#%E3%82%AF%E3%83%AD%E3%82%B9%E3%83%90%E3%83%AA%E3%83%87%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E5%AE%9F%E8%A1%8C%E6%99%82%E3%81%AE%E6%8C%99%E5%8B%95

verbose_eval = 0  # この数字を1にすると学習時のスコア推移がコマンドライン表示される
# early_stoppingを指定してLightGBM学習
gbm = lgb.train(params, dtrain,
                valid_sets=[dvalid],  # early_stoppingの評価用データ
                num_boost_round=10000,  # 最大学習サイクル数。early_stopping使用時は大きな値を入力
                early_stopping_rounds=10,
                verbose_eval=verbose_eval
                )

新しい書き方

# from https://qiita.com/c60evaporator/items/2b7a2820d575e212bcf4#%E3%82%AF%E3%83%AD%E3%82%B9%E3%83%90%E3%83%AA%E3%83%87%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E5%AE%9F%E8%A1%8C%E6%99%82%E3%81%AE%E6%8C%99%E5%8B%95

verbose_eval = 0  # この数字を1にすると学習時のスコア推移がコマンドライン表示される
# early_stoppingを指定してLightGBM学習
lgbr = lgb.LGBMRegressor(**params)
lgbr.fit(X_train, y_train, 
         eval_metric='rmse',  # early_stoppingの評価指標(学習用の'metric'パラメータにも同じ指標が自動入力される)
         eval_set=[(X_valid, y_valid)],
         callbacks=[lgb.early_stopping(stopping_rounds=10, 
                        verbose=True), # early_stopping用コールバック関数
                    lgb.log_evaluation(verbose_eval)] # コマンドライン出力用コールバック関数
         )

コメント

順次移行していきたい

出典

LightGBMのearly_stoppingの仕様が変わったので、使用法を調べてみた

[GENZITSU]

Loss Function Library - Keras & PyTorch

下記のようなロス関数の実装がまとめられているnotebook。

コメント

ありがたい。

出典

Loss Function Library - Keras & PyTorch

[GENZITSU]

2022年 コンピュータビジョン分野のトレンド

xpaper チャレンジの⽚岡さんがGTC2022年で発表した、CV分社の技術トレンドのまとめ。アーキテクチャーのトレンドや各CVタスクでのトレンドに加えて、学習方法やデータ生成についてのまとめもなされている。

コメント

近年の動向をざっくり知るのにめちゃ助かる資料。

出典

2022年 コンピュータビジョン分野のトレンド

[GENZITSU]

DeNA, MoT AI勉強会発表資料「顔認識と最近のArcFaceまわりと」 / Face Recognition & ArcFace papers

顔認識タスクの一般的な取り組み方や使用可能なデータセット、ArcFace以降のSOTAモデルたちをまとめているスライド。

コメント

SOTAの移り変わりが激しい分野なのでとても助かる。

出典

DeNA, MoT AI勉強会発表資料「顔認識と最近のArcFaceまわりと」 / Face Recognition & ArcFace papers

[GENZITSU]

sithu31296 / semantic-segmentation

semantice segmentationのSOTAモデルたちを実装しているライブラリ。 MMsegやsmpよりかは充実していないが、それらには実装されていないものもいくつかある。

コメント

メモ

出典

sithu31296 / semantic-segmentation

[GENZITSU]

Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem (NAACL 2022)

近くに埋め込まれた単語は近しい意味を持つという健在性を保ちながら単語ベクトルを一次元に圧縮する手法の提案。

コメント

自然言語を一次元連続にするという全く新しい手法で、定性的にも定量的にも結果が出ているのがすごい。

出典

Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem (NAACL 2022)

[GENZITSU]

Accelerate BERT inference with Hugging Face Transformers and AWS Inferentia

distilbert-baseをinf1インスタンス用にNeuron SDKで最適化することで、4並列でレイテンシー6msの推論を可能にするチュートリアル。4並列できる分普通のGPUよりも速い。

コメント

inf1インスタンスは普通のgpuインスタンスよりも安いらしいので、使用を検討したいところ。

出典

Accelerate BERT inference with Hugging Face Transformers and AWS Inferentia

[GENZITSU]

スマートデバイス用の高速なアノテーションツール / Fast Annotation system for SmarT devices

サイバーエージェントが開発しているスマートフォン向けアノテーションツールの紹介。

コメント

簡単なラベリングがPCではなくスマホでできると捗りそう。

出典

• スマートデバイス用の高速なアノテーションツール / Fast Annotation system for SmarT devices
• CyberAgent / fast-annotation-tool

[GENZITSU]

PythonユーザによるRust入門

pythonとrustの代表的な違いが紹介されている。

コメント

メモ

出典

PythonユーザによるRust入門

[GENZITSU]

Hugging face t5-base-japaneseをTensor-RTで高速化してみた

TensorRT + fp16を用いることで、推論速度が1.25 → 0.26まで向上している

コメント

メモ

出典

• Hugging face t5-base-japaneseをTensor-RTで高速化してみた
• 公式チュートリアル