The evaluation scripts of JMTEB (Japanese Massive Text Embedding Benchmark)
Creative Commons Attribution Share Alike 4.0 International
24
stars
4
forks
source link
[bug] 複数GPU使用時、cacheを利用した場合としない場合でclassification taskのスコアが異なる #49
Open
akiFQC opened 1 month ago
複数GPU使用時、cacheを利用した場合としない場合でclassification taskのスコアが異なる、という問題が起こっています。
起こっている問題
実行環境
https://github.com/sbintuitions/JMTEB/tree/dev
を使用実行したこと
下記の2コマンドでで JMTEBを評価
実験1
実験1に続いて、実験1のcacheを利用して実験2を実施
実験2 (バッチサイズ 64→16, overwrite_cache true→false)
結果
実験1と2で
amazon_counterfactual_classification
,amazon_review_classification
のスコアが大きく異なる。amazon_counterfactual_classification
実験1 (キャッシュなし)
実験2(キャッシュあり)
amazon_review_classification
実験1(cacheなし)
実験2(キャッシュあり)