Open Quvotha opened 3 years ago
text_feature_extraction.py の make_or_load_vector について name+description を対象に lda_count でベクトル化を行おうとした場合に結果の再現がうまくいかない問題を見つけた。
make_or_load_vector
name+description
overwrite
保存する時に小数点以下の桁落ち等が発生している?時間が無いので詳しく調べていない。コンペが終わってから調べる。
Originally posted by @Quvotha in https://github.com/Quvotha/aiquest2021-assesment/issues/12#issuecomment-894761262
発生事象
text_feature_extraction.py の
make_or_load_vector
についてname+description
を対象に lda_count でベクトル化を行おうとした場合に結果の再現がうまくいかない問題を見つけた。overwrite
のフラグを False にして 1. でファイルに保存した文章ベクトルを読み込んでも 1. と同じ結果を再現できないoverwrite
のフラグを True にして文章ベクトルを毎回計算させる(ファイルに出力した結果を使わない)と 1. と同じ結果を再現できるoverwrite
を True にして複数回実行するとその都度同じ結果を再現できるoverwrite
を False にして複数回実行すると毎回同じ結果を再現できるが 4. とは異なる結果である(4. の方がスコアは良い)保存する時に小数点以下の桁落ち等が発生している?時間が無いので詳しく調べていない。コンペが終わってから調べる。
Originally posted by @Quvotha in https://github.com/Quvotha/aiquest2021-assesment/issues/12#issuecomment-894761262