Try probablistic test for multiple times - Githubissues

Qulacs-Osaka / qulacs-osaka

Development branch of qulacs at Osaka Univ

MIT License

13 stars 6 forks source link

Try probablistic test for multiple times #367

Closed KowerKoint closed 2 years ago

KowerKoint commented 2 years ago

たまにコードは正しいのにテストが落ちる。これは開発において余計なストレスになるし、READMEのバッジがCI:failedになるのも印象が悪い。こういうのはほとんどサンプリングの偏りなどで生じる確率的なものなのでそっちに対する統一的な対応をする。

「とても運が悪くてズレる」のは仕方ないのでそれがめったに(10回中2回など)起こらないことを示す
実装例は#283 みたいな感じ
_CHECK_NEARという一発ではテスト自体には落とさないけどGTest風のエラーメッセージを返すマクロをここで作ってるので外でも活用したい

ikanago commented 2 years ago

最近 NoisyEvolutionTest が落ちてたので一応貼っておきます: https://github.com/Qulacs-Osaka/qulacs-osaka/runs/7294964972?check_suite_focus=true