Closed ryokan0123 closed 4 months ago
--eval_include
args.evaluators
--eval_exclude
excludeの方が後ろで動くので,excludeの方が優先という設定なのでしょうか
そうですね、include したものの中から、さらに exclude する、という挙動になります。 本当は --eval_include と --eval_exclude を、どちらか一方だけ指定できるような排他的な関係にしてもよいのですが、少し特殊な指定も許容するようにしてみました。
PR をマージした後の挙動の変化
--eval_include
オプションにタスク名を追加することで、そのタスクのみ評価を実行することができる。挙動の変更を達成するために行ったこと
--eval_include
に含まれる値以外の evaluator をargs.evaluators
から削除する--eval_include
の値がargs.evaluators
に含まれるものであるかのチェックを追加--eval_exclude
についても追加動作確認