SCIPのinfeasibleな解の取り扱い

TakatoKinoshita commented 1 year ago

課題

一部の解で"objective": [-72000.0, 0.0, 0.0, 0.0]のような最強すぎる評価値が返ってくる
SCIPのinfeasibleを考慮していなかった結果と考えられる
- margin, xi, psiP, zPを0で初期化していたため，infeasibleだと計算されず0のまま

~今の方針~

~margin, xi, psiP, zPの初期化部分をsys.float_info.maxに変更~
- これにより，infeasibleで計算されない場合，目的関数値がsys.float_info.maxとなり，実質的な実行不可能性を表現
ただし，SCIPは動いているので評価回数や計算時間を消費する
~marginの計算箇所をif os.path.isfile(sol_file):の中に入れる？~
- 元から入ってるっぽい (f28f6434c6399378692ecd4658f4ef6f6eb660ea)
- なので，f1は最強のまま

~今の方針~

SCIPは動いているので評価回数や計算時間を消費する
実行不可能な場合，soutionファイルにその旨が書き込まれる
~とりあえず，実行不可能な場合は全目的関数値をsys.float_info.maxにリセットして返すのが良さそう？~
- スコアラーの対応を考慮
実行不可能な場合はearly returnする

今の方針

SCIPは動いているので評価回数や計算時間を消費する
実行不可能な場合，soutionファイルにその旨が書き込まれる
実行不可能な場合は，objectiveをnullにしてearly return
- 今使っているindicatorはnullの場合HVを計算しないので，とりあえずこれでOK

他の選択肢

sys.float_info.maxの代わりにnullを使う？
- nullの方がより中立的？sys.float_info.maxはPythonや一部の処理系贔屓？
- 普通の実行可能解と区別が付かないのは，後の解析等において負債になるかも
- objectiveの値は評価回数や計算時間の消費に関係がないっぽい
- f1が最強なので無理かも
- 論理和/積のように，1つでもnullがあれば全部nullみたいに処理する？
- 現状のindicatorが対応できない可能性はある
  - 少なくともHV系のindicatorは対応してそう
    - https://github.com/TakatoKinoshita/indicator-exe-time-limited-hypervolume/blob/e2f03e7c62e59f37e63ad7b415f17dbb83d1144f/hv.py#L127-L136C6
    - なので，コンペ的にはとりあえずOK
何かしらのメッセージを返すようにする？
- errorに非nullな値を入れるとevaluation_errorとして処理されてしまう

参考

TakatoKinoshita commented 1 year ago

f28f6434c6399378692ecd4658f4ef6f6eb660ea での実行結果

{"timeout": 20000,"weights": [0.26987797048323037,0.5,0.5,0.7301220295167696],"schedule": [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]}
{"objective": [-72000.0, 1.7976931348623157e+308, 1.7976931348623157e+308, 1.7976931348623157e+308], "constraint": null, "error": null, "info": {"exe_time": 0.6100991290004458}}

f1がsys.float_info.maxではなさそうなのが気になる．

予想される影響

HV, IGD, IGD+の評価値には影響はないはず
- ~IGD系はないとは言い切れないが，ほぼない~
- ~HVは確実にない~
- ~なので，コンペそのものには影響はない~
- HVの参照点設定や正規化処理等に影響するかも
f1が最強すぎるせいで弱パレート最適になる
- あとから解析するときに面倒そうではある

TakatoKinoshita commented 1 year ago

56086bfa9dc8964eb81dccce8171173e6e8c57f7 での実行結果

{"timeout": 20000,"weights": [0.26987797048323037,0.5,0.5,0.7301220295167696],"schedule": [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]}
{"objective": null, "constraint": null, "error": null, "info": {"exe_time": 0.5444604110089131}}

この結果を使った，indicatorでの実行結果

{"objective": null, "constraint": null, "error": null, "info": {"exe_time": 0.5444604110089131}}
[{"objective": [0, 0.5, 1], "info": {"exe_time": 20}, "score": 0.06600000000000007}, {"objective": [0.5, 1, 0], "info": {"exe_time": 20}, "score": 0.12600000000000014}, {"objective": [1, 0.5, 0], "info": {"exe_time": 20}, "score": 0.17600000000000016}]
WARNING:__main__:Current solution is not feasible.
{"score": 0.17600000000000016}

上手くいってそうなので，とりあえずこれでPR

opthub-org / problem-machine-scheduling

SCIPのinfeasibleな解の取り扱い #53