icpc-jag / rime

Rime: Automation Tool for Programming Contest Organizers
MIT License
45 stars 28 forks source link

output judgeがある場合、diffファイルが正しいかチェックされない #45

Open not522 opened 7 years ago

not522 commented 7 years ago

output judgeありの場合、diffファイルが正しい出力になっているかのチェックが行われない。 誤差ジャッジの場合は比較が行われるので問題になりにくいが、constructiveな問題の場合、一切チェックが行われない可能性がある。

hiroshi-cl commented 7 years ago

output judgeありなしにかかわらず .diff の内容は信用するという設計になっているはず。 .diff validator が欲しいということ? constructiveな問題の場合、そもそもダミーしか要らないので省略できるようにした方がいいのかも?

not522 commented 7 years ago

constructiveな問題でdiffファイルをsample用に準備していて、そのdiffが正答ではなかったということがありました。 対策としては、judgeがある場合だけrefrunのあとにjudgeをかませる修正を入れれば大丈夫かと。