search

AutomotiveAIChallenge / aichallenge2022-sim

28 stars 12 forks source link

オンライン評価環境におけるチャレンジ コースのスコアの目安について #19

Closed kasecato closed 1 year ago

kasecato commented 1 year ago

質問

オンライン環境のチャレンジ コースにて，サンプル コードの状態のままでのスコアがおおよそ何秒台か，目安はありますでしょうか？

背景

上記条件下で試したところ 64 秒台で採点完了となり，異常に高速だと思い質問いたしました。 また，オンライン環境とローカル環境に内容の差分があることが RULE.md に以下のとおり記載されていることを把握しております。

オンライン採点環境・ローカル環境両方で以下の内容は共通していますが、イベントの順番、車両の位置等細かい内容は異なります。 各イベントについて記載している走破方法以外の経路・方法で走破した場合、オンライン採点環境では動作しない可能性があります。

しかし，ローカル環境ではサンプル コードで約 160 秒台だったコースが 64 秒台になるのか気になったため，お問い合わせしました。

hidechun commented 1 year ago

横から失礼致します。 お世話になっております。

当方のPC上でAWSIMを用いたシミュレーションで160秒台 本日オンライン環境にアップロードしたところ、以下の結果になりました。 高速すぎることに加え、スコアのばらつきもかなり大きく感じております。

2023-01-08 12:45 | 採点完了 | 77.85秒 2023-01-08 11:36 | 採点完了 | 75.85秒 2023-01-08 10:17 | 採点完了 | 64.90秒

考察ございましたらご教示いただけると幸いです。

hidechun commented 1 year ago

参考情報です。本日も試してみました。

2023-01-09 15:50 | 採点完了 | 76.24秒 2023-01-09 14:08 | 採点完了 | 102.27秒 2023-01-09 08:23 | 採点完了 | 129.16秒

kasecato commented 1 year ago

オンライン シミュレータで5回の平均計算に失敗した場合の外れ値が含まれているような挙動に見えるという印象です。

Reee009876 commented 1 year ago

お世話になっております。

解答が遅くなり、大変申し訳ありません。 現在、調査を行っておりますため、もうしばらくお時間をいただきたく存じます。

Reee009876 commented 1 year ago

おまたせしてしまい、大変申し訳ありません。

オンライン環境においてランキングのスコアがばらける問題について、修正が完了したため、 再度実行のほど、お願いいたします、

kasecato commented 1 year ago

@Reee009876 san, 修正を確認しました。スコアが数秒内で安定しているため問題ないと思いました。ありがとうございました。 また，サンプルのソースコードで 130 秒台と把握しました。

@hidechun san, もし問題がなければ Close したいと思います。

hidechun commented 1 year ago

アップロード後動作確認し、130秒近辺の出力になっていることを確認しました。 修正前は１時間かかっていたシミュレーション完了までの時間ですが、本日は４５分で完了致しました。 2023-01-14 13:29 | 採点完了 | 129.86秒

また、過去のアップロード分の出力結果も修正され、安定しています。 2023-01-08 12:45 | 採点完了 | 129.75秒 2023-01-08 11:36 | 採点完了 | 126.41秒 2023-01-08 10:17 | 採点完了 | 129.79秒

2023-01-09 15:50 | 採点完了 | 127.06秒 2023-01-09 14:08 | 採点完了 | 127.84秒 2023-01-09 08:23 | 採点完了 | 129.16秒

@Reee009876 さま　 AWSIMの実行時間よりは早い１３０秒となっておりますが、修正後に想定された出力時間となっておりますか？

@kasecato さま 想定通りであれば、Close頂いて良いと思います。

kasecato commented 1 year ago

結果なし からしばらくして 採点完了 になるケースがあるようです。 別の issue とします。

kasecato commented 1 year ago

@Reee009876 san オンライン評価環境のチャレンジ コースに「駐車しようとしている車両の回避」は本当に含まれていますでしょうか？

Reee009876 commented 1 year ago

お世話になっております。

@kasecato さま オンライン環境でのシナリオ中には、ローカル環境と少し動きが異なる「駐車しようとしている車両の回避」が含まれております。

なにかお気づきの点ががあれば、教えていただけると幸いです。 よろしくおねがいします。

kasecato commented 1 year ago

@Reee009876 san 承知しました。ご確認ありがとうございます。