Multi-Objective-NAS / self-supervised-nas

Official implementation of the paper "Pretraining Neural Architecture Search Controllers with Locality-based Self-Supervised Learning" (NeurIPSW 2020)
5 stars 0 forks source link

Add stat test #16

Closed Naruu closed 3 years ago

Naruu commented 3 years ago

테스트 결과 예시

스크린샷 2020-09-25 오전 7 58 25
juice500ml commented 3 years ago

BTW, do tests fail for the current implementation? Should I be worried?

Naruu commented 3 years ago

BTW, do tests fail for the current implementation? Should I be worried?

GraphModifier가 생성하는 modified graph의 edit distance 비율이 GraphModifier에 넣어주는 graph_modify_ratio와 차이나는 경우가 종종 있네요.

현재는 input으로 넣어준 비율과 실제로 생성된 비율이 0.05보다 많이 차이나는지 테스트하는데, 통과하지 못하는 경우가 종종 발생합니다. (이 경우에는 덜 생성되는 것은 아니고 다른 edit-distance의 비율이 높아집니다.)

  1. edit-distance=3일 때 비율 조정 edit-distance=3일 때, 아래 4가지 중 1가지를 선택하는데 4,5에서 invalid한 architecture인 경우가 많아서 그런 것 같네요

    node edge
    1 replace 3 insert/delete 0
    2 replace 2 insert/delete 1
    3 replace 1 insert/delete 2
    4 replace 0 insert/delete 3
    5 delete 1 delete 2

    지금은 1, 2, 3, 4, 5를 동일한 확률로 선택하고 있는데, 이 비율을 조정하면 해결할 수 있을 것 같습니다.

  2. try_edit 수정 현재 : edit-distance=x로 edit 시도 -> 실패 -> edit-distance=1,2,3 중에서 선택 변경안 : edit-distance=x로 edit 시도 -> 실패 -> edit-distance=x로 다시 edit 시도 이렇게 바꾸는 방법도 있을 것 같네요.

1번만 반영해도 충분할 것 같긴 한데, 둘 다 적용해도 될 것 같습니다~