furiosa-ai / furiosa-models

FuriosaAI Model Zoo Project
https://furiosa-ai.github.io/furiosa-models/
Apache License 2.0
8 stars 6 forks source link

Few problems regarding Model Zoo #153

Open furiosamg opened 1 year ago

furiosamg commented 1 year ago
  1. 정확도 관련 문제
    • numpy, torch 등 (추측임) 모델 주가 의존하는 다른 패키지들에 의해 정확한 실험값, 정확도들이 바뀔 수 있음
    • regression test 때 pip freeze 명령 결과를 댓글로 달면 좋을 것 같고,
    • version release 할 때 몇몇 패키지들은 버전을 고정하는 것이 좋아보임
  2. furiosa ir 하위호환성 문제
    • libcompiler, furiosa-quantizer-impl 등의 버전이 모델 주 버전과 exact match 해야 하는데 지금은 loosely couple 되어서 문제 발생 가능
    • 당장 quantizer-impl의 최신 버전이 깔릴 수 있고 onnx부터 컴파일하면 incompatible model error가 남
  3. github-add-comment task validation 문제
    • tekton version이 업그레이드 됨에 따라 parameter validation이 강화되어서 현재 task는 에러남
    • parameter 되살리던지, custom task 대신 gh cli 쓰는 등으로 해결해야 할 것 같음
  4. artifact 관리가 힘듦
    • furiosa-artifacts 라는 새 패키지로 분리 및 기능 보완 예정
furiosamg commented 1 year ago

2는 런타임에서 버전 체크를 하게 되어서 일부 해결 3은 gh cli 를 쓰는 것으로 #154 에서 해결됨