furiosamg
commented
1 year ago - FuriosaAI SDK 0.10.0의 새 런타임은 TLS 부족 이슈를 겪고 있는데요, torch보다 import를 먼저 하면 libgomp의 TLS 가 부족하다고 에러가 나고, torch를 먼저 import 하면 native runtime의 TLS가 부족하다고 에러가 납니다.
- native runtime과 libgomp 중 libgomp를 preload 하는 것으로 문제를 우회할 수 있는데요, 이러려면 torch를 늦게 import 해서 libgomp의 에러 메시지를 보여주는 것이 유리합니다.
- 예전에는 furiosa-runtime이 furiosa-models의 선택 의존성이라 import 하는 부분을 함수 안에 넣어놨었는데요, 지금은 그렇지 않고 먼저 import 하는 것이 장점도 있으므로 import를 먼저 하게 바꿉니다.
- flit이 packaging 할 때 파이썬 패키지와 관련 없는 파일들도 패키징 하고 있는데요, 그러지 않도록 메타데이터를 잘 설정하게 바꿨습니다.
- with_scaling 인자에 대해서 예시 코드에도 자세한 주석을 추가했습니다.