search

itlab-vision / dl-benchmark

Deep Learning Inference benchmark. Supports OpenVINO™ toolkit, TensorFlow, TensorFlow Lite, ONNX Runtime, OpenCV DNN, MXNet, PyTorch, Apache TVM, ncnn, PaddlePaddle, etc.
http://hpc-education.unn.ru/dli
Apache License 2.0
27 stars 37 forks source link

[TVM] save to tar #490

Closed Rodimkov closed 10 months ago

Rodimkov commented 10 months ago

@ismukhin, мы можем сохранять модель если используем relay без указания в коде расширения, чтобы можно было сохранять и в tar и в so или это может сломать какую-то зависимость?

ismukhin commented 10 months ago

@ismukhin, мы можем сохранять модель если используем relay без указания в коде расширения, чтобы можно было сохранять и в tar и в so или это может сломать какую-то зависимость?

По идее, ничего сломаться не должно, но тогда нужно учитывать, что расширение задаем в имени файла (параметр lib_name в tvm_compiler, вроде бы).

valentina-kustikova commented 10 months ago

@Rodimkov, смок-тесты упали, надо поправить. Спасибо!

Rodimkov commented 10 months ago

@valentina-kustikova не имею ни малейшего представления почему упали тесты :) Он не видит файл ./models_dir/alexnet_vm.so, но кто его должен создать и зачем он вообще нужен при запуске инференса я не понимаю :)

ismukhin commented 10 months ago

@valentina-kustikova не имею ни малейшего представления почему упали тесты :) Он не видит файл ./models_dir/alexnet_vm.so, но кто его должен создать и зачем он вообще нужен при запуске инференса я не понимаю :)

Посмотрите в файле tests/smoke_tests/benchmark_smoke/conftest.py в функции convert_models_to_tvm строчку, где объявляется переменная tvm_compiler, там, вероятно, нужно у параметра --lib_name написать расширение .so