search

itlab-vision / dl-benchmark

Deep Learning Inference benchmark. Supports OpenVINO™ toolkit, TensorFlow, TensorFlow Lite, ONNX Runtime, OpenCV DNN, MXNet, PyTorch, Apache TVM, ncnn, PaddlePaddle, etc.
http://hpc-education.unn.ru/dli
Apache License 2.0
27 stars 37 forks source link

[TVM] add detection models to .sh script #494

Closed ismukhin closed 9 months ago

FenixFly commented 9 months ago

В начале скрипта несколько раз ставится openvino-dev, apache-tvm, tensorflow-addons, tensorflow-probability, onnx-tf без указания версий. Пожалуйста, добавьте версии, которые сейчас ставятся у вас при запуске скприта. Правильная версия apache-tvm видимо нам особенно важна. Строка 37 дублирует строку 38, ее можно удалить.

С версиями по умолчанию у меня не сконвертировалась pytorch модель ========== Converting resnet-50-pytorch to ONNX Conversion to ONNX command: /home/vasiliev/miniconda3/envs/tvm/bin/python -- /home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py --model-name=resnet50 --weights=/home/vasiliev/_dev/itlab/dl-benchmark-vasilev/docker/TVM/public/resnet-50-pytorch/resnet50-19c8e357.pth --import-module=torchvision.models --input-shape=1,3,224,224 --output-file=/home/vasiliev/_dev/itlab/dl-benchmark-vasilev/docker/TVM/public/resnet-50-pytorch/resnet-v1-50.onnx --input-names=data --output-names=prob

Traceback (most recent call last): File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 187, in main() File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 179, in main model = load_model(args.model_name, args.weights, File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 126, in load_model with prepend_to_path(model_paths): File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 49, in enter sys.path = self._preprended_paths + sys.path TypeError: unsupported operand type(s) for +: 'NoneType' and 'list'

FAILED: resnet-50-pytorch

@ismukhin

ismukhin commented 9 months ago

В начале скрипта несколько раз ставится openvino-dev, apache-tvm, tensorflow-addons, tensorflow-probability, onnx-tf без указания версий. Пожалуйста, добавьте версии, которые сейчас ставятся у вас при запуске скприта. Правильная версия apache-tvm видимо нам особенно важна. Строка 37 дублирует строку 38, ее можно удалить.

С версиями по умолчанию у меня не сконвертировалась pytorch модель ========== Converting resnet-50-pytorch to ONNX Conversion to ONNX command: /home/vasiliev/miniconda3/envs/tvm/bin/python -- /home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py --model-name=resnet50 --weights=/home/vasiliev/_dev/itlab/dl-benchmark-vasilev/docker/TVM/public/resnet-50-pytorch/resnet50-19c8e357.pth --import-module=torchvision.models --input-shape=1,3,224,224 --output-file=/home/vasiliev/_dev/itlab/dl-benchmark-vasilev/docker/TVM/public/resnet-50-pytorch/resnet-v1-50.onnx --input-names=data --output-names=prob

Traceback (most recent call last): File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 187, in main() File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 179, in main model = load_model(args.model_name, args.weights, File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 126, in load_model with prepend_to_path(model_paths): File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 49, in enter sys.path = self._preprended_paths + sys.path TypeError: unsupported operand type(s) for +: 'NoneType' and 'list'

FAILED: resnet-50-pytorch

@ismukhin

Немного не понял место, где вызывается конвертация pytorch модели в onnx?

ismukhin commented 9 months ago

В начале скрипта несколько раз ставится openvino-dev, apache-tvm, tensorflow-addons, tensorflow-probability, onnx-tf без указания версий. Пожалуйста, добавьте версии, которые сейчас ставятся у вас при запуске скприта. Правильная версия apache-tvm видимо нам особенно важна. Строка 37 дублирует строку 38, ее можно удалить. С версиями по умолчанию у меня не сконвертировалась pytorch модель ========== Converting resnet-50-pytorch to ONNX Conversion to ONNX command: /home/vasiliev/miniconda3/envs/tvm/bin/python -- /home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py --model-name=resnet50 --weights=/home/vasiliev/_dev/itlab/dl-benchmark-vasilev/docker/TVM/public/resnet-50-pytorch/resnet50-19c8e357.pth --import-module=torchvision.models --input-shape=1,3,224,224 --output-file=/home/vasiliev/_dev/itlab/dl-benchmark-vasilev/docker/TVM/public/resnet-50-pytorch/resnet-v1-50.onnx --input-names=data --output-names=prob Traceback (most recent call last): File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 187, in main() File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 179, in main model = load_model(args.model_name, args.weights, File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 126, in load_model with prepend_to_path(model_paths): File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 49, in enter sys.path = self._preprended_paths + sys.path TypeError: unsupported operand type(s) for +: 'NoneType' and 'list' FAILED: resnet-50-pytorch @ismukhin

Немного не понял место, где вызывается конвертация pytorch модели в onnx?

Во время конвертации модели из omz?

FenixFly commented 9 months ago

В начале скрипта несколько раз ставится openvino-dev, apache-tvm, tensorflow-addons, tensorflow-probability, onnx-tf без указания версий. Пожалуйста, добавьте версии, которые сейчас ставятся у вас при запуске скприта. Правильная версия apache-tvm видимо нам особенно важна. Строка 37 дублирует строку 38, ее можно удалить. С версиями по умолчанию у меня не сконвертировалась pytorch модель ========== Converting resnet-50-pytorch to ONNX Conversion to ONNX command: /home/vasiliev/miniconda3/envs/tvm/bin/python -- /home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py --model-name=resnet50 --weights=/home/vasiliev/_dev/itlab/dl-benchmark-vasilev/docker/TVM/public/resnet-50-pytorch/resnet50-19c8e357.pth --import-module=torchvision.models --input-shape=1,3,224,224 --output-file=/home/vasiliev/_dev/itlab/dl-benchmark-vasilev/docker/TVM/public/resnet-50-pytorch/resnet-v1-50.onnx --input-names=data --output-names=prob Traceback (most recent call last): File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 187, in main() File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 179, in main model = load_model(args.model_name, args.weights, File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 126, in load_model with prepend_to_path(model_paths): File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 49, in enter sys.path = self._preprended_paths + sys.path TypeError: unsupported operand type(s) for +: 'NoneType' and 'list' FAILED: resnet-50-pytorch @ismukhin

Немного не понял место, где вызывается конвертация pytorch модели в onnx?

Во время конвертации модели из omz?

Вызывается в строке 103. У меня кажется в 2022.3 модель не конвертировалась. Надо проверить в какой версии openvino-dev модель сконвертируется, и зафиксировать ее. Чтобы узнать версии работающих библиотек внутри всех энвайрментов, можно запустить с дефолтом, но в конце вырезать удаление энвайрментов из системы, и посмотреть что там установилось

valentina-kustikova commented 9 months ago

В начале скрипта несколько раз ставится openvino-dev, apache-tvm, tensorflow-addons, tensorflow-probability, onnx-tf без указания версий. Пожалуйста, добавьте версии, которые сейчас ставятся у вас при запуске скприта. Правильная версия apache-tvm видимо нам особенно важна. Строка 37 дублирует строку 38, ее можно удалить. С версиями по умолчанию у меня не сконвертировалась pytorch модель ========== Converting resnet-50-pytorch to ONNX Conversion to ONNX command: /home/vasiliev/miniconda3/envs/tvm/bin/python -- /home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py --model-name=resnet50 --weights=/home/vasiliev/_dev/itlab/dl-benchmark-vasilev/docker/TVM/public/resnet-50-pytorch/resnet50-19c8e357.pth --import-module=torchvision.models --input-shape=1,3,224,224 --output-file=/home/vasiliev/_dev/itlab/dl-benchmark-vasilev/docker/TVM/public/resnet-50-pytorch/resnet-v1-50.onnx --input-names=data --output-names=prob Traceback (most recent call last): File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 187, in main() File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 179, in main model = load_model(args.model_name, args.weights, File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 126, in load_model with prepend_to_path(model_paths): File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 49, in enter sys.path = self._preprended_paths + sys.path TypeError: unsupported operand type(s) for +: 'NoneType' and 'list' FAILED: resnet-50-pytorch @ismukhin

Немного не понял место, где вызывается конвертация pytorch модели в onnx?

Во время конвертации модели из omz?

Вызывается в строке 103. У меня кажется в 2022.3 модель не конвертировалась. Надо проверить в какой версии openvino-dev модель сконвертируется, и зафиксировать ее. Чтобы узнать версии работающих библиотек внутри всех энвайрментов, можно запустить с дефолтом, но в конце вырезать удаление энвайрментов из системы, и посмотреть что там установилось

Насколько я помню, модель из пакета torchvision.

ismukhin commented 9 months ago

В начале скрипта несколько раз ставится openvino-dev, apache-tvm, tensorflow-addons, tensorflow-probability, onnx-tf без указания версий. Пожалуйста, добавьте версии, которые сейчас ставятся у вас при запуске скприта. Правильная версия apache-tvm видимо нам особенно важна. Строка 37 дублирует строку 38, ее можно удалить. С версиями по умолчанию у меня не сконвертировалась pytorch модель ========== Converting resnet-50-pytorch to ONNX Conversion to ONNX command: /home/vasiliev/miniconda3/envs/tvm/bin/python -- /home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py --model-name=resnet50 --weights=/home/vasiliev/_dev/itlab/dl-benchmark-vasilev/docker/TVM/public/resnet-50-pytorch/resnet50-19c8e357.pth --import-module=torchvision.models --input-shape=1,3,224,224 --output-file=/home/vasiliev/_dev/itlab/dl-benchmark-vasilev/docker/TVM/public/resnet-50-pytorch/resnet-v1-50.onnx --input-names=data --output-names=prob Traceback (most recent call last): File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 187, in main() File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 179, in main model = load_model(args.model_name, args.weights, File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 126, in load_model with prepend_to_path(model_paths): File "/home/vasiliev/miniconda3/envs/tvm/lib/python3.8/site-packages/openvino/model_zoo/internal_scripts/pytorch_to_onnx.py", line 49, in enter sys.path = self._preprended_paths + sys.path TypeError: unsupported operand type(s) for +: 'NoneType' and 'list' FAILED: resnet-50-pytorch @ismukhin

Немного не понял место, где вызывается конвертация pytorch модели в onnx?

Во время конвертации модели из omz?

Вызывается в строке 103. У меня кажется в 2022.3 модель не конвертировалась. Надо проверить в какой версии openvino-dev модель сконвертируется, и зафиксировать ее. Чтобы узнать версии работающих библиотек внутри всех энвайрментов, можно запустить с дефолтом, но в конце вырезать удаление энвайрментов из системы, и посмотреть что там установилось

Насколько я помню, модель из пакета torchvision.

Я сломал себе энвайромент, поэтому это займет определенное время (что-то с conda внутри моей системы)

ismukhin commented 9 months ago

Я хоть и сломал себе свои энвайроменты, но при таких версиях пакетов вроде сконвертировалось всё

valentina-kustikova commented 9 months ago

@ismukhin, в ветке какие-то конфликты. Разрешите, пожалуйста.

valentina-kustikova commented 9 months ago

@FenixFly, посмотри, пожалуйста.