search

huawei-noah / bolt

Bolt is a deep learning library with high performance and heterogeneous flexibility.
https://huawei-noah.github.io/bolt/
MIT License
918 stars 160 forks source link

支持TorchScript格式的模型做为输入吗 ? #59

Closed shoveller86 closed 2 years ago

shoveller86 commented 3 years ago

REAMDE的介绍上, 从REAMDE文档以及代码目录上来开, PyTorch模型有2种转换方式:

  1. PyTorch->ONNX
  2. PyTorch->Caffe 这2中方式都有比较大的局限.比如PyTorch->ONNX方式, PyTorch自身的一些Prim算子(IF, LOOP, LISTUNPACK ... )ONNX支持不好或者不支持. 所以目前的Runtime推理框架是否考虑支持PyTorch Script做为模型的输入格式?

https://pytorch.org/docs/stable/jit.html?highlight=script https://github.com/pytorch/pytorch/tree/master/torch/csrc/jit

zhiqwang commented 3 years ago

FYI , ncnn 正在做一个 torchscript 转换的工具 https://github.com/Tencent/ncnn/pull/3262

同样感觉，bolt 如果也能支持 torchscript 会方便一些 pytorch 模型的转换。

jianfeifeng commented 3 years ago

已收到你们提出的需求，后续团队会认真评估并考虑将其纳入开发计划，谢谢。

shoveller86 commented 3 years ago

已收到你们提出的需求，后续团队会认真评估并考虑将其纳入开发计划，谢谢。

挖坑, 哈哈