Jittor / jittor

Jittor is a high-performance deep learning framework based on JIT compiling and meta-operators.
https://cg.cs.tsinghua.edu.cn/jittor/
Apache License 2.0
3.08k stars 311 forks source link

请求Deploy Jittor Module using C++ #344

Open delldu opened 2 years ago

delldu commented 2 years ago

TVM 用户有"Deploy TVM Module using C++", 请参阅 https://tvm.apache.org/docs/how_to/deploy/cpp_deploy.html, 同样Jittor用户希望有"Deploy Jittor Module using C++"。

1.非常、非常、非常重要

1)我们投入时间和精力去训练模型,唯一的目的就是应用(推理),没有它,训练模型有什么用?还不如训练小狗小猫有意思,对吗? 2)如果推理还要Jittor运行环境,就象普通人背个千斤大石头跑步,令人崩溃,更重要的是,大多数人背不动,死路一条。

2.最高优先级别的任务

1)我们理解Jittor开发有优先级,前期可能是验证可行,这个已经实现,非常不错!但现在要验证有用,所以请求是现在最高优先级的任务,因为它是唯一让模型有价值的任务。 2)这件事对核心开发团队来讲,不难,工程量不大,因为理论上,模型能跑起来了!前端虽是python, 但真正动起来的是机器码,形式上表现为c/c++/cuda等生成的静动态库,C/C++可无缝使用它们,所以现在的任务就是收集Jittor运行数据,把它们打包成库(libx.a/libx.so之类)供给用户调用,就像用线把珍珠串起来,Jittor缺这根金丝线! 3)粗略的流程是:Create Jittor Model --> Trainning --> Test OK --> Export Model as libx.a/libx.so(等待实现),具体实现也许就是添加一些标志,建立跟踪表之类的,对天才的核心开发者,可能一天时间都不要,对不熟悉Jittor流程的普通开发者,就是珠穆朗玛峰,永远难于逾越!所以麻烦您们了

3.一例胜千言

多数开发者不熟悉Load Jittor Model --> Feed input --> Run inference --> Get Output的C/C++代码, 所以他们会提各种需求,给个最小可行例子就好。例子不仅给用户启发,而且是解决用户无休无止提要求最好的一种方式,相信我!

Jittor commented 2 years ago

您好,感谢您的建议,您可以加我微信 randonlang,我想了解一下您的需求