TVM 拆包 | Chenfan Blog

jcf94 / blog-comments

A repository for my personal blog.

http://jcf94.com/

2 stars 0 forks source link

TVM 拆包 | Chenfan Blog #167

Open jcf94 opened 5 years ago

jcf94 commented 5 years ago

http://jcf94.com/2019/09/14/2019-09-14-tvm/

还是应该多写东西，感觉离开学校以后写的越来越少了，真是惭愧。之后的工作有很多是要跟神经网络的编译执行相关，准备继 TF 拆包之后再来记一下我对 TVM 的探索过程。（也许有空也会看一下 XLA 吧，不过那个应该是要合到 TF 的拆包系列里面去了）

sjmhha commented 5 years ago

郏神牛B！

heliqi commented 4 years ago

请问你后续有了解使用TVM更多的地方么，有计划分享下一篇博客么？想做推理加速引擎这一块，发现TVM代码挺难读的..

jcf94 commented 4 years ago

请问你后续有了解使用TVM更多的地方么，有计划分享下一篇博客么？想做推理加速引擎这一块，发现TVM代码挺难读的..

额，会的，其实我目前也在继续做 TVM 相关的工作。这个系列本来也是会打算自己继续往后面整理的，不过这段时间事情比较多，有点忙（另一方面是我自己有点太懒了哈哈），挖了很多坑都没有填。以后我尽量有空多把我的一些经验都理出来吧。

heliqi commented 4 years ago

看你地址杭州，最后去阿里PAI啦？你了解TVM编译后的模型部署到生产环境相关的嘛？如果自己写Java之类的后台去加载提供服务，跟其他没经过TVM优化的模型就不一样了。或者你有了解TVM模型用TF Serving去实现加载并提供服务？

jcf94 commented 4 years ago

@heliqi 嗯，是的，我现在是在 PAI 这边。我们隔壁组可能有这些方面的经验，我们组暂时不太接触的到部署这方面。前端服务部分我们会用别的项目去处理，我们目前主要是把 TVM 作为一个计算密集型算子生成的后端考虑，甚至我们的用法可能是用 TVM 生成出性能好的 kernel 把 kernel 保存出来单独用。倒是有个 TVM 开发者社区的微信群，这方面的问题可能在那里面问应该有人能帮上忙，感兴趣的话可以邮件发我你的微信号我帮你拉一下。

jcf94 commented 3 years ago

Emmm ... 一年来有好多同学看了这里的评论发邮件让我帮忙拉群，前期没有进垃圾箱的我应该都已经帮拉过了。由于目前该群人数已经很多了，每次拉人都需要找群主验证，且这个群平时也基本上不太活跃，讨论的人比较少，因此不再拉人了哈，大家可以善用论坛：https://discuss.tvm.apache.org/ 基本上还是这里响应比较及时。