Open fengyanWang opened 5 months ago
请问paddleLite这个库是没有人维护了吗?
已经几个月没更新了,很多认识的职员也离职或调岗
- 标题:paddleLite在arm上推理与onnxruntime推理耗时差异过大
- 版本、预测库信息: 1)Paddle Lite 版本:v2.13 2)Host 环境:Ubuntu 18.04 3)运行设备环境:展锐S8000 4)预测后端信息:CPU fp16
- 预测信息 1)预测 API:C++ 2)预测选项信息:armv8、单线程 3)预测库来源:官网下载
- 复现信息:模型如下
- 问题描述:就这个模型,使用onnxruntime进行推理的时候,耗时仅为40ms,但是使用paddlelite进行推理,耗时则变成了1.1s左右,差异太大了,还麻烦看看,是哪里的问题
模型链接为:https://drive.google.com/drive/folders/1dufr3PAx7E743s5ycQZuJYgyxTyazAvL?usp=sharing
————— 你好 看到你的github 我想你是步步高家教机工程师 这里我有一台步步高家教机S3出现了故障 原因是这台设备刷入了一个System 这导致我的设备无法进入loader模式 主板上我没有找到EMMC_CLK点让这台设备进入MaskROM模式 关于这台设备的维修资料甚少 我的微信是19153241610 我的QQ是3453501674 我可能很需要你的帮助 谢谢
- 标题:paddleLite在arm上推理与onnxruntime推理耗时差异过大
- 版本、预测库信息: 1)Paddle Lite 版本:v2.13 2)Host 环境:Ubuntu 18.04 3)运行设备环境:展锐S8000 4)预测后端信息:CPU fp16
- 预测信息 1)预测 API:C++ 2)预测选项信息:armv8、单线程 3)预测库来源:官网下载
- 复现信息:模型如下
- 问题描述:就这个模型,使用onnxruntime进行推理的时候,耗时仅为40ms,但是使用paddlelite进行推理,耗时则变成了1.1s左右,差异太大了,还麻烦看看,是哪里的问题
模型链接为:https://drive.google.com/drive/folders/1dufr3PAx7E743s5ycQZuJYgyxTyazAvL?usp=sharing
能提供一下原始的 Paddle 模型吗?我看你只提供了 nb模型。 然后是否能用 https://www.paddlepaddle.org.cn/lite/v2.12/performance/benchmark_tools.html 提供的 benchmark 方法,看下是哪个算子耗时很大,理论上差距不一样这么大的。
模型链接为:https://drive.google.com/drive/folders/1dufr3PAx7E743s5ycQZuJYgyxTyazAvL?usp=sharing