search

Z-yq / TensorflowASR

一个执着于让CPU\端侧-Model逼近GPU-Model性能的项目，CPU上的实时率(RTF)小于0.1
Apache License 2.0
461 stars 111 forks source link

关于推断速度 #15

Closed Step-Zero closed 3 years ago

Step-Zero commented 3 years ago

你好，请问你写的推断速度是指一次推断吗？因为我这试着一句话的推断还是挺慢的，每一个输出都依赖上一次输出，推断次数是帧数乘以你写的毫秒数吧？

Z-yq commented 3 years ago

您用的是python版本还是 C版本？ CTC 还是 RNN-T 还是LAS 还是Transformer？

Step-Zero commented 3 years ago

python版本 用的Transducer，encoder是Transformer。

Z-yq commented 3 years ago

响应速率应该看第二次推断的消耗时间， 第一次推断需要加载图到内存，消耗时间自然多 ------------------ 原始邮件 ------------------ 发件人: "Step-Zero"<notifications@github.com> 发送时间: 2020年11月11日(星期三) 晚上8:14 收件人: "Z-yq/TensorflowASR"<TensorflowASR@noreply.github.com>; 抄送: "Z-yq"<641242921@qq.com>;"Comment"<comment@noreply.github.com>; 主题: Re: [Z-yq/TensorflowASR] 关于推断速度 (#15)

Step-Zero commented 3 years ago

时间打印的是perform_greedy函数执行的时间，15s的音频推断时间大约5s（没有使用 lm），是不是差不多就是这个处理速度？

Z-yq commented 3 years ago

感觉是初始预测时间，您可以一次脚本中循环预测若干次看看响应时间，如果都是5秒，那可能是当前机器CPU算力较低、内存较少------------------ 原始邮件 ------------------ 发件人: "Step-Zero"<notifications@github.com> 发送时间: 2020年11月11日(星期三) 晚上8:33 收件人: "Z-yq/TensorflowASR"<TensorflowASR@noreply.github.com>; 抄送: "Z-yq"<641242921@qq.com>;"Comment"<comment@noreply.github.com>; 主题: Re: [Z-yq/TensorflowASR] 关于推断速度 (#15)

Step-Zero commented 3 years ago

确实是只有第一次推断时间比较长，之后15s左右的音频推断时间也只有600ms。感谢耐心解答