search

layerism / TensorRT-Inference-Server-Tutorial

服务侧深度学习部署案例
454 stars 73 forks source link

您好，请问能给我官方模型的下载链接吗，还有就是想问下高并发模式下速度提高了多少 #2

Closed 17702513221 closed 4 years ago

layerism commented 4 years ago

官方的模型都是带 DCN 模块的，我提供的那个 model 并不能够加载，你要想测试速度，可以先生成随机的权重，然后评测一下。此外，并发并不提高模型速度，只是提高了吞吐，单个模型的计算延迟（包括计算和网络传输等），我在 P40 机器上测试的话，即便做了 int8，整体也要 25 ms 左右，trt inference server 有专门测试性能的工具，能详细服务的时间消耗。

17702513221 commented 4 years ago

谢谢

17702513221 commented 4 years ago

您好，请问在官网上怎么训练不带DCN模块的模型，官网是https://github.com/Duankaiwen/CenterNet这个吗。

layerism commented 4 years ago

官网没有，要自己训练

zxgm commented 4 years ago

官方tensorrt inference server 的qa/common目录下有对应模型的生成脚本.py文件，例如gen_qa_sequence_models.py