search

ShannonAI / service-streamer

Boosting your Web Services of Deep Learning Applications.
Apache License 2.0
1.22k stars 187 forks source link

RedisStreamer如何配置batch_size&max_latency #67

Open c0derm4n opened 4 years ago

c0derm4n commented 4 years ago

您好，有几个问题请教下：

    1.在分布式web server为何RedisStreamer类的init方法中未传入batch_size, max_latency,cuda_devices等参数
    2.service-streamer.py中的run_redis_workers_forever方法应该是需要在RedisStreamer类初始化时调用，但是为何从未在任何地方调用？
c0derm4n commented 4 years ago

我的场景是： 希望在一块大显存GPU上开多个worker，然后每个worker支持批量推理 应该是最适合使用RedisStreamer类，对么

syyuan14 commented 3 years ago

我的场景是： 希望在一块大显存GPU上开多个worker，然后每个worker支持批量推理 应该是最适合使用RedisStreamer类，对么

我的场景是： 希望在一块大显存GPU上开多个worker，然后每个worker支持批量推理 应该是最适合使用RedisStreamer类，对么

最后问题解决了吗老哥

lfxx commented 3 years ago

我的场景是： 希望在一块大显存GPU上开多个worker，然后每个worker支持批量推理 应该是最适合使用RedisStreamer类，对么

我的场景是： 希望在一块大显存GPU上开多个worker，然后每个worker支持批量推理 应该是最适合使用RedisStreamer类，对么

最后问题解决了吗老哥

想知道问题解决了吗，官方的例子有点简陋，看不太懂

Meteorix commented 3 years ago

run_redis_workers_forever这个就是快捷方法，没有封装其他参数。可以自己抄一下这个函数，传进去。

Meteorix commented 3 years ago

我的场景是： 希望在一块大显存GPU上开多个worker，然后每个worker支持批量推理 应该是最适合使用RedisStreamer类，对么

这种可以用多进程的stream就够了

lfxx commented 3 years ago

我的场景是： 希望在一块大显存GPU上开多个worker，然后每个worker支持批量推理 应该是最适合使用RedisStreamer类，对么

这种可以用多进程的stream就够了

这个项目非常棒，不知您是否可以抽空更新一个可用的分布式web server例子，现有demo不是很懂，不知道在哪里添加cpu预处理函数，我看许多人也有这个疑问