Open jieli4970 opened 4 years ago
您好,您用6layer的并发支持好吗?我是用tf serving来落地的,但是并发一般呀。感谢回复
serving的并发和模型关系不大,和框架有关。你可以试试nvidia的transformer加速模块
感谢。
您好,您用6layer的并发支持好吗?我是用tf serving来落地的,但是并发一般呀。感谢回复