search

OpenBMB / MiniCPM-V

MiniCPM-V 2.6: A GPT-4V Level MLLM for Single Image, Multi Image and Video on Your Phone
Apache License 2.0
12.71k stars 891 forks source link

[vllm] - 请求优化现有的batch inference模块 #636

Open Hibari36 opened 1 month ago

Hibari36 commented 1 month ago

起始日期 | Start Date

10/14/2024

实现PR | Implementation PR

现有的批处理推理效率基本没有获得提升，希望优化推理过程提升批处理效率。

相关Issues | Reference Issues

无

摘要 | Summary

现有的批处理推理效率基本没有获得提升，希望优化推理过程提升批处理效率。

基本示例 | Basic Example

现有的批处理推理效率基本没有获得提升，希望优化推理过程提升批处理效率。

缺陷 | Drawbacks

现有的批处理推理效率基本没有获得提升，希望优化推理过程提升批处理效率。

未解决问题 | Unresolved questions

现有的批处理推理效率基本没有获得提升，希望优化推理过程提升批处理效率。

zjmwqx commented 1 month ago

同问