Closed xansar closed 1 month ago
设置不同的vllm_vllm_gpu_memory_utilization参数值时,vllm预占用的显存没有变化。 发现在utilization/utils/arguments.py#L371处,vllm_vllm_gpu_memory_utilization已经被写死为0.9,将此处注释掉后、并将vllm_vllm_gpu_memory_utilization的默认值由None修改为0.9发现可以通过vllm_vllm_gpu_memory_utilization进行控制预占用显存的大小。
Already fixed it.
设置不同的vllm_vllm_gpu_memory_utilization参数值时,vllm预占用的显存没有变化。 发现在utilization/utils/arguments.py#L371处,vllm_vllm_gpu_memory_utilization已经被写死为0.9,将此处注释掉后、并将vllm_vllm_gpu_memory_utilization的默认值由None修改为0.9发现可以通过vllm_vllm_gpu_memory_utilization进行控制预占用显存的大小。