新增了运行环境Dockerfile

[gptq]

请参考基于vllm做的：https://github.com/gptq/vllm/blob/main/Dockerfile 成品： docker run -itd --name vtelechat --runtime nvidia --gpus all -p 8501:8501 -p 8070:8070 blackmini/vllm:telechat bash

[shunxing12345]

请参考基于vllm做的：https://github.com/gptq/vllm/blob/main/Dockerfile 成品： docker run -itd --name vtelechat --runtime nvidia --gpus all -p 8501:8501 -p 8070:8070 blackmini/vllm:telechat bash

您好 想问一下 这个docker 可以用于使用vllm对于telechat 的推理吗

[gptq]

并不能。只是优化了vllm的运行环境，可以用这个环境运行telechat，有了这个环境才有可能实现你说的用vllm对telechat的推理。这个Dockerfile目前有2个意义： 1、实现了运行环境的白盒，可以为自定义提供了可能； 2、实现了运行环境的压缩，从官方的18G减少到4.07G。（hub.docker.com上是4.07G，docker pull到本地解压后是9G）

[shunxing12345]

我尝试了在vllm中添加telechat的适配12B 的模型可能会因为模型架构原因导致无法适配pagedattention