Open ishulei opened 2 months ago
如何将Pytorch的GLEE_Model转换为huggingface形式,方便后续进一步使用vllm/lmdeploy/...等框架进行推理加速? 请问是否有计划公开huggingface格式的模型呢,或者我该如何做呢?
如何将Pytorch的GLEE_Model转换为huggingface形式,方便后续进一步使用vllm/lmdeploy/...等框架进行推理加速? 请问是否有计划公开huggingface格式的模型呢,或者我该如何做呢?