search

OpenPPL / ppl.llm.serving

Apache License 2.0
123 stars 13 forks source link

支持qwen1.5或者qwen2吗？ #64

Open Flynn-Zh opened 1 month ago

Flynn-Zh commented 1 month ago

用 ppl.pmx Export 导出模型，有大量的警告， Warning: The shape interface of opmx::XX（如 ParallelEmbedding、ColumnParallelLinear、Reshape等） type is missing，用转出来的 onnx 格式的文件启动 ppl_llm_server，提示 unsupported op: domain[opmx], type[ParallelEmbedding]

Alcanderian commented 1 month ago

用 ppl.pmx Export 导出模型，有大量的警告， Warning: The shape interface of opmx::XX（如 ParallelEmbedding、ColumnParallelLinear、Reshape等） type is missing，用转出来的 onnx 格式的文件启动 ppl_llm_server，提示 unsupported op: domain[opmx], type[ParallelEmbedding]

  1. 警告可以忽略不需要理会
  2. ppl_llm_server目前还没有适配新的opmx算子集，如果需要跑的话，将ppl.pmx先切换到llm_v1分支尝试一下