Closed lower01 closed 1 year ago
模型推理
Others
Linux
您项目中的推理部署工具能否直接支持原版llama2相关模型的推理?如果直接在对应文件路径放置原版的llama2模型的话?
# 请在此处粘贴依赖情况(请粘贴在本代码块里)
# 请在此处粘贴运行日志(请粘贴在本代码块里)
显然可以,模型结构都是一样的。
提交前必须检查以下项目
问题类型
模型推理
基础模型
Others
操作系统
Linux
详细描述问题
您项目中的推理部署工具能否直接支持原版llama2相关模型的推理?如果直接在对应文件路径放置原版的llama2模型的话?
依赖情况(代码类问题务必提供)
运行日志或截图