allwefantasy / byzer-llm

Easy, fast, and cheap pretrain,finetune, serving for everyone
Apache License 2.0
257 stars 36 forks source link

win11部署报错,OSError: [WinError 126] 找不到指定的模块。 Error loading "D:\projects\byzerllm\byzerllm_env\Lib\site-packages\torch\lib\fbgemm.dll" or one of its dependencies. #40

Closed syusama closed 2 months ago

syusama commented 2 months ago

RT,可以在Windows部署吗? 在windows虚拟环境下安装好了依赖 执行命令: byzerllm deploy --pretrained_model_type saas/openai --cpus_per_worker 0.001 --gpus_per_worker 0 --num_workers 3 --infer_params saas.api_key=sk-xxxxx saas.model=deepseek-chat --model deepseek-chat

结果报错: OSError: [WinError 126] 找不到指定的模块。 Error loading "D:\projects\byzerllm\byzerllm_env\Lib\site-packages\torch\lib\fbgemm.dll" or one of its dependencies.

allwefantasy commented 2 months ago

应该还是你的环境没装好。要不按照我们官方文档再装一次? 我们有非常详近的windows 安装文档: https://uelng8wukz.feishu.cn/wiki/JMrtwxuS0iwXmqkwKqzc3Pysnob?fromScene=spaceOverview

syusama commented 2 months ago

应该还是你的环境没装好。要不按照我们官方文档再装一次? 我们有非常详近的windows 安装文档: https://uelng8wukz.feishu.cn/wiki/JMrtwxuS0iwXmqkwKqzc3Pysnob?fromScene=spaceOverview

按照官方文档又重新安装了一次环境,还是报同样的错误 微信截图_20240805135200

syusama commented 2 months ago

解决了,win系统里安装一个libomp140.x86_64_x86-64.dll,再安装一个rich库就可以了