Closed BlindTriode closed 7 months ago
使用CPU运行RWKV-x060-World-1B6-v2.1-20240328-ctx4096模型时，选择rwkv.cpp并设置fp16精度运行，控制台出现500 Internal Server Error错误，控制台中有条目显示rwkv_init_from_file failed, check stderr；rwkv.cpp设置Q5_1精度运行，出现切换模型失败——Fail to Fetch错误；选择CPU模式并选择int8量化时，控制台也出现500 Internal Server Error错误，只有fp32数据能够成功运行模型。请问开发者大佬这是为什么？ 硬件配置： CPU：R5 2600 内存：DDR4 32G@3066Mhz
rwkv.cpp尚未支持rwkv6
josStorer
commented
7 months ago
使用CPU运行RWKV-x060-World-1B6-v2.1-20240328-ctx4096模型时，选择rwkv.cpp并设置fp16精度运行，控制台出现500 Internal Server Error错误，控制台中有条目显示rwkv_init_from_file failed, check stderr；rwkv.cpp设置Q5_1精度运行，出现切换模型失败——Fail to Fetch错误；选择CPU模式并选择int8量化时，控制台也出现500 Internal Server Error错误，只有fp32数据能够成功运行模型。请问开发者大佬这是为什么？ 硬件配置： CPU：R5 2600 内存：DDR4 32G@3066Mhz