请问如果不使用gpu应该如何修改配置或代码

RUC-NLPIR / FlashRAG

⚡FlashRAG: A Python Toolkit for Efficient RAG Research

https://arxiv.org/abs/2405.13576

MIT License

1.39k stars 114 forks source link

Open githubyounik opened 4 days ago

githubyounik commented 4 days ago

我发现默认的配置中gpu_id: "0,1,2,3"，我希望在不使用gpu的情况下调用代码，请问需要怎么修改配置。文件FlashRAG\flashrag\generator\generator.py第528行只有gpu数量不等于1和等于1两种情况，没有gpu似乎与多gpu划分为同种情况进行处理。

ignorejjj commented 4 days ago

528行对应的是FastChatGenerator，默认会用到gpu。如果想只用cpu，可以使用HFCausalLMGenerator，需要将config里面的gpu_id设置为None, framework设置为hf