RUC-NLPIR / FlashRAG

⚡FlashRAG: A Python Toolkit for Efficient RAG Research
https://arxiv.org/abs/2405.13576
MIT License
1.17k stars 85 forks source link

完整运行所需要的配置 #38

Closed snow163 closed 3 months ago

snow163 commented 3 months ago

首先,感谢您工作的分享和每次及时的解答。

我想询问一下,如果想完整运行您这个项目,需要什么配置?内存大小,数据盘大小,GPU等等。

因为我是在autodl上租服务器运行的,配置可能选的不高,在构建索引时,出现了程序killed,看监控应该是我选的90G的内存不够。所以想向您询问一下配置。

ignorejjj commented 3 months ago

你好, 硬盘内存最好在150G以上(索引~80G,检索文档~20G,模型~30G),GPU最好单卡显存35G以上,机器内存最好50G以上。 如果需要的话,后续我们可以考虑将索引上传到托管平台上方便直接下载。

snow163 commented 3 months ago

如果方便的话,请将索引上传到托管平台上,方便直接下载。感谢。

ignorejjj commented 3 months ago

已上传: https://huggingface.co/datasets/ignore/FlashRAG_datasets/tree/main/retrieval-corpus