加载中文维基百科数据要多久

yanqiangmiffy / Chinese-LangChain

中文langchain项目|小必应，Q.Talk，强聊，QiangTalk

2.67k stars 323 forks source link

加载中文维基百科数据要多久 #55

Open xwt0016 opened 6 months ago

xwt0016 commented 6 months ago

FAISS.from_documents加载wiki.zh-sim.txt 45w数据，2个小时还没加载完，这正常吗，大概要多长时间？听说faiss向量检索是基于内存的，langchain调faiss只支持indexflatip或者eindexflatl2作为索引方式。45w条数据检索时大约需要多大内存呢？