Open xwt0016 opened 6 months ago
FAISS.from_documents加载wiki.zh-sim.txt 45w数据,2个小时还没加载完,这正常吗,大概要多长时间? 听说faiss向量检索是基于内存的,langchain调faiss只支持indexflatip或者eindexflatl2作为索引方式。45w条数据检索时大约需要多大内存呢?
FAISS.from_documents加载wiki.zh-sim.txt 45w数据,2个小时还没加载完,这正常吗,大概要多长时间? 听说faiss向量检索是基于内存的,langchain调faiss只支持indexflatip或者eindexflatl2作为索引方式。45w条数据检索时大约需要多大内存呢?