Closed snow163 closed 2 weeks ago
因为系统盘不足，所以我更改了路径，但是在运行 python -m flashrag.retriever.index_builder \ --retrieval_method e5 \ --model_path ./models/e5-base-v2 \ --corpus_path ./FlashRAG_datasets/retrieval-corpus/wiki-18.jsonl \ --save_dir indexes/ \ --use_fp16 \ --max_length 200 \ --batch_size 32 \ --pooling_method mean \ --faiss_type Flat 这条命令之后，又出现了JSON解析错误。我不知道应该怎么解决这个问题，向您询问一下解决方案
可以尝试把huggingface下载的cache清除再尝试
ignorejjj
commented
2 weeks ago ignorejjj
commented
2 weeks ago
因为系统盘不足，所以我更改了路径，但是在运行 python -m flashrag.retriever.index_builder \ --retrieval_method e5 \ --model_path ./models/e5-base-v2 \ --corpus_path ./FlashRAG_datasets/retrieval-corpus/wiki-18.jsonl \ --save_dir indexes/ \ --use_fp16 \ --max_length 200 \ --batch_size 32 \ --pooling_method mean \ --faiss_type Flat 这条命令之后，又出现了JSON解析错误。我不知道应该怎么解决这个问题，向您询问一下解决方案