retrieve_faiss사용

[hyoeun98]

D, I = self.indexer.search(q_emb, k)에서 AssertionError : assert d == self.d 발생 query vector의 shape 오류로 보임

[hyoeun98]

[query faiss search] done in 311.453 s [query exhaustive search] done in 51.104 s correct retrieval result by exhaustive search 0.25190839694656486 correct retrieval result by faiss 0.03482824427480916 faiss를 사용한 retrieval이 현저히 느리며, 정확도도 심각하게 떨어짐

[hyoeun98]

[query faiss search] done in 56.092 s correct retrieval result by faiss 0.03482824427480916 conda install -c pytorch faiss-cpu 후 시간은 줄어들었으나, 정확도는 같음

[hyoeun98]

• 데이터의 수가 작은 것이 원인
• 충분한 데이터가 모이지 않으면 사용하지 않는 것이 오히려 좋음

[hyoeun98]

실습할 때는 데이터가 더 작았었는데?