ljy2855
commented
1 month ago 논문의 정보를 임베딩한 벡터 함께 저장할 Vector DB를 선정한다.
기존 RDB도 vector field를 지원하여 검색이 가능하도록 지원하지만 검색 방식에 따라 다르다!
따라서 적합한 별도의 DB 탐색
선정 기준
haystack에서 connector, retriever 를 지원하는 DB- 63만개에서 vector search를 진행할 때의 검색 속도
- write보다 read가 많을 것으로 예상되는데 이에 적합한지
- 추후 활용할 keyword matching(bm25)를 지원하는지
- 오픈소스인 경우 별도의 인프라 관리 포인트가 늘지 (Serverless 여부)
비교
| Elastic Search | OpenSearch | MongoDB | |
|---|---|---|---|
| bm25 지원 여부 | ⭕️ | ⭕️ | ❌ |
| AWS service (serverless) | ❌ | ⭕️ | ❌ |
| vector search | ⭕️ | ⭕️ | ⭕️ |
| vector indexing | HNSW | HNSW | HNSW, IVFFlat |
| max vector dimension | 4096 | 16,000 | 2,000 |
| vector search method | KNN | KNN | ANN |
선정
초기 인프라 관리에 간편한 OpenSearch를 도입하는게 좋을듯
레퍼런스
https://docs.aws.amazon.com/documentdb/latest/developerguide/vector-search.html
https://www.mongodb.com/ko-kr/docs/atlas/atlas-vector-search/vector-search-overview/
https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless-vector-search.html
https://www.elastic.co/guide/en/elasticsearch/reference/current/dense-vector.html
https://docs.haystack.deepset.ai/docs/opensearch-document-store
작업 목표
작업 내용
mongoDB,elastic search,openSearch비교