뉴스 데이터 크롤링 + 인덱싱

[f-lab-sage]

TODO

• 기본적인 뉴스 데이터 주기적으로 가져오기
• 여기서 주요 텍스트 (제목, 본문) + metadata (소스, 토픽, ...) 를 인덱싱

인덱싱 관련

• ElasticSearch 에 인덱싱 해놓도록
  • ES 를 올려야 함: https://hub.docker.com/_/elasticsearch
  • ES를 활용할 땐 client library 사용하는걸 추천 : https://elasticsearch-py.readthedocs.io/en/v8.11.1/#
• (Optional) langchain 의 기능 활용해서 좀 더 빠르게 인덱싱 가능함.
  • 인덱싱 할 때는 embedding model 지정해 주어야 함.

[f-lab-sage]

임베딩 모델이 올라갔을 때,

• 크롤링한 뉴스데이터들이 embedding 모델 통해서 나온 vector 값을 ES 에 인덱싱 해보기
• 사용자 쿼리가 들어왔을 때 마찬가지로 embedding 모델 통해서 나온 vector로 ES에 검색 해서 결과 뽑기

[f-lab-sage]

추후 개선할 부분:

• ES 의 lexical search 기능과 embedding 모델을 활용한 semantic search를 함께 사용해서 검색 성능을 높임

[f-lab-sage]

Vector DB로 ES가 좀 어렵다면

• cromaDB : https://github.com/chroma-core/chroma
• milvus : https://github.com/milvus-io/milvus

[f-lab-sage]

실제로 vector search 잘 되는지 까지 확인

[f-lab-sage]

Search 에서 고려할 점

• 뉴스 등에 있는 keyword 가 semantic search로 어려운 경우 (lexical search 필요한 경우)
• "오늘 주요뉴스" 라는 쿼리에 대해서는 검색 보다는 오늘 날짜에 대한 뉴스들 가져와야 함 (날짜에 대한 classification)