boostcampwm-2022 / web18-PRV

논문 인용관계를 밤하늘의 별 처럼 표시해보자 🌟-🌟
https://paperef.com
143 stars 3 forks source link

[BE] 자동완성기능 api 호출시 elasticsearch에 캐싱하는 작업 #54

Closed JunYupK closed 1 year ago

JunYupK commented 1 year ago

이슈 내용

현재 자동완성기능 api를 호출시 (auto-complete) crossref에서 5개의 결과만 가져오도록 설정되어있음, 최대한 많은 데이터를 확보하기 위해 auto-complete를 호출시에 최대한 많은 양의 논문이름을 엘라스틱서치에 캐싱을 진행하고 싶습니다. 데이터 흐름은

  1. 자동완성 api 호출 (balck hole)
  2. elasticsearch 확인 (해당한 연관검색어 없음)
  3. crossref api 호출하여 5개의 연관검색어 데이터를 가져온 후 response
  4. 클라이언트측은 response를 받은 상태이나 BE 서버에서는 해당 키워드로(black hole) 나온 모든 논문 서칭 (crossref api 개수 limit 없이 20000개면 모두)
  5. 이를 elasticsearch에 캐싱

    기대 결과

    • 좀 더 똑똑한 연관 검색어 호출 가능
    • 속도 개선 (8s => 15ms 로 개선되는 것을 확인)
JunYupK commented 1 year ago

해결 하였으나 추가적인 이슈가 발생하엿습니다.