Opensearch full text search exceed maxClauseCount Exception

[ljy2855]

개요

haystack bm25 retreiver이 full text search 진행 시에, 자동으로 fuzzy 진행 https://opensearch.org/docs/latest/query-dsl/term/fuzzy/

이로 인해 default maxClauseCount인 1024를 넘어 500 error 발생

해결 방안

• opensearch cluster setting에서 maxClauseCount을 늘림
• query시에 fuzziness 옵션 off

[ljy2855]

대응

현재 opensearch의 maxClauseCount 의 값을 2048로 늘려 어느 정도 해당 이슈 해결

Side Effect

• 현재 knn indexing cache만으로 데이터 노드에 메모리가 부족한 상황에서 메모리 압박이 더 커짐
• 쿼리가 더욱 복잡해지며 검색 성능이 떨어짐 => opensearch 연산량 증가
• 검색 결과 ranking 작업 시, query가 길어짐에 따라 search server gpu, memory 리소스 압박

추후 개선

• 사용자 입력 쿼리 size를 어느정도 제한하여 과도한 연산을 막아두기