elasticsearch BM25 + score boosting + function scoring

[kgneng2]

IDF

• (많은 문서에)잦은 단어가 나온다면 중요하지 않는 단어 ( 나, 너 , 우리, 는,은,이가 등등)
• 희귀한 단어가 나올수록 높은 가중치를 부여해야함
• "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:"
• N은 docCount, n은 docFreq

TF

• 해당 단어가 해당 문서에서 자주 등장하면 해당 문서는 높은 관련도가짐.
• TF = log(1+ termFreq)

BM25

• "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:"
• avgdl, average length of field
• dl, length of field
• b, length normalization parameter : 평균대비 문서길이에 대한 weight 가중치
• k1, term saturation parameter : 단어 빈도수에 따른 가중치
• termFreq=1.0

[kgneng2]

dl ( 문서길이) 가 짧을수록 score는 높음 평균문서길이 가중치(b)가 낮을수록 점수차이 높아짐. K가 높아질수록 낮아짐.

[kgneng2]

boost

• boost는 상대적이며, 절대적인 값이 아님

• 예를들어 모든필드에 10을 줬을경우 모든 값이 같으므로 1로 정규화해버린다.

• 3으로 했을경우 다른 필드보다 3배정도 중요하다는 뜻으로 이해한다.

• boost 등 점수계산에 영향을 끼쳐 속도가 느려질경우, 재질의 를 통해서 속도 향상을 기대할수 있다. rescore

[kgneng2]

function_score

• score_mode를 통해서 functions 안에 있는 값들의 조합을 이루어냄 (개별함수)
• boost_mode 는 원본 질의 점수와 functions 점수의 조합을 의미함. ( functions (boost_mode) es_score) 간의 의미를 뜻한다.

출처

• elasticsearch in action