Convolutional Neural Networks for Soft-Matching N-Grams in Ad-hoc Search

[chullhwan-song]

http://www.cs.cmu.edu/~./callan/Papers/wsdm18-zhuyun-dai.pdf

[chullhwan-song]

Abstract

• KNRM : https://github.com/chullhwan-song/Reading-Paper/issues/258 이 논문을 먼저 반드시 읽어야함. > 이 논문에서 Conv Embedding + N-gram 단위를 adding한 논문
• Conv-KNRM
  • Convolutional Kernel-based Neural Ranking Model
  • KNRM 논문과 마찬가지로, soft matches by kernel pooling & learning-to-rank (Rankent)
  • 다만, n-gram 단위 > n-gram soft matches

CONVOLUTIONAL N-GRAM RANKING

• Fig.1에서 보듯이, 이전의 KNRM와 달리 KNRM에서는, w2v형태의 input에서 "Translation Matrix"으로 바로 진행했지만, 중간단계에서 Convolution network를 적용한 케이스
  • input : word단위의 w2v을 적용한 형태
  • convolutional layer
  • 이는 convolution filters을 이용하여 n-grams단위로 계산 가능(T_q or T_d)하다.
    • sentence를 sliding window(h)개념으로 접근
    • i~h : sliding window
      • w:conv filter weights
      • F개의 filter를 적용하여 F scores를 낸다.
  • 여기에, bias, activation function(relu)를 추가하면,
    
    • 는 i번째 h-gram의 embedding이란 의미.
    • 의 f번째 요소는 f번째 필터의 스코어란 의미.
    • we append up to h − 1 ‘’ symbols for padding
  • n-gram단위로 보면,
    • 그래서, query & document : 라고 표시가능
  • Convolution 연산은 text기반으로 볼때 n-gram형태로 계산~!!
    • convolution filter의 수와 n-gram수와 동일하다는 의미
  • cross-match layer
  • KNRM은 query word들과 document word들간의 similarity를 나타내는 "translation layer"의 translation matrix M 를 구하였다.
  • 여기서도 마찬가지인데 단위가 word에서 n-gram 단위로 확장한다.
  • 그래서, query & document n-gram pairs에 대한 similarity scores는,
  • 통합한 embedding representation은 다른길이의 n-gram에 대한 cross-matching를 허락.
    • 예를 들어, the query trigram “convolutional neural networks” and the document bigram “deep learning”.
  • 최종적으로, translation matrices를 생성

Ranking with N-gram Translations

• Kernel-pooling
  • soft matches위해 K Gaussian kernels 이용. > K different strength levels > soft-TF counts
  • 자세한 내용은 https://github.com/chullhwan-song/Reading-Paper/issues/258 참조
  • soft-TF feature vector
    • counting-based pooling(== soft-TF count) methods have shown beŠer performance than score-based ones like mean-pooling or max-pooling
  • 수식(5)는 한개의 word(or 하나의 gram)와 n-gram pairs를 가진 doc의 case
  • 이를 확장하여, query h_q-grams & document h_d-grams > 잘 생각해보면 query의 n-gram(query n-gram)으로 확장한 케이스
  • 그래서, 다음과 같이..
    
• learning-to-rank (LeToR)
  • 위에서 구한 soft-TF ranking features ( )에서 ranking score를 내기 위해서,
  • 최종적으로 loss = pairwise learning-to-rank
    • 

실험

• KNRM보다 높아졌음을 알수 있다.
  • 구체적인 내용은 논문참조(~ing)