From Neural Re-Ranking to Neural Ranking: Learning a Sparse Representation for Inverted Indexing

[chullhwan-song]

https://ciir-publications.cs.umass.edu/pub/web/getpdf.php?id=1302

[chullhwan-song]

Abstract

• 기존 비젼과 달라 CL쪽은 많은 지식이 모자름?이 많을것라 생각...
• learning to rank 논문과 조금 다름
• 이전 연구와 달리 효과적이고 실용적..이라고 주장.
• 이를 위해, standalone neural ranking model (SNRM) 제안
  • 질의와 문서사이의 latent sparse representation 형태로 학습.
    • sparsity property to learn a latent sparse representation for each query and document.
    • 여기서 중요한것은, Sparse한 속성(sparsity property)을 가지도록 feature를 학습시킨다는것.
      • 참고) 개인적으로 alext/vgg같은 CNN 모델에서보면, FC feature와 매우 유사하다고 생각함.
  • 이렇게 생성된 Sparse한 Feature는 invert file에 적용하여 indexing 즉, tf*idf 같은 기존 검색시스템을 그대로 적용가능.
  • text -> tfxidf 모델에 적용하는것이 기존이라면, text-> DL > semantic한 word로 conversion(Sparse한 속성을 이용) > tfxidf모델에 적용하려는것인듯..
  • pseudo-relevance feedback(쿼리 expansion같음..)를 적용하여 더 향상.

단어(Term) distribution vs Dense vs Sparse

• dense > latent dense representation
• sparse > latent sparse representation
  • 일반 term의 분산도와 sparse분산도가 유사하니..이게 더 맞다란 의미인듯..

STANDALONE NEURAL RANKING MODEL

Design Desiderata

• standalone neural ranking model > retrieve documents from a large-scale collection

• 전통적인 term matching retrieval models > TF-IDF, BM25, query likelihood

  • sparse한 속성을 이용한 large-scale검색에 적용된 case!!!
  • inverted index

• 여기서 말하는것은 이러한 전통적인 방법에 적용할 수 있는 feature representation 이란 이야기 그리고 sparse한 속성을 지니게.. >> SNRM

• SNRM >> neural network model for learning standalone rankers based on latent sparse representations.

• retrieval score = query(q) 와 document(d)

  • matching function
  • neural framework
    • query representation
    • document representation

• responsive standalone ranker 를 만들기 위해서 3가지 요소가 필요

  • : query independent
    • 이전의 neural ranking 연구에서는 낮은차원은 dense representation 의 속성을 가짐.
    • 하지만, invert file에 적용하기 위해서는 높은 차원의 sparse representation 이어야한다.
  • 의 inference는 최소화 그래서 realtime ranking할수 있도록..
  • 와 의 벡터들의 각 index는 같은 latent feature를 의미
    • 이들 두개는 같은 semantic space 공간에서의 vector를 의미.
  • 는 q와 d 사이에 vector에서 ith번째 값이 서로 하나는 0보다 크고 하나는 0이면 matching은 0 인경우이고, 모두 0이상일때 (none-zero) 1, 모두 0 이면 0...!!!

Network Architecture

• input - > text query & text document

  • query 는 짧고(10이하,,) document는 보통 더 당연히 길다.
  • 실제 입력 형태는
    • 각 단어들을 일정크기를 갖는 vector 즉, word to vector,GloVer...>( BERT,GPT-2 같은것은 어떨까..?)
      • Fig3의 녹색사각형 표시길이
    • window size 크기를 갖는 n-gram 형태로 2차원크기로..
      • Fig3의 빡간색 사각형 표지 만큼의 크기.

• 목표

  • 이들을(text query & text document) 같은 공간에 embedding -> sparse feature 형태로..

• network

  • fc 기반의 autoencoder형태..여기서는 비슷하다라고 하고, 다만, reconstruction loss를 안쓰는 형태
  • RELU
  • 주의) 실제 소스에서는 Convolution layer를 이용하고 있음. 따라서, window size x wtv_dim x 1 크기의 이미지처럼 입력값을 넣고 있는형태로 볼수 있음.
  • document의 경우, sequence가 긴 case가 있으며 각각의 window size크기만큼 각각 넣고 각 output이 여러개가 있을경우에, Fig3같이 average pooling한 케이스.
    • long query의 경우도 마찬가지지 않을까??

• training

  • (q, doc1, doc2) metric learning
    • hinge loss
  • 최종 loss
    • l1 regularization 추가 > 이게 이논문에서 주장하는 sparse하게 만드는 ..요소라고 언급..>
      • minimize > 학습
      • (RELUE 특성 )& ( L1에 대한 학습 > Gradient) > sparse
    • || concat > 3개의 feature를 concat하여 하나의 feature로 구성하고 나서. L1 loss를 적용 > minimize하는 쪽으로 학습

• inference

  • query는 realtime
  • document는 미리...indexing

Data

• Collections : two TREC collections
  • first collection: news collection > robust > homogeneous
    • 이전에 TREC 2004 Robust Track에서 사용
  • second collection: ClueWebb (i.e., ClueWeb09-Category B) > large-scale web collection > heterogeneous > very noise하다
    • 이전에 TREC 2009-2012 Web Track에서 사용
    • 이 연구에서는
      • by filtering out the spam documents > cleaned하고 사용
        • Waterloo spam scorer 사용하여 filtering
      • Stopwords 제거 및 no stemming (형태소분석 사용안함)
• Training Queries
  • AOL query logs ? 로부터 획득 > Applying all of these constraints leads to over 6 million unique queries as our training query set.

Experimental Setup

• tf
• Adam based bp
• the learning rate > 5×10−5, 1×10−4, 5×10−4, 1×10−3, 5×10−3
• batch size > {32,64,128}
• ngram : n = 5
• fc 기반의 오토인더를 사용하다고 했는데 실제 소스는 conv를 써서 ??
  • hidden layer sizes { 100, 300, 500 }
  • output layer size : {5k,10k,20k} > Due to the GPU memory constraints, we used a maximum of 20k dimensions.
• GloVe > 300 dim

Evaluation Metrics

• mean average precision (MAP) of the top ranked 1000 documents
• precision of the top 20 retrieved documents (P@20)
• normalized discounted cumulative gain calculated for the top 20 retrieved documents (nDCG@20),
• recall in the top 1000 documents (Recall)

Results and Discussion

• 비교대상 이전 연구
  • QL The query likelihood retrieval model
  • SDM The sequential dependence model of Metzler and Croft
  • RM3 A variant of the relevance model proposed by Lavrenko and Croft > pseudo-relevance feedback model
  • FNRM A pairwise neural ranking model recently proposed by Dehghani > s fully-connected feed-forward networks > bag of words > weighted average of word embedding vectors for query and document representations. > hinge loss
  • CNRM A neural ranking model based on convolutional networks to take term dependencies into account.

실험