Open GENZITSU opened 4 months ago
LLMアプリケーションライブラリのHaystackにて実装されているRankerクラスのリスト
なんらかの正解に基づくRanker以外に、候補集合の多様性を担保するためのDiversityRanker 、最初と最後に重要なものを持ってくるLostInTheMiddleRankerがある
検索精度の文脈で言うと、なんらかの正解に基づくCohere/SentenceTransformer Ranker系に目が行きがちだったが、generationの精度までみる場合は何を候補に含めるか/どこに置くかも重要と言うのはたしかにと言う感じ。
Haystack/Ranker
LLMアプリケーションライブラリのHaystackにて実装されているRankerクラスのリスト
なんらかの正解に基づくRanker以外に、候補集合の多様性を担保するためのDiversityRanker 、最初と最後に重要なものを持ってくるLostInTheMiddleRankerがある
コメント
検索精度の文脈で言うと、なんらかの正解に基づくCohere/SentenceTransformer Ranker系に目が行きがちだったが、generationの精度までみる場合は何を候補に含めるか/どこに置くかも重要と言うのはたしかにと言う感じ。
出典