search

AkihikoWatanabe / paper_notes

たまに追加される論文メモ
https://AkihikoWatanabe.github.io/paper_notes
17 stars 0 forks source link

RetrievaBERTの公開, 2024 #1323

Open AkihikoWatanabe opened 2 months ago

AkihikoWatanabe commented 2 months ago

https://note.com/retrieva/n/n715bea2c2cd1

AkihikoWatanabe commented 2 months ago

RAGへ応用する際に、長いコンテキストを扱いEmbeddingを獲得したいシーンが増えたので、最大でコンテキスト長が2048のBERTを学習し公開。Apache2.0

オリジナルのBERTと比較して、近年のLLMで有用性が示されている以下をアーキテクチャに取り入れている