[EVAL REQUEST] BAAI/bge-m3

[cross32768]

https://huggingface.co/BAAI/bge-m3 は、論文 によればmultilingual-e5-largeよりも性能が良く、日本語にも対応しているmultilingualモデルですが、今の所JMTEBのような包括的な日本語ベンチマークでの評価はなされていないように見えます。お時間がありましたら、ぜひ評価を回してleaderboardに追加してみていただけないでしょうか。

モデルの基本情報

name: BAAI/bge-m3 type: size: lang: multilingual

モデル詳細

https://huggingface.co/BAAI/bge-m3

seen/unseen申告

JMTEBの評価データセットの中，training splitをモデル学習に使用した，またはvalidation setとして，ハイパラチューニングやearly stoppingに使用したデータセット名をチェックしてください。

（一応論文を参考につけています。日本語wikipediaは入っているようですが、JAQKETなどを直接使ってはいなさそうです。Mr.Tydiはmultilingualを使っていそうなので、日本語も入っていそうです）

• Classification
  • [ ] Amazon Review Classification
  • [ ] Amazon Counterfactual Classification
  • [ ] Massive Intent Classification
  • [ ] Massive Scenario Classification
• Clustering
  • [ ] Livedoor News
  • [ ] MewsC-16-ja
• STS
  • [ ] JSTS
  • [ ] JSICK
• Pair Classification
  • [ ] PAWS-X-ja
• Retrieval
  • [ ] JAQKET
  • [x] Mr.TyDi-ja
  • [ ] JaGovFaqs-22k
  • [ ] NLP Journal title-abs
  • [ ] NLP Journal title-intro
  • [ ] NLP Journal abs-intro
• Reranking
  • [ ] Esci
• [] 申告しません

評価スクリプト

その他の情報