[EVAL REQUEST] pkshatech/GLuCoSE-base-ja-v2

[akiFQC]

モデルの基本情報

name: pkshatech/GLuCoSE-base-ja-v2 type: Luke size: 0.1B lang: ja

モデル詳細

https://huggingface.co/pkshatech/GLuCoSE-base-ja-v2

seen/unseen申告

JMTEBの評価データセットの中，training splitをモデル学習に使用した，またはvalidation setとして，ハイパラチューニングやearly stoppingに使用したデータセット名をチェックしてください。

• Classification
  • [ ] Amazon Review Classification
  • [ ] Amazon Counterfactual Classification
  • [ ] Massive Intent Classification
  • [ ] Massive Scenario Classification
• Clustering
  • [ ] Livedoor News
  • [ ] MewsC-16-ja
• STS
  • [x] JSTS
  • [ ] JSICK
• Pair Classification
  • [x] PAWS-X-ja
• Retrieval
  • [ ] JAQKET
  • [x] Mr.TyDi-ja
  • [ ] JaGovFaqs-22k
  • [ ] NLP Journal title-abs
  • [ ] NLP Journal title-intro
  • [ ] NLP Journal abs-intro
• Reranking
  • [ ] Esci
• [ ] 申告しません

評価スクリプト

その他の情報

[lsz05]

73

[yano0]

大変申し訳ないのですが、prefixにE5と同様、query: もしくはpassage: を利用することを想定したモデルとなっています。評価値が自分の手元⬇️と異なることから、評価スクリプトにおいてprefixが正しくついているか確認いただけないでしょうか？

{
    "Classification": {
        "amazon_counterfactual_classification": {
            "macro_f1": 0.7492232749031491
        },
        "amazon_review_classification": {
            "macro_f1": 0.5530707609927811
        },
        "massive_intent_classification": {
            "macro_f1": 0.7979144461303402
        },
        "massive_scenario_classification": {
            "macro_f1": 0.8683641924034757
        }
    },
    "Reranking": {
        "esci": {
            "ndcg@10": 0.9301469431250418
        }
    },
    "Retrieval": {
        "jagovfaqs_22k": {
            "ndcg@10": 0.6979374757372254
        },
        "jaqket": {
            "ndcg@10": 0.6729417850207029
        },
        "mrtydi": {
            "ndcg@10": 0.41858579533990486
        },
        "nlp_journal_abs_intro": {
            "ndcg@10": 0.9029337913460675
        },
        "nlp_journal_title_abs": {
            "ndcg@10": 0.9511153967130517
        },
        "nlp_journal_title_intro": {
            "ndcg@10": 0.7580448576047344
        }
    },
    "STS": {
        "jsick": {
            "spearman": 0.849637366944316
        },
        "jsts": {
            "spearman": 0.8095684318108997
        }
    },
    "Clustering": {
        "livedoor_news": {
            "v_measure_score": 0.5151536908540161
        },
        "mewsc16": {
            "v_measure_score": 0.45782610528001805
        }
    },
    "PairClassification": {
        "paws_x_ja": {
            "binary_f1": 0.623716814159292
        }
    }
}

[lsz05]

75 で修正したのでcloseさせていただきます。