electra-large和roberta-large过期

countback commented 2 years ago

electra-large和roberta-large文件过期无法下载了

Jeryi-Sun commented 2 years ago

确实我这也遇到了哭了

zkt12 commented 2 years ago

非常抱歉，这两个文件被之前负责的同学误删了，并且没有备份。。目前我们正在重新训练，过段时间会上传新的文件。

Jeryi-Sun commented 2 years ago

太感谢啦！

yiyaxiaozhi commented 2 years ago

在MS MARCO Passage Reranking中，想要复现ELETRA-Large的结果，clone了一份最新的代码以及使用下列命令进行训练

CUDA_VISIBLE_DEVICES=0 \
python train.py\
        -task ranking \
        -model bert \
        -train ./data/train.jsonl \
        -max_input 3000000 \
        -save ./checkpoints/electra_large.bin \
        -dev queries=./data/queries.dev.small.tsv,docs=./data/collection.tsv,qrels=./data/qrels.dev.small.tsv,trec=./data/run.msmarco-passage.dev.small.100.trec \
        -qrels ./data/qrels.dev.small.tsv \
        -vocab google/electra-large-discriminator \
        -pretrain google/electra-large-discriminator \
        -res ./results/electra_large.trec \
        -metric mrr_cut_10 \
        -max_query_len 32 \
        -max_doc_len 256 \
        -epoch 1 \
        -batch_size 2 \
        -lr 5e-6 \
        -eval_every 10000

但每次训练中的验证MRR最高都超不过0.335就会开始下降->0.32->0.29，请问你们在训练中有遇到这个情况吗？这可能是什么原因？

thunlp / OpenMatch

electra-large和roberta-large过期 #38