search

thunlp / GEAR

Source code for ACL 2019 paper "GEAR: Graph-based Evidence Aggregating and Reasoning for Fact Verification"
MIT License
98 stars 25 forks source link

关于BERT-Pair中的预训练模型 #14

Closed wonderlandais closed 3 years ago

wonderlandais commented 3 years ago

您好，因为我想实验下BERT-Base和BERT-large对于模型性能的影响，方便说明下您的BERT-Pair是下载的哪份实现吗？我下载https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased.tar.gz与使用您提供的BERT-Pair的结果存在较大的差异。谢谢解答！

jayzzhou-thu commented 3 years ago

您好，我们当时使用的BERT是一个比较早期的软件版本叫做pytorch_pretrained_bert（应该是huggingface早期放出来的版本），具体的模型应该是Google放出的模型参数，如果可以的话可以去找找是否还有pytorch_pretrained_bert的网站，应该当时也是直接下载的版本。另外我们的模型是经过fever数据微调之后的而不是原始模型，也可以看看是否是这里的问题。

wonderlandais commented 3 years ago

好的，谢谢您！

wonderlandais commented 3 years ago

您好，方便说明下您们的微调过程吗？谢谢！

jayzzhou-thu commented 3 years ago

微调过程的数据和代码可以在这里获取： https://cloud.tsinghua.edu.cn/d/b98d0aa9edf1407abe85/

wonderlandais commented 3 years ago

谢谢！