search

bojone / SPACES

端到端的长本文摘要模型（法研杯2020司法摘要赛道）
385 stars 91 forks source link

关于与训练模型roberta_wwm_ext #23

Closed hanggun closed 1 month ago

hanggun commented 3 years ago

苏神你好，你在模型中使用的预训练模型roberta是用的brightmart版本，还是hungging face上hfl的再.h5模型再转换为ckpt版本，brightmart版本是基于256字符串长度训练的，对于512长度的文本似乎效果不太好，但是看你的博客说你是用的512版本的

bojone commented 3 years ago

用的是哈工大的版本 https://github.com/ymcui/Chinese-BERT-wwm

------------------ 原始邮件 ------------------ 发件人: "bojone/SPACES" @.>; 发送时间: 2021年8月31日(星期二) 上午10:36 @.>; @.***>; 主题: [bojone/SPACES] 关于与训练模型roberta_wwm_ext (#23)

苏神你好，你在模型中使用的预训练模型roberta是用的brightmart版本，还是hungging face上hfl的再.h5模型再转换为ckpt版本，brightmart版本是基于256字符串长度训练的，对于512长度的文本似乎效果不太好，但是看你的博客说你是用的512版本的

— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.