max_position_embeddings是1024吗

fastnlp / CPT

CPT: A Pre-Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation

481 stars 70 forks source link

max_position_embeddings是1024吗 #27

Closed awdrgyjilplij closed 1 year ago

awdrgyjilplij commented 2 years ago

我看fnlp/cpt-base里面config.json的max_position_embeddings写的1024，但实际上1024会报错，512没问题。发现代码里用了BertModel当encoder，但是没设置对应的max_position_embeddings 手动改成1024会导致预训练参数加载不进来。所以我的理解是config.json写错了，实际只支持512。希望能提供一版max_position_embeddings=1024的模型，和bart对齐一下

choosewhatulike commented 2 years ago

CPT目前只支持512最大句长，未来会提供1024的版本

maojinyang commented 2 years ago

请问现在还有提供1024版本模型的计划吗？