search

Oneflow-Inc / libai

LiBai(李白): A Toolbox for Large-Scale Distributed Parallel Training
https://libai.readthedocs.io
Apache License 2.0
391 stars 55 forks source link

fix oom #442

Closed xiezipeng-ML closed 1 year ago

xiezipeng-ML commented 1 year ago

和程鹏@CPFLAME 一起修复了一个历史悠久的问题https://github.com/Oneflow-Inc/libai/pull/73。 LX那边遇到的问题，用BertTokenzier处理中文数据并且使用Whole Word Mask策略产生的报错，导致token_id超出vocab_size的问题。