Open InLittleJoy opened 7 months ago
ECSpell上的训练单卡RTX 3090即可。 LEMON上的预训练我们使用了8张A800进行训练。 关于多卡并行的训练代码以及预训练ReLM的checkpoints,https://github.com/gingasan/lemon 都有提供。 关于下一步的工作你可以基于ReLM的预训练模型做进一步的提升,这样就不用担心算力问题。
ECSpell上的训练单卡RTX 3090即可。 LEMON上的预训练我们使用了8张A800进行训练。 关于多卡并行的训练代码以及预训练ReLM的checkpoints,https://github.com/gingasan/lemon 都有提供。 关于下一步的工作你可以基于ReLM的预训练模型做进一步的提升,这样就不用担心算力问题。