search

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
2.93k stars 360 forks source link

裁剪词表 #126

Open yangliuIOC opened 1 year ago

yangliuIOC commented 1 year ago

您好， 能否出个教程，因为bloom包含了大量的无用的词表，需要裁剪

yuanzhoulvpi2017 commented 1 year ago

我这边就不放教程了，可以看看这个大佬的代码，估计是直接可以用https://github.com/yangjianxin1/LLMPruner