👑 Easy-to-use and powerful NLP and LLM library with 🤗 Awesome model zoo, supporting wide-range of NLP tasks from research to industrial applications, including 🗂Text Classification, 🔍 Neural Search, ❓ Question Answering, ℹ️ Information Extraction, 📄 Document Intelligence, 💌 Sentiment Analysis etc.
w5688414
commented
6 months ago
2023.6.12 发布 PaddleNLP v2.6rc 预览版
🔨 大模型全流程范例：全面支持主流开源大模型Bloom, ChatGLM, GLM, Llama, OPT的训练和推理；Trainer API新增张量训练能力, 简单配置即可开启分布式训练；新增低参数微调能力PEFT, 助力大模型高效微调
------------------------- 提个建议 希望支持chatRWKV并行训练 --------------------------------
这个现在最火，开源度最高的模型，希望也把它整合了~~ 用的人也多
其实rwkv作者写的代码简洁清晰，方便修改如： https://github.com/BlinkDL/RWKV-LM/blob/main/RWKV-v4/train.py https://github.com/BlinkDL/ChatRWKV/issues/118
参考：https://www.kaggle.com/code/evilpsycho42/pytorch-multi-gpus-train-infer
Motivation
Q群活跃
Your contribution
暂无