search

PaddlePaddle / Paddle

PArallel Distributed Deep LEarning: Machine Learning Framework from Industrial Practice （『飞桨』核心框架，深度学习&机器学习高性能单机、分布式训练和跨平台部署）
http://www.paddlepaddle.org/
Apache License 2.0
22.29k stars 5.61k forks source link

求Paddle-Mamba #68366

Open juncyan opened 2 months ago

juncyan commented 2 months ago

需求描述 Feature Description

任务目标（请描述你正在做的项目是什么，如模型、论文、项目是什么？）;
需求场景（请描述你的项目中为什么需要用此功能）;
功能描述（请简单描述或设计这个功能）

替代实现 Alternatives

希望能出一个paddle的Mamba，最近新模型很多都是基于Mamba的，没有Paddle-Mamba，只能用torch，非常不习惯

DrownFish19 commented 2 months ago

PaddleNLP已经支持Mamba

juncyan commented 2 months ago

感谢，但是这个怎么用啊

DrownFish19 commented 2 months ago 
from paddlenlp.transformers import AutoTokenizer, AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("xxx") # mamba模型id

trainer = xxxx # 可以使用paddlenlp的trainer，也可以自行定义trainer进行训练