Open cyrishe opened 10 months ago
我在做一些模型微调,希望比较各种微调方式的效果。 Ptuning的效果应该还不错,所以想合并到base model中。 我看到Repo提供的ptuning代码好像没有用到PEFT库(PEFT库自己有adapter合并的支持),我希望合并prefix层,请问有已经实现的方法么?
No response
希望给出合并的代码或者方法。
- OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :
Is there an existing issue for this?
Current Behavior
我在做一些模型微调,希望比较各种微调方式的效果。 Ptuning的效果应该还不错,所以想合并到base model中。 我看到Repo提供的ptuning代码好像没有用到PEFT库(PEFT库自己有adapter合并的支持),我希望合并prefix层,请问有已经实现的方法么?
Expected Behavior
No response
Steps To Reproduce
希望给出合并的代码或者方法。
Environment
Anything else?
No response