search

TencentARC / LLaMA-Pro

[ACL 2024] Progressive LLaMA with Block Expansion.
https://tencentarc.github.io/LLaMA-Pro/
Apache License 2.0
449 stars 34 forks source link

我们如何针对扩展区块微调? #3

Open win10ogod opened 6 months ago

win10ogod commented 6 months ago

我们如何针对扩展区块微调?

win10ogod commented 6 months ago

@hills-code How do we train for extended blocks?

hills-code commented 6 months ago

感谢关注！ 我把训练代码上传了在这个repo下面了，也可以查看https://github.com/hills-code/open-instruct/tree/llama-pro

JohnZhuYX commented 5 months ago

@hills-code 你好，请问我在https://github.com/hills-code/open-instruct/blob/llama-pro/scripts/finetune_codealpaca.sh脚本中没有看到你对原来的层的冻结操作，你是把所有的层都进行训练了吗？还有，你这个项目里是哪个阶段的训练？PT ? SFT?

hills-code commented 5 months ago

这个项目是SFT的训练，在这个阶段是所有参数一起训练，和普通的SFT是一致的；在Pretrain的时候会冻结参数，具体的操作在这里https://github.com/hills-code/open-instruct/blob/7c2b14d3d319028c68657946ca2c16b248f866e8/open_instruct/customized_trainer.py#L53

JohnZhuYX commented 5 months ago

我看了customized_trainer.py这个文件，但是这个文件只是用于扩展模型，也就是把一个7B的模型变成一个8B的模型，但是增加的块都是初始状态，没有被训练。有没有针对这些新增块（也就是冻结所有原始块）进行PT轮训练的DEMO