可以支持starcoder微调吗

[floyddcn]

可以支持starcoder-15b架构的微调吗（包括sqlcoder）

[hiyouga]

支持

[floyddcn]

--template default？ --lora_target ?

[hiyouga]

c_attn

[floyddcn]

大概了解了，其实就是看modeling_xxx.py里面的注意力的投影转换参数的layer的名字是吧？只要找到这个layer,都可以用这个框架来进行lora训练是么？ 比如：starcoder里面的 baichuan里的

[floyddcn]

按照up主你的方式设置c_attn+default template训练了，loss和lr都是0

CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \ --stage sft \ --model_name_or_path /workspace/nlp_models/sqlcoder/ \ --do_train True \ --overwrite_cache True \ --finetuning_type lora \ --template default \ --dataset_dir data \ --dataset lanma_t2sql_1k5_train \ --max_source_length 3072 \ --max_target_length 1024 \ --learning_rate 1e-04 \ --num_train_epochs 80.0 \ --max_samples 1000000 \ --per_device_train_batch_size 64 \ --lr_scheduler_type cosine \ --max_grad_norm 1 \ --logging_steps 5 \ --save_steps 200 \ --warmup_steps 100 \ --padding_side left \ --lora_rank 8 \ --lora_target c_attn \ --weight_decay=0.05 \ --output_dir /workspace/projs/ft/sqlcoder/0914/ \ --fp16 True \ --plot_loss True \ --system_prompt $sysprompt

[hiyouga]

更新代码试试

[floyddcn]

更新代码试试

已经ok了，之前没有及时过来回复哈，感谢up主

[Crystalxd]

请问训练sqlcoder的数据集格式是怎样的？

[evanchenhi]

@floyddcn @hiyouga 请问sqlcoder的训练数据集用什么格式呀

[xiuxiulu]

sqlcoder微调需要扩token吗