RUCKBReasoning / codes

The source code of CodeS (SIGMOD 2024).
https://arxiv.org/abs/2402.16347
Apache License 2.0
128 stars 18 forks source link

训练模型复现 #20

Closed dshwei closed 1 week ago

dshwei commented 3 months ago

您好,我按照您提供的训练table schema 的训练脚本和 sql generate 的训练脚本训练数据集采用bird-evidence 的数据 执行命令如下:

schema linker:使用的是A800 80G 单卡 python -u train_schema_item_filter.py \ --batch_size 4 \ --gradient_descent_step 8 \ --device 0 \ --learning_rate 1e-5 \ --gamma 2.0 \ --alpha 0.75 \ --epochs 64 \ --patience 8 \ --seed 42 \ --save_path ./sic_ckpts/sic_bird_with_evidence \ --tensorboard_save_path ./train_logs/sic_bird_with_evidence \ --train_filepath ./sft_bird_with_evidence_train_text2sql.json \ --dev_filepath ./sft_bird_with_evidence_dev_text2sql.json \ --model_name_or_path roberta-large \ --mode train

模型的结果不能复现,模型结果不能复现,模型测试结果只有46.81,请问什么原因,训练过程的超参数有其他的修改吗

企业微信截图_1718347818491

lihaoyang-ruc commented 3 months ago

schema linker在dev集上的auc值是多少?以及sql generate用的多大的CodeS模型?