schema linker 模型微调不能复现结果

[dshwei]

使用 schema linker 微调的结果，和您开源的sql generate 模型，进行测试：

schema linker 微调的脚本如下： deepspeed --master_port 29567 train_schema_item_filter.py \ --batch_size 4 \ --gradient_descent_step 8 \ --device 0 \ --learning_rate 1e-5 \ --gamma 2.0 \ --alpha 0.75 \ --epochs 64 \ --patience 8 \ --seed 42 \ --save_path ./sic_ckpts/sic_bird_with_evidence \ --tensorboard_save_path ./train_logs/sic_bird_with_evidence \ --train_filepath ./sft_bird_with_evidence_train_text2sql.json \ --dev_filepath ./sft_bird_with_evidence_dev_text2sql.json \ --model_name_or_path roberta-large \ --mode train

sic_bird_with_evidence + seeklhy/codes-7b-bird

发现测试结果没有达到 57.63,只有 50.46

通过对比发现，schema linker 模型微调不能复现论文里的效果。

[lihaoyang-ruc]

schema linker 在dev集上的auc是多少？