bge-m3微调咨询

[aaashinshin]

torchrun --nproc_per_node {number of gpus} \ -m FlagEmbedding.BGE_M3.run \ --output_dir {path to save model} \ --model_name_or_path BAAI/bge-m3 \ --train_data ./toy_train_data \ --learning_rate 1e-5 \ --fp16 \ --num_train_epochs 5 \ --per_device_train_batch_size {large batch size; set 1 for toy data} \ --dataloader_drop_last True \ --normlized True \ --temperature 0.02 \ --query_max_len 64 \ --passage_max_len 256 \ --train_group_size 2 \ --negatives_cross_device \ --logging_steps 10 \ --same_task_within_batch True \ --unified_finetuning True \ --use_self_distill True

作者您好，请问这里的query_max_len 、passage_max_len 最大支持多少，是bge的8k窗口吗？

[staoxiao]

yes

[aaashinshin]

yes

好，感谢