minicpm-llama3-v2_5模型微调 model_max_length参数

[todaydeath]

请教下，minicpm-llama3-v2_5模型在微调的时候，图片也算到token里面么？我看微调模型里面model_max_length默认值是2048，如果图片算到token里面且图片比较大的时候，这个值会不会不够啊

[LDLINGLINGLING]

首先图片将要计算token，但是一般不会超过2048，因为我们的max_slice_num是9，num_query等于96，因此图片最大占用不会超过1000token。但是如果你的文本信息也很大的时候，就会超过这个值。