search

modelscope / ms-swift

Use PEFT or Full-parameter to finetune 350+ LLMs or 100+ MLLMs. (LLM: Qwen2.5, Llama3.2, GLM4, Internlm2.5, Yi1.5, Mistral, Baichuan2, DeepSeek, Gemma2, ...; MLLM: Qwen2-VL, Qwen2-Audio, Llama3.2-Vision, Llava, InternVL2, MiniCPM-V-2.6, GLM4v, Xcomposer2.5, Yi-VL, DeepSeek-VL, Phi3.5-Vision, ...)
https://swift.readthedocs.io/zh-cn/latest/Instruction/index.html
Apache License 2.0
3.93k stars 347 forks source link

GOT-OCR 2.0 训练新的prompt数据后发现推理没有任何效果 #2259

Open dhhcj1 opened 6 days ago

dhhcj1 commented 6 days ago

Describe the bug What the bug is, and how to reproduce, better with screenshots(描述bug以及复现过程，最好有截图)

Your hardware and system info Write your system info like CUDA version/system/GPU/torch version here(在这里给出硬件信息和系统信息，如CUDA版本，系统，GPU型号和torch版本等)

Additional context Add any other context about the problem here(在这里补充其他信息)

我想尝试对表格识别成html格式的prompt然后构建了如下训练集 1491a3c03541f6ea88f8555ebfc8a2b7_compress 然后进行训练，发现收敛的还不错 8a67de4a49152754fb2f6a4623f3fb09_compress 接着就是做模型权重合并 image 最后进行推理，推理的时候也使用了新的prompt image 但是结果中还是latex格式？？？

Jintao-Huang commented 6 days ago

请多训练几个epoch

dhhcj1 commented 6 days ago

请多训练几个epoch

刚训练20个epoch还是一样的，感觉好奇怪不应该训练完成后一点影响没有,我重新改了下数据格式也不太行 47be158c3a18875fbe9782c34f23208c_compress 我用swift自带示例推理也没有效果 b69208b10ec3c9cbead42762539324b2_compress b69208b10ec3c9cbead42762539324b2_compress

Jintao-Huang commented 2 days ago

images是一个list 会不会是这个原因