MLT预训练模型

[123cjjjj]

您好，谢谢您对TextPM的开源。关于您的另一个开源项目TextPM中，使用基于公布的MLT预训练模型在totaltext上微调得到的复现结果与公布的相差不大，如果后续修改了model中FPN部分，然后查看这种修改是否得到提升的话需要对修改后model重新进行MLT预训练和totaltext在上面的微调吗？还有就是怎么观察训练过程中loss是否收敛的变化或者另一种使用其他方式表明预训练多少轮次就可以停止？小白一个，虚心向作者请教！望回复。

[GXYM]

模型结构的变化，是需要重新预训练的发自我的荣耀手机-------- 原始邮件 --------发件人： 123cjjjj @.>日期： 2023年1月12日周四 12:18收件人： GXYM/TextBPN-Plus-Plus @.>抄送： Subscribed @.***>主 题： [GXYM/TextBPN-Plus-Plus] MLT预训练模型 (Issue #13) 您好，谢谢您对TextPM的开源。关于您的另一个开源项目TextPM中，使用基于公布的MLT预训练模型在totaltext上微调得到的复现结果与公布的相差不大，如果后续修改了model中FPN部分，然后查看这种修改是否得到提升的话需要对修改后model重新进行MLT预训练和totaltext在上面的微调吗？还有就是怎么观察训练过程中loss是否收敛的变化或者另一种使用其他方式表明预训练多少轮次就可以停止？小白一个，虚心向作者请教！望回复。

—Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you are subscribed to this thread.Message ID: @.***>

[GXYM]

你可以对loss累加求平均，观察loss曲线变化，loss基本不降了，就说明训练的差不多了，一般需要多训练一些。测试可以通过测试不同轮数模型的性能，得到大概需要训练多久合适，训练时间和batchsize和学习率关系也很大，所以这个需要自己去尝试，积累经验发自我的荣耀手机-------- 原始邮件 --------发件人： 123cjjjj @.>日期： 2023年1月12日周四 12:18收件人： GXYM/TextBPN-Plus-Plus @.>抄送： Subscribed @.***>主 题： [GXYM/TextBPN-Plus-Plus] MLT预训练模型 (Issue #13) 您好，谢谢您对TextPM的开源。关于您的另一个开源项目TextPM中，使用基于公布的MLT预训练模型在totaltext上微调得到的复现结果与公布的相差不大，如果后续修改了model中FPN部分，然后查看这种修改是否得到提升的话需要对修改后model重新进行MLT预训练和totaltext在上面的微调吗？还有就是怎么观察训练过程中loss是否收敛的变化或者另一种使用其他方式表明预训练多少轮次就可以停止？小白一个，虚心向作者请教！望回复。

—Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you are subscribed to this thread.Message ID: @.***>

[123cjjjj]

感谢您的回复，测试那里看到您在文件脚本中有相应的测试语句，观察loss曲线变化实现难吗？在网上有相应的代码吧？

[GXYM]

你也可以根据训练过程中的可视化中间结果，判断训练是否到位，这部分代在工程里可以用参数控制。loss曲线的观察，我们的代码也支持，不过后期为了节约训练时间，就删除了，如果你感兴趣可以去参考textsanke的训练代码，加上那几行画loss曲线的代码就可以查看loss曲线了发自我的荣耀手机-------- 原始邮件 --------发件人： 123cjjjj @.>日期： 2023年1月12日周四 12:18收件人： GXYM/TextBPN-Plus-Plus @.>抄送： Subscribed @.***>主 题： [GXYM/TextBPN-Plus-Plus] MLT预训练模型 (Issue #13) 您好，谢谢您对TextPM的开源。关于您的另一个开源项目TextPM中，使用基于公布的MLT预训练模型在totaltext上微调得到的复现结果与公布的相差不大，如果后续修改了model中FPN部分，然后查看这种修改是否得到提升的话需要对修改后model重新进行MLT预训练和totaltext在上面的微调吗？还有就是怎么观察训练过程中loss是否收敛的变化或者另一种使用其他方式表明预训练多少轮次就可以停止？小白一个，虚心向作者请教！望回复。

—Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you are subscribed to this thread.Message ID: @.***>

[GXYM]

感谢您的回复，测试那里看到您在文件脚本中有相应的测试语句，观察loss曲线变化实现难吗？在网上有相应的代码吧？

不难，我看了一下，有句losses=AvergeMeter()和这相关的代码就是用来计算loss的均值，把它画出来了就行了。谢谢关注我们的工作，感兴趣可以点个star

[123cjjjj]

嗯嗯好滴，必须star，谢谢您的回复

[123cjjjj]

您好，mlt数据集中mlt_train文件夹存放训练img和相应的gt文件吗？没有找到存放gt文件的地方

[GXYM]

有个加载mlt数据集的python文件，你可以根据需要修改成你想对应的图片和标注路径就行了发自我的荣耀手机-------- 原始邮件 --------发件人： 123cjjjj @.>日期： 2023年1月12日周四 16:57收件人： GXYM/TextBPN-Plus-Plus @.>抄送： "S.X.Zhang" @.>, Comment @.>主 题： Re: [GXYM/TextBPN-Plus-Plus] MLT预训练模型 (Issue #13)

您好，mlt数据集中mlt_train文件夹存放训练img和相应的gt文件吗？没有找到存放gt文件的地方

—Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you commented.Message ID: @.***>

[GXYM]

没有必要，都用我们的格式，文件在dataset文件下，每个数据集都有加载的脚本，用来读取图片和对应的标注，你可以根据需要修改，然后调试，保证加载的数据正确后，在整体训练发自我的荣耀手机-------- 原始邮件 --------发件人： 123cjjjj @.>日期： 2023年1月12日周四 16:57收件人： GXYM/TextBPN-Plus-Plus @.>抄送： "S.X.Zhang" @.>, Comment @.>主 题： Re: [GXYM/TextBPN-Plus-Plus] MLT预训练模型 (Issue #13)

您好，mlt数据集中mlt_train文件夹存放训练img和相应的gt文件吗？没有找到存放gt文件的地方

—Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you commented.Message ID: @.***>

[GXYM]

我们是把图片和标注的txt文件放到了一个文件夹里发自我的荣耀手机-------- 原始邮件 --------发件人： 123cjjjj @.>日期： 2023年1月12日周四 16:57收件人： GXYM/TextBPN-Plus-Plus @.>抄送： "S.X.Zhang" @.>, Comment @.>主 题： Re: [GXYM/TextBPN-Plus-Plus] MLT预训练模型 (Issue #13)

您好，mlt数据集中mlt_train文件夹存放训练img和相应的gt文件吗？没有找到存放gt文件的地方

—Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you commented.Message ID: @.***>

[GXYM]

此外，mlt数据集有几张图片不是jpg格式，这个需要手动转成jpg，不然训练会报错。发自我的荣耀手机-------- 原始邮件 --------发件人： 123cjjjj @.>日期： 2023年1月12日周四 16:57收件人： GXYM/TextBPN-Plus-Plus @.>抄送： "S.X.Zhang" @.>, Comment @.>主 题： Re: [GXYM/TextBPN-Plus-Plus] MLT预训练模型 (Issue #13)

您好，mlt数据集中mlt_train文件夹存放训练img和相应的gt文件吗？没有找到存放gt文件的地方

—Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you commented.Message ID: @.***>

[123cjjjj]

好滴，谢谢老师

[123cjjjj]

您好，您公布的基于MLT的预训练模型是训练多少轮次得到的呀？怎么确定使用多少轮次的预训练模型，是基于训练过程中的损失吗？项目中好像没有对MLT预训练模型评估的代码，虚心向作者请教，望回复！

[GXYM]

您好，您公布的基于MLT的预训练模型是训练多少轮次得到的呀？怎么确定使用多少轮次的预训练模型，是基于训练过程中的损失吗？项目中好像没有对MLT预训练模型评估的代码，虚心向作者请教，望回复！

我们提供的MLT预训练模型都是300eps的，不用太在意预训练模型的性能，保证预训练尽可能的充分即可（可以根据loss判断）。或者可以测试完MLT数据的性能之后，先选一个性能好的模型作为预训练模型也可以。根据我们的经验，只要训练充分之后，选择那一轮模型影响非常小，可以不用考虑这个影响。

[123cjjjj]

感谢您的指导，测试MLT数据性能的时候好像没有评估MLT预训练模型的代码，如果依据loss的话，loss需要收敛且很低很低吗？大概收敛到什么程度？TextPM中MLT预训练脚本中是训练300轮次，您公布的模型中好像是使用64轮次得到的模型

在 2023-02-11 13:41:52，"S.X.Zhang" @.***> 写道：

您好，您公布的基于MLT的预训练模型是训练多少轮次得到的呀？怎么确定使用多少轮次的预训练模型，是基于训练过程中的损失吗？项目中好像没有对MLT预训练模型评估的代码，虚心向作者请教，望回复！

我们提供的MLT预训练模型都是300eps的，不用太在意预训练模型的性能，保证预训练尽可能的充分即可（可以根据loss判断）。或者可以测试完MLT数据的性能之后，先选一个性能好的模型作为预训练模型也可以。根据我们的经验，只要训练充分之后，选择那一轮模型影响非常小，可以不用考虑这个影响。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[GXYM]

测试MLT数据性能的时候好像没有评估MLT预训练模型的代码

测试MLT数据性能去ICDAR官网上测试。loss收敛到一定程度，基本不怎么在变小了，开始在某个范围震荡，就训练好。TextPM因为预测的PM基本相同，且使用了的都是MSE损失，所以收敛的很快。虽然，脚本中写的300, 但实际没有训练那么多。我们边训练边测试，发现性能基本没什么提升了，就停止了训练。