测试集预测结果样式和自定义图片的结果样式

[cactusgame]

非常感谢分享了这么好的项目！ 初步尝试使用后，有2个问题希望请教一下

问题一：使用源码测试集的结果

下图

• 第一行由模型预测产生
• 第二行是测试集内coordinates数据。 我使用的模型是github上预训练好的模型执行test.py，sample_size是500。尝试预测了很多次，预测的文字style看起来和测试集有一定差距，效果看起来不如论文所述。请问可能是什么原因造成的？

---

问题二：使用自定义图片的结果

我使用电脑自带的”黑体“作为新的writer，并同时修改了writer_dict等配置，生成了1000多张style图片，sample_size是50，模型未进行微调（和上面的模型一样），期望模型的预测结果接近“黑体”。但结果如下，和“黑体”相差很大

在论文中，我看到如下两段比较困惑：

• 下面这段提到，你们使用了writer的数据的80%进行训练，这是意味着我需要用“黑体”数据进行微调才可以么？

  【A4】We randomly select 80% of the entire dataset as the training set, and the remaining 20% as the test set.

• 但下面这段话，没有具体说模型是否用some user的数据训练或微调过。

  【A6】As shown in Figure 11 (a), by taking some pictures of the user’s handwriting set as the style reference, our method can readily generate the target-stylized online characters.

所以，第二个问题是，我预期模型可以输出“黑体”样式，那么是否需要用“黑体”进行微调？如果需要微调，大概需要准备多少数据？是否有最佳实践可供参考？

[dailenson]

感谢对我们工作的关注~关于第一个问题，可以先测一下生成结果的DTW指标，如果DTW有问题就是性能没有复现出来。第二个问题，我们的工作是生成手写体的，黑体跟手写体还有有一些差异的，建议自己手写一些字然后输入到模型中去生成，这个过程是不需要finetune的，具体的教程近期我会出一个放在置顶issue上。A4和A6可以不用管，A4是生成离线的手写中文，是另外一个任务，A6主要是讨论模型的输入选择轨迹模态还是离线模态比较好。

[cactusgame]

感谢对我们工作的关注~关于第一个问题，可以先测一下生成结果的DTW指标，如果DTW有问题就是性能没有复现出来。第二个问题，我们的工作是生成手写体的，黑体跟手写体还有有一些差异的，建议自己手写一些字然后输入到模型中去生成，这个过程是不需要finetune的，具体的教程近期我会出一个放在置顶issue上。A4和A6可以不用管，A4是生成离线的手写中文，是另外一个任务，A6主要是讨论模型的输入选择轨迹模态还是离线模态比较好。

非常感谢回复。

• 问题1 dtw显示the avg fast_norm_len_dtw is 43.8289909362793, 这次结果如下。虽然和测试集不是特别像，但能看出style是相近的。

• 问题2 我试过多个不同的机打体，包括机打手写体（如翩翩体），预测出的结果都和下图类似，和输入的style_image相差甚远。我正在尝试照片手写，有进展了我会继续同步。

[cactusgame]

@dailenson 麻烦问一下，test.py运行时，默认每次只从writer的字迹中取15个作为style参考，15是如何确定的？是不是这里采样越多输入给模型，style就会和writer的字迹越像？

[dailenson]

@dailenson 麻烦问一下，test.py运行时，默认每次只从writer的字迹中取15个作为style参考，15是如何确定的？是不是这里采样越多输入给模型，style就会和writer的字迹越像？

15是一个比较折中的数值，可以得到比较好的性能，并且这个数量也不算太多。是的，一般来说给的样本参考越多，模型的性能会更好。

[dailenson]

感谢对我们工作的关注~关于第一个问题，可以先测一下生成结果的DTW指标，如果DTW有问题就是性能没有复现出来。第二个问题，我们的工作是生成手写体的，黑体跟手写体还有有一些差异的，建议自己手写一些字然后输入到模型中去生成，这个过程是不需要finetune的，具体的教程近期我会出一个放在置顶issue上。A4和A6可以不用管，A4是生成离线的手写中文，是另外一个任务，A6主要是讨论模型的输入选择轨迹模态还是离线模态比较好。

非常感谢回复。

• 问题1 dtw显示the avg fast_norm_len_dtw is 43.8289909362793, 这次结果如下。虽然和测试集不是特别像，但能看出style是相近的。
• 问题2 我试过多个不同的机打体，包括机打手写体（如翩翩体），预测出的结果都和下图类似，和输入的style_image相差甚远。我正在尝试照片手写，有进展了我会继续同步。

正常运行的情况下dtw指标的结果应该是0.8左右。你复现出的结果差的有点多，建议再仔细看下readme的教程，看看运行过程中是否有错误。

[cactusgame]

非常感谢，我已经可以复现0.8左右的dtw。上面的错误是由于我稍微修改了一点代码，调用了utils里的coords_render方法，这个方法内部会改变入参的值

正常运行的情况下dtw指标的结果应该是0.8左右。你复现出的结果差的有点多，建议再仔细看下readme的教程，看看运行过程中是否有错误。

[cactusgame]

有个疑问，得出dtw 0.8的测试集的writer,同一个writer的字迹是否在训练集中出现过呢？我看train style 和test style中writer id有重复的（指0,1,2,3这些数字），但writer fname又不一样。所以测试集中的writer id，和train中的writer id，是否代表同一个writer？

A4和A6可以不用管，A4是生成离线的手写中文，是另外一个任务，A6主要是讨论模型的输入选择轨迹模态还是离线模态比较好。

[dailenson]

有个疑问，得出dtw 0.8的测试集的writer,同一个writer的字迹是否在训练集中出现过呢？我看train style 和test style中writer id有重复的（指0,1,2,3这些数字），但writer fname又不一样。所以测试集中的writer id，和train中的writer id，是否代表同一个writer？

A4和A6可以不用管，A4是生成离线的手写中文，是另外一个任务，A6主要是讨论模型的输入选择轨迹模态还是离线模态比较好。

训练集跟测试集的书写者是不相交的，在训练过程中从来没见过测试集中的书写者。你所说的writer id是后处理过的，训练集中的0和测试集中的0并不代表同一个书写者。数据集的划分详情可以进一步看下我们的论文，上面写的很清楚。

[cactusgame]

非常感谢，这下清晰多了

训练集跟测试集的书写者是不相交的，在训练过程中从来没见过测试集中的书写者。你所说的writer id是后处理过的，训练集中的0和测试集中的0并不代表同一个书写者。数据集的划分详情可以进一步看下我们的论文，上面写的很清楚。

[aceliuchanghong]

您好, 我有一些关于SDT的问题想要咨询一下,不知道可以加一下微信吗? 我对AI生成字体非常感兴趣,不知道可以付费咨询一下吗 我的微信号是:sisconsavior