search

yeungchenwa / FontDiffuser

[AAAI2024] FontDiffuser: One-Shot Font Generation via Denoising Diffusion with Multi-Scale Content Aggregation and Style Contrastive Learning
https://yeungchenwa.github.io/fontdiffuser-homepage/
231 stars 21 forks source link

关于训练的几个问题 #51

Open vszyylll opened 1 month ago

vszyylll commented 1 month ago

作者大佬们好，非常感谢你们的工作！ 关于训练我有两个问题。 1、假如说有草书、楷书两个主要风格的笔记训练，我将他们混合到一起进行训练效果好，还是说进行分类后再单独生产效果好呢？ 2、训练时loss值有推荐的区间不

yeungchenwa commented 1 month ago

hi@vszyylll, 感谢您的关注；

  1. 理论上来说，分别单独训练一个草书专家模型和一个楷书专家模型的效果会更好；
  2. 因为我们的框架是基于diffusion模型的，我们在过去实验过程中，loss都比较低，值在1以内，零点零几
vszyylll commented 1 month ago

@yeungchenwa 关于训练，还有一个问题叨扰一下。 我使用更加大的字体库1000+字体进行训练，发现文字很容易出现错别字。不知道有什么办法可以改善这一问题。主要表现在文字可能出现缺失，比如少个点，少几横这样

yeungchenwa commented 1 month ago

@vszyylll 你好，请问能提供一些错误样本吗～在我们的实验中，对于一些极为复杂的字且该字含有很多小的细节(比如四点水、四横等)，模型对于这些可能还是会出现缺失现象。

vszyylll commented 1 month ago

@yeungchenwa 非常荣幸。下面是我用训练的文字生成文字的效果，我测试过对于“夏”、“点”这种文字确实出问题的概率更加大 用所选项目新建的文件夹.zip