search

RedAIGC / StoryMaker

StoryMaker: Towards consistent characters in text-to-image generation
556 stars 48 forks source link

Limitation #16

Open ApolloRay opened 1 month ago

ApolloRay commented 1 month ago
  1. 目前确实很好的保持了服装的一致性，但是服装一致性有时候反而在故事中会比较出戏。尝试了mask只保留脸部区域，但是衣服还是会跟随refence image
  2. 目前的思路貌似限制了NPC的样貌，主角保持一致性的前提下，NPC的样貌会与主角一致或者相近。
  3. 两个人物同一个场景的动作还是有一些拘束，创造力可以提升。 整个工作还是很有意思的！期待~
RedAIGC commented 1 month ago
  1. 目前确实很好的保持了服装的一致性，但是服装一致性有时候反而在故事中会比较出戏。尝试了mask只保留脸部区域，但是衣服还是会跟随refence image
  2. 目前的思路貌似限制了NPC的样貌，主角保持一致性的前提下，NPC的样貌会与主角一致或者相近。
  3. 两个人物同一个场景的动作还是有一些拘束，创造力可以提升。 整个工作还是很有意思的！期待~

感谢关注 1、这个模型可以只参考人脸部分，就像文中Figure 4右边4列所展示的那样，只需要将这个代码中的clip改成torch.zeros_like(clip)即可https://github.com/RedAIGC/StoryMaker/blob/main/ip_adapter/ip_adapter_faceid.py#L101 2、是的目前训练时没有考虑npc其他人的情况，所以是有些限制的 3、我们正在努力提升此模型的泛化能力，期待有更好的版本出现