hugging-sd

[xjli360]

你是否已经阅读并同意《Datawhale开源项目指南》？

• [X] 我已阅读并同意《Datawhale开源项目指南》

你是否已经阅读并同意《Datawhale开源项目行为准则》？

• [X] 我已阅读并同意《Datawhale开源项目行为准则》

项目简介

受到HuggingLLM项目的启发，本项目想介绍以stable-diffusion为代表的视觉生成大模型的原理、使用和应用，降低使用门槛，让更多感兴趣的非专业人士能够无障碍使用SD创造价值。

立项理由

以stable-diffusion为代表的视觉生成大模型正在深刻改变视觉领域中的上下游任务（包括二维和三维）。甚至正在改变许多产业，比如绘画、3D建模、影视、游戏等等。我们想借这个项目将SD介绍给更多的人，尤其是对此感兴趣、想利用相关技术做一些新产品或应用的朋友。希望新的技术能够促进行业更快更好发展，提高人们工作效率和生活质量。AI for humans!

项目受众

项目适合以下人员：

• 学生。希望通过学习相关技术，或是开发新应用，或是入门视觉生成式大模型，或是结合其他行业做AI for science的研究等。
• 相关或非相关行业从业者。对stable-diffusion或视觉生成大模型感兴趣，希望在实际中运用该技术创造提供新的服务或解决已有问题。

项目不适合以下人员：

• 研究其底层算法细节，比如DDPM数学推导、讨论SDS / SJC VSD等。
• 对其他技术细节感兴趣。

项目亮点

聚焦于如何使用stable-diffusion API创造新的功能和应用（二维和三维）。 提供示例代码和使用流程。

项目规划

二维视觉

• stable-diffusion原理简介
  • 介绍midjourney sd dall-e imagen等主流视觉生成大模型
  • ddpm算法
• stable-diffusion使用指南
  • 提示词
  • 文生图
  • 图生图
  • 反推与细节优化
  • LoRA与controlnet
  • sdxl1.0与应用

三维视觉

• 三维视觉原理
  • 介绍背景和应用（prolificdreamer magic3d ）
  • NeRF神经辐射场
  • Dreamfusion原理
  • 几何与纹理生成
• 三维视觉应用
  • blender软件使用简介
  • 趣味应用举例（建模自己的手办并3d打印..）

目前局限

• 二维生成：版权等
• 三维生成：质量有待提升、生成时间长、渲染速度慢等

商业与发展前景

• 背景
• 行业应用
  • 二维场景：营销作图、游戏作画、美图工具等
  • 三维场景：游戏、电影、虚拟资产、vision pro内容等

项目负责人

微信：superjie0618 GitHub: https://github.com/datawhalechina/hugging-sd

备注：发起立项申请后DOPMC将会在 72h 之内给出答复，如超时未答复请添加DOPMC负责人微信（微信号：at-Sm1les）问询~

• [X] 我已知悉上述备注

[xjli360]

目前项目规划尚不完善，将在近日构思完善并优化，希望大家多多提改进意见，谢谢~

[ZhikangNiu]

同意，可结合huggingface的书搭配起来

[xjli360]

同意，可结合huggingface的书搭配起来

哇 那很棒！ huggingface的书 目前好像没有对应的github教程吧？那是不是项目规划中很多内容得修改和扩展？估计得需要大家讨论

[ZhikangNiu]

同意，可结合huggingface的书搭配起来

哇 那很棒！

加油！期待早日看到！

[finlay-liu]

同意，但大纲写太浅，比如lora和controlnet是否需要提到？如何自定风格？

[xjli360]

同意，但大纲写太浅，比如lora和controlnet是否需要提到？如何自定风格？

嗯嗯好的 是还要进一步细化和完善内容，后面可能会找一些同学一起来做

[skywateryang]

同意

[ruyiluo]

同意

[qiwang067]

同意

[mba1398]

同意

[Sm1les]

超过7天，且DOPMC无反对意见，自动审核通过