ixxmu
commented
5 months ago 一个悄然崛起的国产开源项目 by GitHubDaily
公众号关注 “GitHubDaily”
设为 “星标”，每天带你逛 GitHub！
最近，一个来自小红书技术团队的 AI 开源项目 —— InstantID 杀疯了！
用户只需要上传一张照片，30 秒钟就能生成不同风格的写真照片，真的非常方便。
GitHub：https://github.com/InstantID/InstantID
短短几天，InstantID 在 GitHub 开源后，便斩获了 5000+ Star。
且连续一周霸榜 HuggingFace Space Trending 榜首～
该开源项目吸引了众多开发者上手，大家玩得很嗨！
模拟白宫主人从特朗普换成拜登的过程，也就是一瞬间。
诗圣杜甫摇身一变，二维变三维。
图灵奖得主 Yann LeCun 也发来肯定。
这个项目到底有何神奇之处，竟然能被多个大佬持续关注。下面，我将从技术层面，给大家好好解析一下这个项目。
InstantID 是一个基于扩散模型的图像生成解决方案，能实现从单一参考图像到多样化风格化写真的快速生成。
它可以在不需要任何训练的情况下，根据一张人脸照片和一段文本提示，生成具有个性化风格和高保真度的图像。
如图所述， InstantID 方法主要包含三个关键组成部分：
将弱对齐的 CLIP 特征替换为强语义的人脸特征；
人脸图像的特征在 Cross-Attention 中作为 Image Prompt 嵌入；
提出 IdentityNet 来对人脸施加强语义和弱空间的条件控制，从而增强 ID 的保真度以及文本的控制力。
其核心就是一个名为 IdentityNet 的模块，它能够将人脸特征和人脸关键点与文本提示相结合，从而实现强语义和弱空间的条件控制。
一张自拍 + 一张参考姿势图（可选）+ Prompt（可选） + 风格选择 （可选）= 你想要生成的 AI 写真
如何快速上手呢？Demo 演示一波：
上传带有人脸的图片。对于多人图像，InstantID 只会检测最大的脸部。请确保脸部不要太小，并且没有明显遮挡或模糊。
（可选）上传另一张图像作为参考姿势。如果没有上传，InstantID 将使用第一张图像来提取姿势。如果在步骤 1 中使用了裁剪后的脸部，建议上传它以提取新的姿势。
（可选）可以选择多个 ControlNet 模型来控制生成过程。默认设置是仅使用 IdentityNet。ControlNet 模型包括姿势骨架、精巧和深度。方便您可以调整每个 ControlNet 模型的强度以控制生成过程。
（可选）输入文本 Prompt提示词。就像所有文生图应用中所做的那样。
点击 Submit 按钮开始定制写真。与朋友分享定制写真，尽情享受吧！
非常惊喜的是，InstantID 可以作为一个可适配的插件，能够与流行的预训练文本到图像扩散模型（如 SD 1.5 和 SDXL）无缝集成。
此外，InstantID 保持了良好的文本编辑能力，使 ID 能够丝滑地嵌入到各种风格当中。加装饰、改发色、换套装，都毫无问题。
实验结果表明，InstantID 不仅超越目前基于单张图片特征进行嵌入的方法（IP-Adapter-FaceID），还与 ROOP、LoRAs 等方法在特定场景下不分伯仲，成本还低。
InstantID 开源项目的出现，与传统的多图参考和繁琐调整过程形成鲜明对比。
人像面部特征，保持得非常统一，比训练的 LoRA 好很多。
支持非常多的衍生玩法，比如 ID 插值、多风格合成、夸张表情定制、新春写真定制等等。
这个 AI 项目我玩了几天，完全停不下来，感兴趣的同学，可以到 GitHub 上 Star 关注下。
论文标题：InstantID: Zero-shot Identity-Preserving Generation in Seconds
论文地址：https://arxiv.org/abs/2401.07519
GitHub 地址：https://github.com/InstantID/InstantID
项目地址：https://instantid.github.io
Demo 体验：https://huggingface.co/spaces/InstantX/InstantID
https://mp.weixin.qq.com/s/JPNHsIPvMrkB1_Df5Ofjyg