Closed theoldsong closed 3 months ago
当然,这里有一个简短的安装教程:
按照以下步骤进行安装:
Readme
文件中的安装说明进行环境设置。首先,使用以下命令安装所需依赖:
pip install -r requirements.txt
cd diffusers && pip install -e .
然后,从 Huggingface 加载模型:
# For Editing with SD3
import torch
from diffusers import StableDiffusion3InstructPix2PixPipeline
from diffusers.utils import load_image
import requests
import PIL.Image
import PIL.ImageOps
# 加载预训练模型
pipe = StableDiffusion3InstructPix2PixPipeline.from_pretrained("BleachNick/SD3_UltraEdit_w_mask", torch_dtype=torch.float16)
pipe = pipe.to("cuda")
设置编辑指令、源图像和掩码图像(如果需要):
prompt = "What if the horse wears a hat?"
img = load_image("input.png").resize((512, 512))
mask_img = load_image("mask_img.png").resize(img.size)
# 对于自由形式编辑,可以使用空白掩码
# mask_img = PIL.Image.new("RGB", img.size, (255, 255, 255))
最后,使用管道生成图像并保存为 "edited_image.png":
image = pipe(
prompt,
image=img,
mask_img=mask_img,
negative_prompt="",
num_inference_steps=50,
image_guidance_scale=1.5,
guidance_scale=7.5,
).images[0]
image.save("edited_image.png")
这个教程应该足以帮助你开始使用我们的模型进行图像编辑。任何进一步的问题,请随时联系我!
RT,感谢。