如何使用controlNet进行骨骼控制？

Echo411 commented 1 month ago

在论文中看到是支持使用ControlNet的，但是在代码里没有找到对应的代码。

yishuaidu commented 1 month ago

我估计代码自己写就行了。

Echo411 commented 1 month ago

我估计代码自己写就行了。

我自己加了controlNet的控制，一致性确实有提高，但是效果并没有论文中那么好。我的设备是3090。

  controlnet = ControlNetModel.from_pretrained(
      control_net_path, torch_dtype=torch.float16)
  pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
      sd_model_path, controlnet=controlnet, torch_dtype=torch.float16, use_safetensors=False
  )
  pose_idx = [0, 2, 5, 6, 7, 8, 9, 10]
  for idx in pose_idx:
      pose_images.append(load_image("/home/open_on_pose_image/" + str(idx) + ".png"))

在加入controlNet之前可以一批次生成多张图片，但是加入controlNet以后传入多个prompts会报cuda out of memory，因此改成了一张一张的生成。不知道是这个原因还是提示词的原因，生成的图片质量没有那么好。

  for i in range(len(cur_positive_prompts)):
      cur_image = pipe(
          cur_positive_prompts[i],
          image=current_poses[i],
          num_inference_steps=_num_steps,
          guidance_scale=guidance_scale,
          height=height,
          width=width,
          negative_prompt=negative_prompt,
          generator=generator,
      ).images
      id_images.append(cur_image[0])