Item 1 추론 코드 작성 -1) T2I & I2I BASE

[ahfmrptEkd]

기능 구현을 위한 issue

할 일(Tasks)

base code

• [x] T2I base code
• [x] I2I base code

Extensions - 추가 기능

• [x] Dreambooth - sd model
• [x] LoRA
• [x] VAE
• [x] ControlNet
• [x] ControlNet -DWpose (preprocesser)
• [x] Adetailer
• [x] Reactor
• [x] Upscaler

선택 조건 구현

• [x] 성별 (남자 / 여자) -> 여기서 성별 전환 기능이 가능
• [x] #36
• [x] 빛 구도? (빛의 방향)
• [x] #34

[ahfmrptEkd]

T2I, I2I base code 작성 완료. (11/23)

base code 작성 완료

[ahfmrptEkd]

Adetailer code 작성 완료 (11/23)

• 아래의 official git reference 함. 참조

[ahfmrptEkd]

Upscale code 작성 완료 (11/24)

• 하이퍼 파라미터 들을 정리 추후에 base에 쓰일 것들임.

참조

참조1 참조2

[ahfmrptEkd]

ControlNet code 작성 완료 (11/24)

• ControlNet git을 참조 하여 코드 작성함.

• ControlNet 관련 git issue를 통해 multi controlnet 적용을 확인

• Route POST /controlnet/detect api 를 통해 preprocessor만 가동하게하는것도 가능함. (하지만 setting에서 동시에 설정이 가능할것 같음.)

• 아직 DW pose를 적용이 가능한지 구현후 실현해봐함. (contorlnet/detect api를 통해 전처리 과정이 필요한지 확인 필요. & 자체 적인 setting에 포함이 되어 있어보임.)

참조

참조 1 참저 2

[ahfmrptEkd]

Reactor code 작성 완료 (11/25)

• (official github) sd-webui-reactor/example/api_example을 참조하여 작성함.

• try & exception 으로 좀 더 터미널에서 작업 환경 확인 가능한 코드임.

참조

참조

[ahfmrptEkd]

Embedding 의 경우에는 "negative_prompt"에 같이 추가하여 가중치를 적용하면 쓸 수 있음.

[ahfmrptEkd]

Override_setting code + dreambooth model & VAE & LoRA useage 작성완료 (11/25)

override_settings 와 alwayson_scripts 의 차이를 알아봐야 할 듯함. 지금 알아본 바로는

• override_settings는 변동 사항의 경우 (변수)가 추가 되는 경우에 적합해 보임.
• alwayson_scripts는 변동 사항과 달리 고정하고 쓸 config setting에 적합해 보임. + extension script의 경우임.

web ui WIKI 와 관련 git 참조함.

model:str='PastelMix.safetensors'
vae:str="vae-ft-ema-560000-ema-pruned.safetensors"
override_settings= {
    'sd_model_checkpoint': model,
    "sd_vae": vae,

override_payload = {
    "override_settings": override_settings
}

payload.update(override_payload)
}

위 코드를 사용해서 모델과 VAE 추가 하여 load 가능

model:str='PastelMix.safetensors'
vae:str="vae-ft-ema-560000-ema-pruned.safetensors"

paylod = {
        'sd_model_checkpoint': model,
       "sd_vae": vae,
}

1. LoRA는 "prompt" 단에 추가하여 씀.
2. embedding 은 "negative_prompt" 단에 추가하여 trigger_word를 적음.

git disscusion 을 참조하여 LoRA 적용 & embedding 코드 적용

참조

참조 1 참조 2 참조 3 참조 4

[ahfmrptEkd]

Prompt 단에서 제어할 것들

1. 성별 (남성 / 여성)
2. picture의 Tone (warm / cool) :-> LoRA 로 적용 가능.

ControlNet에서 제어할 것들

1. 사진 포즈 (1~4) 예정 . 기본 Portrait (prompt 설정)
2. 빛의 구도 -> 2번째 controlNet 단에서 예정.

필요한 준비물

사진 포즈가 될 참조 input image 빛의 구도를 해줄 가이드 input image

[ahfmrptEkd]

base code 작성완료 (11/29)

• 기본 베이스 프로픔트
• Extension : ADetailer 와 Reactor를 적용 완료.
• 성별 적용 한 개별 프롬프트 구성 완료.

[ahfmrptEkd]

빛 구도 (11/30)

• 빛 구도의 경우 원래는 ContorlNet을 통해 빛의 구도를 유도하려고 하였으나, 지금의 경우에는 프롬프트로 유도하는게 더 준비가 덜 하고, 괜찮을 것 같음.
• 추후 빛 유도 프롬프트를 적을 예정.

[ahfmrptEkd]

촬영 포즈

• 포즈 사진 20개 정도 수집 완료.

• 선별 & 적용할 코드 준비 중

[ahfmrptEkd]

Piture tone (11/30)

• 자세한 연구가 필요. 새로운 issue 로 이동 #34

[ahfmrptEkd]

ContorlNet issue 발생

ControlNet - WARNING - [dw_openpose_full.processor_res] Invalid value(-1), using default value 512.

• 포즈 사진의 전처리 모듈인 dw openpose가 인식이 안되는것 같음.
• 기본을 쓰기로함.
• dw pose는 작동이 되는게 확인됨. 허나 기본값으로 512값으로만 됨. 최고는 아니지만, 최선임.

# for i in r['images']:
#     image = Image.open(io.BytesIO(base64.b64decode(i.split(",",1)[0])))

#     png_payload = {
#         "image": "data:image/png;base64," + i
#     }
#     response2 = requests.post(url=f'{url}/sdapi/v1/png-info', json=png_payload)

#     pnginfo = PngImagePlugin.PngInfo()
#     pnginfo.add_text("parameters", response2.json().get("info"))
#     image.save(f'{output}.png', pnginfo=pnginfo)

• base.py에서 위코드를 아래의 코드로 수정함.
• why? 여러 이미지들이 나오게 되면서 (controlnet output) output 이 아닌 다른 이미지들이 저장됨.

참고

controlnet official git을 통해 base code에서의 파라미터 조정함. 참고

[ahfmrptEkd]

1. openpose_full

2. dw openpose

차이가 많이 나옴

[ahfmrptEkd]

ControlNet Parameter

• weight = 1
• resize_mode = 0 or 2
• control mode = depends on tasks
• pixel perfect = True

resize 의 경우는 생성하는 이미지의 크기와 포즈의 크기가 달라 꾸겨지는 현상이 보임. 그래서 just resize 해서 크기, Envelope은 큰 차원을 맞춤 == 비율 유지됨. 2가 좀 더 비율이 괜찮은 것 같음.

[ahfmrptEkd]

Base.py(i2i) final updated

• 기능적으로 완성함.