devilismyfriend / StableTuner

Finetuning SD in style.
GNU Affero General Public License v3.0
670 stars 51 forks source link

Can't load the configuration of 'models/(...)/frozen_text_encoder' #96

Closed NoteToSelfFindGoodNickname closed 1 year ago

NoteToSelfFindGoodNickname commented 1 year ago

Environment name is set as "ST" as per environment.yaml anaconda3/miniconda3 detected in C:\Users\tomwe\miniconda3 Starting conda environment "ST" from C:\Users\tomwe\miniconda3 warning: redirecting to https://github.com/devilismyfriend/StableTuner.git/ Latest git hash: ef51982

(ST) C:\Users\tomwe\st4>accelerate "launch" "--mixed_precision=fp16" "scripts/trainer.py" "--sample_from_batch=2" "--attention=xformers" "--model_variant=base" "--normalize_masked_area_loss" "--unmasked_probability=0.0" "--max_denoising_strength=1.0" "--disable_cudnn_benchmark" "--use_text_files_as_captions" "--sample_step_interval=55" "--stop_text_encoder_training=100" "--pretrained_model_name_or_path=models\iconex\epoch_95" "--pretrained_vae_name_or_path=" "--output_dir=models/iconex" "--seed=3434554" "--resolution=512" "--train_batch_size=41" "--num_train_epochs=100" "--mixed_precision=fp16" "--use_bucketing" "--aspect_mode=dynamic" "--aspect_mode_action_preference=add" "--use_8bit_adam" "--gradient_checkpointing" "--gradient_accumulation_steps=1" "--learning_rate=3e-6" "--lr_warmup_steps=0" "--lr_scheduler=constant" "--regenerate_latent_cache" "--train_text_encoder" "--concepts_list=stabletune_concept_list.json" "--num_class_images=200" "--save_every_n_epoch=5" "--n_save_sample=2" "--sample_height=512" "--sample_width=512" "--dataset_repeats=1" "--add_sample_prompt=an apple by iconex" "--sample_on_training_start" The following values were not passed to accelerate launch and had defaults used instead: --num_processes was set to a value of 1 --num_machines was set to a value of 1 --dynamo_backend was set to a value of 'no' To avoid this warning pass in values for each of the problematic parameters or run accelerate config. Booting Up StableTuner Please wait a moment as we load up some stuff... You are using a model of type clip_text_model to instantiate a model of type . This is not supported for all configurations of models and can yield errors.

===================================BUG REPORT=================================== Welcome to bitsandbytes. For bug reports, please submit your error trace to: https://github.com/TimDettmers/bitsandbytes/issues For effortless bug reporting copy-paste your error into this form: https://docs.google.com/forms/d/e/1FAIpQLScPB8emS3Thkp66nvqwmjTEgxp8Y9ufuWTzFyr9kJ5AoI47dQ/viewform?usp=sf_link

CUDA SETUP: Loading binary C:\Users\tomwe\miniconda3\envs\ST\lib\site-packages\bitsandbytes\libbitsandbytes_cuda116.dll... C:\Users\tomwe\miniconda3\envs\ST\lib\site-packages\diffusers\configuration_utils.py:195: FutureWarning: It is deprecated to pass a pretrained model name or path to from_config.If you were trying to load a scheduler, please use <class 'diffusers.schedulers.scheduling_ddpm.DDPMScheduler'>.from_pretrained(...) instead. Otherwise, please make sure to pass a configuration dictionary instead. This functionality will be removed in v1.0.0. deprecate("config-passed-as-path", "1.0.0", deprecation_message, standard_warn=False) Creating Auto Bucketing Dataloader Rounded resolution to: 512 Preloading images... Processing C:/Users/tomwe/Desktop/auswahl: 100%|████████████████████████████████████████| 162/162 [00:00<?, ?it/s] Number of buckets: 1 ** Bucket (512, 512) found 29 images, will duplicate 12 images due to batch size 41 Number of image-caption pairs: 41

** Validation Set: val, steps: 1, repeats: 1

The batch_size has changed since the last run. Regenerating Latent Cache. The dataset length has changed since the last run. Regenerating Latent Cache. Generating latents cache... Caching latents: 100%|███████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00, 3.97s/it] Latents are ready. 0%| | 0/1 [00:00<?, ?it/s] Starting Training!%| | 0/100 [00:00<?, ?it/s] Use 'CTRL+SHIFT+G' to open up a GUI to play around with the model (will pause training) | 0/100 [00:00<?, ?it/s] Use 'CTRL+SHIFT+S' to save a checkpoint of the current epoch Use 'CTRL+SHIFT+P' to generate samples for current epoch Use 'CTRL+SHIFT+Q' to save and quit after the current epoch Use 'CTRL+SHIFT+ALT+S' to save a checkpoint of the current step Use 'CTRL+SHIFT+ALT+P' to generate samples for current step Use 'CTRL+SHIFT+ALT+Q' to save and quit after the current step

Use 'CTRL+H' to print this message again. C:\Users\tomwe\miniconda3\envs\ST\lib\site-packages\transformers\models\clip\feature_extraction_clip.py:28: FutureWarning: The class CLIPFeatureExtractor is deprecated and will be removed in version 5 of Transformers. Please use CLIPImageProcessor instead. warnings.warn( C:\Users\tomwe\miniconda3\envs\ST\lib\site-packages\torch\utils\checkpoint.py:25: UserWarning: None of the inputs have requires_grad=True. Gradients will be None warnings.warn("None of the inputs have requires_grad=True. Gradients will be None") | 0/2 [00:00<?, ?it/s] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.86s/it] Steps To Epoch: 100%|████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00, 3.39s/it]Use 'CTRL+SHIFT+G' to open up a GUI to play around with the model (will pause training) 7.43s/it, loss=0.0313, lr=3e-6] Use 'CTRL+SHIFT+S' to save a checkpoint of the current epoch | 1/100 [00:07<12:15, 7.43s/it] Use 'CTRL+SHIFT+P' to generate samples for current epoch Use 'CTRL+SHIFT+Q' to save and quit after the current epoch Use 'CTRL+SHIFT+ALT+S' to save a checkpoint of the current step Use 'CTRL+SHIFT+ALT+P' to generate samples for current step Use 'CTRL+SHIFT+ALT+Q' to save and quit after the current step

Use 'CTRL+H' to print this message again. Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.08s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.98s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.95s/it] Weights saved to models/iconex\epoch_5███████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.05s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.08s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.96s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.97s/it] Weights saved to models/iconex\epoch_10██████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.07s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.07s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.98s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.03s/it] Weights saved to models/iconex\epoch_15██████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.06s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.10s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.00s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.99s/it] Weights saved to models/iconex\epoch_20██████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.09s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.11s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.04s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.04s/it] Weights saved to models/iconex\epoch_25██████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.10s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.12s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.03s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.02s/it] Weights saved to models/iconex\epoch_30██████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.10s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.15s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.05s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.07s/it] Weights saved to models/iconex\epoch_35██████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.14s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.04s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.99s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.98s/it] Weights saved to models/iconex\epoch_40██████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.02s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.98s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.89s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.89s/it] Weights saved to models/iconex\epoch_45██████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.97s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.96s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.93s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.96s/it] Weights saved to models/iconex\epoch_50██████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.95s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.92s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.98s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.95s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.35s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.97s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.89s/it] Weights saved to models/iconex\epoch_55██████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.34s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.21s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.11s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.80s/it] Weights saved to models/iconex\epoch_60██████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.20s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.27s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.29s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.38s/it] Weights saved to models/iconex\epoch_65██████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.24s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.31s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.34s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.45s/it] Weights saved to models/iconex\epoch_70██████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.28s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.95s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.87s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.87s/it] Weights saved to models/iconex\epoch_75██████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.93s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.99s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.87s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.92s/it] Weights saved to models/iconex\epoch_80██████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.98s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.99s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.95s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.93s/it] Weights saved to models/iconex\epoch_85██████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.97s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.27s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.18s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.20s/it] Weights saved to models/iconex\epoch_90██████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.26s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.27s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.16s/it] Generating samples: 100%|████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.21s/it] Weights saved to models/iconex\epoch_95██████████████████████████████████████████████████| 2/2 [00:04<00:00, 2.26s/it] Steps To Epoch: 100%|████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00, 3.52s/it]Can't load the configuration of 'models/iconex/frozen_text_encoder'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'models/iconex/frozen_text_encoder' is the correct path to a directory containing a config.json file Error occured during sampling, skipping. Steps To Epoch: 100%|████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00, 3.88s/it] Overall Steps: 100%|███████████████████████████████████████████| 100/100 [11:32<00:00, 6.92s/it, loss=0.0358, lr=3e-6] Overall Epochs: 100%|████████████████████████████████████████████████████████████████| 100/100 [11:32<00:00, 6.92s/it] invalid command name "1320297622144update" while executing "1320297622144update" ("after" script) invalid command name "1320304357184check_dpi_scaling" while executing "1320304357184check_dpi_scaling" ("after" script) warning: redirecting to https://github.com/devilismyfriend/StableTuner.git/ Latest git hash: ef51982

NoteToSelfFindGoodNickname commented 1 year ago

I got it now:

I didn't load a model. Can you not issue a warning if the user didn't select a model? Thanks!