training issues

[Cubey42]

Num processes: 1
Process index: 0
Local process index: 0
Device: cuda

Mixed precision type: fp16

{'prediction_type', 'variance_type'} was not found in config. Values will be initialized to default values.
loaded temporal unet's pretrained weights from I:\animetest\anime\animatediff\models\StableDiffusion\unet ...
{'num_class_embeds', 'use_linear_projection', 'upcast_attention', 'mid_block_type', 'only_cross_attention', 'dual_cross_attention', 'class_embed_type', 'resnet_time_scale_shift'} was not found in config. Values will be initialized to default values.
### missing keys: 560;
### unexpected keys: 0;
### Temporal Module Parameters: 417.1376 M
{'prediction_type'} was not found in config. Values will be initialized to default values.
07/31/2023 19:11:45 - INFO - __main__ - ***** Running training *****
07/31/2023 19:11:45 - INFO - __main__ -   Num examples = 1
07/31/2023 19:11:45 - INFO - __main__ -   Num Epochs = 1
07/31/2023 19:11:45 - INFO - __main__ -   Instantaneous batch size per device = 1
07/31/2023 19:11:45 - INFO - __main__ -   Total train batch size (w. parallel, distributed & accumulation) = 1
07/31/2023 19:11:45 - INFO - __main__ -   Gradient Accumulation steps = 1
07/31/2023 19:11:45 - INFO - __main__ -   Total optimization steps = 1
Steps:   0%|                                                                                     | 0/1 [00:00<?, ?it/s]I:\animetest\anime\venv\lib\site-packages\torch\utils\checkpoint.py:31: UserWarning: None of the inputs have requires_grad=True. Gradients will be None
  warnings.warn("None of the inputs have requires_grad=True. Gradients will be None")
I:\animetest\anime\venv\lib\site-packages\xformers\ops\fmha\flash.py:339: UserWarning: TypedStorage is deprecated. It will be removed in the future and UntypedStorage will be the only storage class. This should only matter to you if you are using storages directly.  To access UntypedStorage directly, use tensor.untyped_storage() instead of tensor.storage()
  and inp.query.storage().data_ptr() == inp.key.storage().data_ptr()
100%|██████████████████████████████████████████████████████████████████████████████████| 50/50 [00:23<00:00,  2.17it/s]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:18<00:00,  1.08it/s]
100%|██████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 44.81it/s]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:18<00:00,  1.08it/s]
100%|██████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 47.02it/s]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:18<00:00,  1.08it/s]
100%|██████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 49.18it/s]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:18<00:00,  1.08it/s]
100%|██████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 47.74it/s]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:18<00:00,  1.09it/s]
100%|██████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 48.82it/s]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:18<00:00,  1.10it/s]
100%|██████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 47.53it/s]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:18<00:00,  1.09it/s]
100%|██████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 48.84it/s]```

seems to just start producing samples to infinity... 

[Cubey42]

@tumurzakov did the recent update change the yaml? I'm getting TypeError: FramesDataset.init() got an unexpected keyword argument 'video_path'

[tumurzakov]

@Cubey42 Oops, sorry, return everything back. Now should work

[Cubey42]

I see a new branch as well, I'd love to try out what you got going for CN. do you have a config to play around with?

[Cubey42]

if you have a config set up for it, I'd be willing to test it