RPC errors swallowed - Githubissues

Using 67028769c8375261468a8170871c43381c306111, it runs for a bit and then quits the worker process without giving details on the actual error:
Iteration: 1/1
  7%|██████████████████▊                                                                                                                                                                                                                                                                       | 2/30 [00:00<00:05,  5.02it/s]DiffusionWrapper has 859.52 M params.
 13%|█████████████████████████████████████▌                                                                                                                                                                                                                                                    | 4/30 [00:00<00:03,  7.20it/s]making attention of type 'vanilla' with 512 in_channels
Working with z of shape (1, 4, 32, 32) = 4096 dimensions.
making attention of type 'vanilla' with 512 in_channels
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 30/30 [00:03<00:00,  8.74it/s]
INFO       | 2023-01-03 06:43:53.571343 | worker.job:get_job_from_server:140 - Server https://stablehorde.net has no valid generations for us to do.
INFO       | 2023-01-03 06:43:55.349790 | worker.job:get_job_from_server:140 - Server https://stablehorde.net has no valid generations for us to do.
INFO       | 2023-01-03 06:43:56.793141 | worker.job:get_job_from_server:140 - Server https://stablehorde.net has no valid generations for us to do. Skipped Info: {'untrusted': 1}.
Iteration: 1/1
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:02<00:00,  9.66it/s]
(raylet) [2023-01-03 06:44:04,394 E 214058 214058] (raylet) local_object_manager.cc:360: Failed to send object spilling request: GrpcUnavailable: RPC Error message: Socket closed; RPC Error details: 
INFO       | 2023-01-03 06:44:05.165446 | worker.job:get_job_from_server:140 - Server https://stablehorde.net has no valid generations for us to do.
Iteration: 1/1
 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 30/31 [00:03<00:00,  9.89it/s](raylet) [2023-01-03 06:44:10,976 E 214058 214058] (raylet) local_object_manager.cc:360: Failed to send object spilling request: GrpcUnavailable: RPC Error message: Socket closed; RPC Error details: 
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 31/31 [00:03<00:00,  7.95it/s]
INFO       | 2023-01-03 06:44:12.018385 | worker.job:get_job_from_server:140 - Server https://stablehorde.net has no valid generations for us to do.
INFO       | 2023-01-03 06:44:13.788720 | worker.job:get_job_from_server:140 - Server https://stablehorde.net has no valid generations for us to do. Skipped Info: {'untrusted': 1}.

nataili on  main via 🐍 v3.9.12 took 6m10s 
✦ ❯
Haidra-Org / AI-Horde

RPC errors swallowed #108
