Нужны ограничения сверху на размер батча, чтобы они влезали в память.

[RomaKoks]

Например, 3-4 GB.

***2021-11-24: Шаг эволюции — 243***
LLH - (0.7407, 2.5590, 2.7341)
RET - (0.2098, 0.2959, 1.6163)
Организмов - 213 / Максимум оценок - 17
Доля принятых - 5.23%

Родитель:
LLH — 1.2893:  1.2804,  1.2822,  1.2810,  1.2915,  1.2956,  1.2911,  1.2909,  1.2924,  1.2983
RET — 0.2794:  0.1963,  0.1026,  0.2753,  0.1421,  0.3180,  0.2902,  0.5003,  0.3608,  0.3287
Timer — 0:03:34
Data: {'batch_size': 139811.11778702133, 'history_days': 112.57072564138315, 'ticker_on': -5.161145416073824, 'day_of_year_on': -5.766080083064525, 'day_of_period_on': 46.563581618325806, 'prices_on': 1.8714902291930082, 'dividends_on': 900.9217629177548, 'turnover_on': 8736.373690688984, 'average_turnover_on': 439.3670786982759, 'rvi_on': 178.46045539547123, 'mcftrr_on': 968.230619669111, 'imoex_on': -46.300169774610076, 'ticker_type_on': -67.33822514824053, 'usd_on': 8.864144689780463, 'open_on': -26.257885080709183, 'high_on': -3.3051814304821723, 'low_on': 6.348455320734517, 'meogtrr_on': -0.7318042946129198}
Model: {'start_bn': -26.462877096492438, 'kernels': 11.916432720113374, 'sub_blocks': 4.716133114531003, 'gate_channels': 4.21401462977202, 'residual_channels': 7.489649605598338, 'skip_channels': 7.173944290463009, 'end_channels': 20.032993444408106, 'mixture_size': 15.623952530217979}
Optimizer: {'betas': 0.9957827712084104, 'eps': 3.6858605799557665e-06, 'weight_decay': 0.1425642364851929}
Scheduler: {'max_lr': 0.0160832031038165, 'epochs': 1.7182526110863983, 'pct_start': 0.3032371187129486, 'anneal_strategy': 39.65421914074793, 'base_momentum': 0.3685056171200781, 'max_momentum': 0.9472647638288794, 'div_factor': 127.86830964018056, 'final_div_factor': 4734830.833439709} 

Претендент - новый организм:
LLH — -
RET — -
Timer — 0:00:00
Data: {'batch_size': 140064.03402124936, 'history_days': 167.33439844456754, 'ticker_on': -6.144128940470949, 'day_of_year_on': -5.611961091686764, 'day_of_period_on': 44.249412809116926, 'prices_on': 1.4586902179030707, 'dividends_on': 900.8428701059249, 'turnover_on': 9036.3562121416, 'average_turnover_on': 64696.6463580999, 'rvi_on': 178.32575135899867, 'mcftrr_on': 1123.6452450364195, 'imoex_on': -46.36415827468592, 'ticker_type_on': -67.48653659762039, 'usd_on': 9.634472546572647, 'open_on': -24.91638751552406, 'high_on': -4.429428934478038, 'low_on': 7.154702049966035, 'meogtrr_on': -0.8945665994377038}
Model: {'start_bn': -26.35370627032382, 'kernels': 12.079054746747497, 'sub_blocks': 91.42960596734237, 'gate_channels': 4.38845540845128, 'residual_channels': 7.4173728933107865, 'skip_channels': 7.028698071864793, 'end_channels': 19.747718108684705, 'mixture_size': 15.034516535964439}
Optimizer: {'betas': 0.9957821493164769, 'eps': 3.6870724712961566e-06, 'weight_decay': 0.12075289055584597}
Scheduler: {'max_lr': 0.017162015274579553, 'epochs': 1.724127112019961, 'pct_start': 0.303242939386313, 'anneal_strategy': -140.7051815141791, 'base_momentum': 0.3778324858225567, 'max_momentum': 0.9472441358367255, 'div_factor': 124.43565265605905, 'final_div_factor': 2771693.987494981} 

INFO:EventBus:DateCheckRequired(timestamp=datetime.datetime(2021, 11, 25, 11, 10, 23, 449185))
Epochs - 1.72 / Train size - 202030
Количество слоев / параметров - 3693/524148
~~> Train:   0%|          | 0/4 [00:00<?, ?it/s]
Process finished with exit code 137 (interrupted by signal 9: SIGKILL)

[WLM1ke]

Ограничения на количество параметров есть - 2 млн., чтобы документ не превышал 16Мб при сохранении модели.

[RomaKoks]

Понял, просто странно что вылетело по памяти...

[WLM1ke]

Тут проблема скорее с большим батчем

[RomaKoks]

а, действительно)