aimclub / FEDOT

Automated modeling and machine learning framework FEDOT
https://fedot.readthedocs.io
BSD 3-Clause "New" or "Revised" License
635 stars 86 forks source link

Automated window size selection #1190

Closed valer1435 closed 9 months ago

valer1435 commented 11 months ago

If we want to implement this approach in fedot we need to consider aspects and limitations below: 1) We would get different window size in each cv fold that will affect on dimension for following models, if we will choose window size for each fold 2) We would get inappropriate window size for csv folds if we will choose window size based on a whole train time series. (Chosen window size might be bigger than fold length) 3) How we should implement this technique? In lagged operation directly or as standalone module?

kasyanovse commented 11 months ago
  1. Окно можно выбрать на самом маленьком фолде в кросс валидации (первый). Сохранить в узле lagged и больше не трогать.
  2. Согласен.
  3. Я за то, чтобы сделать частью узла lagged.
valer1435 commented 11 months ago

Окно можно выбрать на самом маленьком фолде в кросс валидации (первый). Сохранить в узле lagged и больше не трогать.

При таком подходе теряем возможность подстроиться под более новые данные.

Но при подсчете на всем ряду получается своего рода даталик, когда мы смотрим на весь ряд, получаем из него информацию и потом используем для обучения на фолдах

valer1435 commented 11 months ago

Я бы попробовал менять его при каждом вызове fit

kasyanovse commented 11 months ago

При таком подходе теряем возможность подстроиться под более новые данные.

А зачем под них подстраиваться? Размер окна - гиперпараметр, а не параметр модели. Хотя в некоторые модели можно его добавить на уровне параметра, выбираемого при обучении.

Но при подсчете на всем ряду получается своего рода даталик, когда мы смотрим на весь ряд, получаем из него информацию и потом используем для обучения на фолдах

Если окно - гиперпараметр, то утечки данных быть не должно.