search

aimclub / FEDOT

Automated modeling and machine learning framework FEDOT
https://fedot.readthedocs.io
BSD 3-Clause "New" or "Revised" License
619 stars 84 forks source link

[Bug]: Decreasing the value of metrics for regression problem #1255

Open aPovidlo opened 5 months ago

aPovidlo commented 5 months ago

Noticed that the performance of regression models running through PipelineBuilder has decreased compared to the previous version.

It is required to compare the last version of framework (0.7.1 or 0.7.2) on various regression models with the last one.

Looking through, I suspect that there were fixes related to regression or time series, or metrics that affected this.

image

kasyanovse commented 5 months ago

Как были получены эти результаты? В 0.7.3 есть изменения, связанные с валидацией на временных рядах в композиции.

aPovidlo commented 5 months ago

@kasyanovse Данные, которые указаны в таблице это запуски моделей Xgboostreg на мастере на начало декабря, а справа для новой реализации xgboost. Замечал подобное и в своих запусках, когда сравнивался со старой версией. Думаю, чтобы точно исключить причины понижения метрик из-за изменениях в бустингах, нужно проверить на других моделях, например, rfr.

Также можешь отправить PR с изменениями валидации? Будет как следующая отправная точка для распутывания проблемы.

kasyanovse commented 5 months ago

@aPovidlo PR: https://github.com/aimclub/FEDOT/pull/1116

Запуски в каких задачах?

aPovidlo commented 5 months ago

@kasyanovse XGBoost запускали на этих датасетах.

image

Свои запуски делал на Black Friday, но уже с CatBoost. Старая версия это 0.7.2, мастер актуальный на 10-ые числа января.

image

kasyanovse commented 5 months ago

Запуск - это для каждой версии:

  1. Ручная сборка пайплайна из одного XGBoost
  2. Обучение пайплайна
  3. Расчет метрики Верно?
aPovidlo commented 5 months ago

Запуск - это для каждой версии:

  1. Ручная сборка пайплайна из одного XGBoost
  2. Обучение пайплайна
  3. Расчет метрики Верно?

Да, именно так.