aimclub / FEDOT

Automated modeling and machine learning framework FEDOT
https://fedot.readthedocs.io
BSD 3-Clause "New" or "Revised" License
627 stars 86 forks source link

API history folder #464

Closed MAGLeb closed 2 years ago

MAGLeb commented 2 years ago

If send for composer params:

'history_folder': '/some/path'

overwise save history to default path _~/home/user/Fedot/composing_history_

MAGLeb commented 2 years ago

Еще такой вопрос. Вроде как сразу пачкой сохраняет историю. Что @nicl-nno @Dreamlone думаете если последовательно, по мере нахождения лучшего pipeline или все подряд записывать. Бывают случаи когда оперативки на компе не хватает и все зависает, результаты и время потрачены в пустую.

nicl-nno commented 2 years ago

Вроде сейчас как раз после каждого поколения сохраняется. С путем странно, вроде работало - @Dreamlone в своем PR-е дорабатывал эту функциональность.

MAGLeb commented 2 years ago

Проверю насчет последовательного сохранения.

Dreamlone commented 2 years ago

Ага, папку для сохранения истории эволюции теперь можно задавать нормально через api, см. API presets refactor and minor fixes Бери, если что, FEDOT из этой ветки, я также в модуле для хуавея делаю

В мастере сейчас да, параметр history_folder игнорируется

MAGLeb commented 2 years ago

Пути в новой ветке сохраняются отлично.

Сохраняются все-таки пачкой, а не последовательно. image

По сохраненым файлам нельзя понять историю эволюции. Имею ввиду название папок и файлом обезличены и не понятно последовательность.

В истории эволюции оказалось по несколько одинаковых цепочек, как будто fedot сохраняет лучшую.

Также в цепочку попадает модель из задачи регрессии, несмотря на то что это классификация.

composer_params = {
    'with_tuning': True,
    'history_folder': history_folder
}

train_data, test_data = data_setup(predictors, target)
fedot = Fedot(problem='classification', timeout=15, composer_params=composer_params)
fedot.fit(features=train_data)
prediction = fedot.predict(test_data)
fedot.get_metrics(target=test_data.target)
nicl-nno commented 2 years ago

Сохраняются все-таки пачкой, а не последовательно.

Странно, сохранение ведь в default_on_next_iteration_callback выполняется.

По сохраненым файлам нельзя понять историю эволюции. Имею ввиду название папок и файлом обезличены и не понятно последовательность.

Числа в название папок - это номера поколений. Может у тебя просто всего одно поколение вычислилось?

Также в цепочку попадает модель из задачи регрессии, несмотря на то что это классификация.

Это допустимо, если там есть decompose.

MAGLeb commented 2 years ago

Прокомментируй пожалуйста вопрос об одинаковых цепочках в поколении. Остальные вопросы отпали.

nicl-nno commented 2 years ago

Прокомментируй пожалуйста вопрос об одинаковых цепочках в поколении.

Принципиально это возможно, если мутации прошли одинаково. Можно действительно добавить фильтрацию и проверить, насколько часто такое происходит.