Time consuming report after composition

aPovidlo commented 7 months ago

Добавление таймера для подсчета времени выполнения основных процессов во время композирования пайплайна:

'Data Definition (fit)'. Определение данных во время вызова метода fit() из API.
'Applying Recommendation (fit)'. Применение стратегии по обработке данных во время вызова метода fit() из API.
'Data Preprocessing'. Время затраченное на обработку данных.
'Fitting'. Время затраченное на обучение каждого пайплайна во время композирования.
'Tuning (composing)'. Время затраченное на тюнинг гиперпараметров во время композирование.
'Tuning (post)'. Время затраченное на тюнинг гиперпараметров сверху при вызове метода tune() из API.
'Data Definition (predict)'. Определение данных во время вызова метода predict() из API.
'Applying Recommendation (predict)'. Применение стратегии по обработке данных во время вызова метода predict() из API.
'Predicting'. Время затраченное на предсказание.

После завершения обучения в композировании, можно вызвать метод return_report() из API, который вернет DataFrame с временем работы конкретной стадии.

pep8speaks commented 7 months ago

Hello @aPovidlo! Thanks for updating this PR. We checked the lines you've touched for PEP 8 issues, and found:

There are currently no PEP 8 issues detected in this Pull Request. Cheers! :beers:

Comment last updated at 2024-02-26 14:44:57 UTC

github-actions[bot] commented 7 months ago

All PEP8 errors has been fixed, thanks :heart:

Comment last updated at

codecov[bot] commented 7 months ago

Codecov Report

Attention: Patch coverage is 69.84127% with 19 lines in your changes are missing coverage. Please review.

Project coverage is 79.80%. Comparing base (c53881a) to head (d7944b7).

Files	Patch %	Lines
fedot/api/main.py	59.57%	19 Missing :warning:

Additional details and impacted files

```diff @@ Coverage Diff @@ ## master #1257 +/- ## ========================================== - Coverage 79.82% 79.80% -0.03% ========================================== Files 150 150 Lines 10322 10344 +22 ========================================== + Hits 8240 8255 +15 - Misses 2082 2089 +7 ```

:umbrella: View full report in Codecov by Sentry.
:loudspeaker: Have feedback on the report? Share it here.

aPovidlo commented 7 months ago

/fix-pep8

aPovidlo commented 7 months ago

Перед композированием Федот обучается inital pipeline и выдаёт в консоль время его обучения. То же самое происходит, если не включать композирование (передать в API predefined_model=auto, например)

Соглашусь, что стоит учитывать это.

Это время где-то учитывается? Возможно, на стадии 'Data Preprocessing'?

Не знаю, нужно посмотреть, но навряд ли в обработке.

Думаю, может быть полезно вынести это в отдельную строчку отчёта

Не уверен. Может быть есть смысл все заносить в общее время fit.

andreygetmanov commented 7 months ago

Не уверен. Может быть есть смысл все заносить в общее время fit.

Да, можно и так Тогда протестишь, совпадают ли время обучения initial pipeline при заданном predefined model (выводится в консоль) со временем fit в твоём отчёте? Если да, то апруваю

aimclub / FEDOT