Optymalizacja CNN

[Eve0028]

@EEG-PK/model Dobór hiper-parametrów, optymalizacja ogólna. (Optuna?)

[Eve0028]

Do dodania

1) Poprawa architektury modelu (np. więcej warstw, inne ilości, wymiary kerneli itp.) - warto poszperać jakie są najbardziej optymalne - lub zostawić do testowania jako hyper-parametry modelu. 2) Learning rate decay (zobacz czy opłaca się dodawać lr decay przy zastosowaniu optymalizatora Adam, który już taką funkcję zapewnia). 3) Testowanie hyper-parametrów:

• rozmiar filtrów, ilość filtrów, krok okna filtra, (ewentualnie rozmiar okna poolingu, krok okna poolingu), padding,
• liczba warstw,
• funkcje aktywacji,
• loss function (choć tutaj z góry będziemy zawsze stosować binary_crossentropy - chyba, że masz/macie inne pomysły),
• optimizer (myślę, że zostawimy Adam'a lub jego odmiany),
• learning rate,
• dropout,
• L2 regularization,
• czy stosujemy batch-normalization?
• batch size. Warto popatrzeć na zastosowanie takich narzędzi jak: Optuna, NNI czy Keras Tuner zamiast grid search'a lub random search'a.

[Eve0028]

Pierwsza implementacja #11