Architektura CNN

[Eve0028]

Opisać i zadecydować o tym jak będziemy jak wyglądać nasza architektura CNN.

• [ ] różna długość próbek na wejście do CNN - rozwiązania:
  a) przycięcie próbek,
  b) podział sygnałów próbek na 'pod-próbki' tej samej długości (i odpowiednie 'obsłużenie' takiego podziału w części treningu modelu - wykorzystanie warstw TimeDistributed?),
  c) skalowanie próbek do tego samego wymiaru,
  d) inne rozwiązanie;
• [ ] głębokość modelu

W artykule, z którego się wzorujemy: a) z całej długości próbki z każdego kanału EEG jest tworzone zdjęcie, b) -> zdjęcia są skalowane na tem sam wymiar (uśrednienie długości próbek z różnych datasetów) <-, c) zdjęcia z wszystkich kanałów z jednej próbki są uśredniane

[Eve0028]

Różna długość próbek na wejście do CNN:

Proponowane rozwiązanie: b) podział sygnałów próbek na 'pod-próbki' tej samej długości (i odpowiednie 'obsłużenie' takiego podziału w części treningu modelu - wykorzystanie warstw TimeDistributed). Dodatkowo dodanie LSTM przed klasyfikacją aby zachować informację o kolejności 'pod-próbek'.

Podobnie jak w: https://www.kaggle.com/code/afajohn/cnn-lstm-for-signal-classification-lb-0-513/notebook

Artykuły naukowe

• CNN-LSTM, EEG and schizophrenia: "Automatic Diagnosis of Schizophrenia in EEG Signals Using CNN-LSTM Models" https://www.frontiersin.org/journals/neuroinformatics/articles/10.3389/fninf.2021.777977/full

• reszta z CNN-LSTM: "Learning Representations from EEG with Deep Recurrent-Convolutional Neural Networks" https://arxiv.org/pdf/1511.06448 "Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting" https://arxiv.org/abs/1506.04214 "Deep learning based epileptic seizure detection with EEG data" https://link.springer.com/article/10.1007/s13198-022-01845-5 "Convolutional Recurrent Neural Network for Dynamic Functional MRI Analysis and Brain Disease Identification" https://www.frontiersin.org/journals/neuroscience/articles/10.3389/fnins.2022.933660/full

• CNN, wavelet transform and power spectrum density (PSD), concat 3 CNN models: "Deep Convolutional Neural Network-Based Epileptic Electroencephalogram (EEG) Signal Classification" https://www.frontiersin.org/journals/neurology/articles/10.3389/fneur.2020.00375/full

• CNN: "Deep convolutional neural network for the automated detection and diagnosis of seizure using EEG signals" https://www.sciencedirect.com/science/article/abs/pii/S0010482517303153?via%3Dihub

• CNN, time-frequency energy maps: "Convolutional neural networks for seizure prediction using intracranial and scalp electroencephalogram" https://www.sciencedirect.com/science/article/abs/pii/S0893608018301485?via%3Dihub

• CNN, wavelets: "Focal Onset Seizure Prediction Using Convolutional Networks" https://ieeexplore.ieee.org/document/8239676

• CNN i SVM: "Mean amplitude spectrum based epileptic state classification for seizure prediction using convolutional neural networks" https://link.springer.com/article/10.1007/s12652-019-01220-6

• SVM: "Automatic detection of epileptic EEG signals using higher order cumulant features" https://www.worldscientific.com/doi/abs/10.1142/S0129065711002912

[Eve0028]

@EEG-PK/model

Commit: 61e650e1c31dbdce4dca470d4b9aeda62b0dc7f1

Pierwsza, przykładowa architektura modelu z przygotowaniem danych

1. Model

CNN + LSTM

2. Użycie M-H w wersji ifft

Czyli margenau_hill_distribution_spectrogram_tfrmhs_ifft()

3. Proces

a) Wczytanie zdumpowanych danych joblib.dump() -> joblib.load(). b) Segmentacja sygnałów. c) Konwersja na zdjęcia używając rozkładu M-H:

• Jeśli sygnał podzielony na segmenty ma format (20, 16, 384) (20 segmentów, 16 kanałów), zwrócona tablica będzie miała format (20, 384, 384, 16), zakładając, że sygnał każdego kanału jest konwertowany na obraz 384x384.

d) Stworzenie generatora tf.data.Dataset z tak przygotowanych danych:

• Generator jest wymagany aby uwzględnić sygnały posiadające różną długość (różną ilość segmentów) w tym samym batch'u. Choć jeśli nie będziemy mieszać danych z różnych datasetów w jednym treningu to nie jest on konieczny - bo każdy dataset zawiera sygnały o tej samej długości, nie?

e) Pierwsza implementacja treningu na walidacji krzyżowej.

4. Do dodania/zmiany

a) Przełożenie implementacji mhd do głównego folderu preprocessing. b) Wczytanie danych z wszystkich datasetów z głównego folderu data.

[Eve0028]

Architektura jest narazie dostosowywana (liczba warstw, ilość kerneli) przez tuner #11