Commento ai commenti

[mcaresein]

https://github.com/francescogrienti/PyTorchLearning/blob/8d8bfe760274f6ffb771d3c752513e7b0a525d1e/Exercise2/CNN_MINST.py#L23

Non so se questi commenti sono ancora da chiarire, ma da quanto ho capito io:

• channels: a lui non frega niente della dimensione dell'immagine perche' tanto applica solo la convoluzione, e input channel e output channel sono quanti canali a lui restano e quindi quanti kernel convoluzionali deve usare. Se hai un solo channel come nel mnist perche' l'immagine e' bw, e gli dai 10 output channel, lui inizializza 10 kernel diversi e la convoluzione di ciascuno di questi con l'input da' i 10 channel finali.
• crossentropy: so che in generale stanno tentando di fondere il più possibile le operazioni matematiche per diminuire la comunicazione tra gpu e cpu. se fossi su gpu fare softmax + nll avrebbe una comunicazione in più di fare direttamente crossentropy, ma non so se sia il motivo principale anche qua.
• hidden sizes: non capisco il problema ahha

[francescogrienti]

Per quanto riguarda i channels mi era venuto il dubbio per questo: non potrebbe capitare che venga fornito, per errore, un kernel size che eccede le misure del dato di input? E in quel caso come fa il giocattolino a capire che quel kernel non va bene? Per questo ho pensato che non serve fornirle perché tanto le dimensioni le inferisce lui. Ad ogni modo, potrebbe essere una grandissima stupidaggine quella che ho detto. Ho chiarito decisamente il dubbio e mi è abbastanza chiaro il funzionamento di una CNN base.

Per le hidden_sizes lascia perdere, anche li svalvole mie ahah si tratta di una raffinatezza (probabilmente inutile) a livello di codice.

Per softmax francamente mi è poco chiaro...magari ne discutiamo venerdì :).