gigidd138
commented
2 years ago 2.1 RNN基本原理
RNN(Recurrent Neural Network)，稱之為循環神經網路，以下圖表示其作用原理，ht為輸出單元，A為神經網路本身，Xt為輸入單元，並能以此無限循環訓練模型，又因其特殊之結構，循環的過程中具有上一次輸出資料值，並能再次進入神經網路訓練，達到短期記憶之效果，故適合用於自駕車等需要大量經驗法則之作業，但實際運用中，標準的RNN在長期記憶的表現卻不盡理想。
以道路行駛為例，若因年假導致高速公路塞車，導致時速遠低於平常情況且持續數天，此時模型的判斷便會失準，使其在年假過後行駛時，雖道路暢通無阻，卻發生時速與塞車時相同的低車速，因為RNN無法記憶長時間前資料的規律性，極易受到短期內的資料干擾，進而影響整體模型的健全與發展，因此設計LSTM來改善RNN在長期記憶的缺失，RNN雖然是一個複雜的神經網路，如果以微觀角度來看標準的RNN，可視為只有一層的簡單架構，且包含一個激勵函數的方程式，並為配合於轉向馬達與油門馬達1 ~ -1的訊號接收方式，故採用sigmoid雙曲函數的tanh來做圖解：
2.2 RNN-LSTM 本篇使用之神經網路著重於RNN之LSTM(Long Short Time Memory)，稱為循環神經網路-長短期記憶，因其加入sigmoid，能具有調節閥的效果，能夠刪減差異較大的資料，故能訓練出更為優異的模型，同時避免上述提到失準的情況，加強長期記憶的效果，並能有效減少梯度爆炸與梯度消失的情況，，
https://www.bioinf.jku.at/publications/older/2604.pdf https://www.ibm.com/cloud/learn/recurrent-neural-networks https://towardsdatascience.com/illustrated-guide-to-lstms-and-gru-s-a-step-by-step-explanation-44e9eb85bf21 https://towardsdatascience.com/a-practical-guide-to-rnn-and-lstm-in-keras-980f176271bc?gi=4555b52f6ac4
2.1 RNN基本原理
RNN(Recurrent Neural Network)，稱之為循環神經網路，以下圖表示其作用原理，ht為輸出單元，A為神經網路本身，Xt為輸入單元，並可以此無限循環訓練模型，又因其特殊之結構，循環的過程中具有上一次資料值，可以當成具有記憶之效果，故適合用於自駕車等需要大量經驗法則之作業，於實際運用中，RNN在長期記憶的表現並不亮眼。
以道路行駛為例，若因年假導致高速公路塞車，導致時速遠低於平常情況數天，此時模型的判斷便會失準，使其在年假過後行駛時，雖道路暢通，卻發生時速與塞車時相同的低車速，因為RNN無法記憶長時間前資料的規律性，因此設計LSTM來改善RNN在長期記憶的缺失，RNN雖然是一個龐大的神經網路，如果以微觀角度來看標準的RNN，為一單純的架構，通常只有一層，且包含一所謂激勵函數的方程式，此方程式有數種選擇，此處採用雙曲函數tanh表示：
2.2 RNN-LSTM 本篇使用之神經網路著重於RNN之LSTM(Long Short Time Memory)，稱為RNN-長短期記憶，因其加入記憶層與sigmoid，能具有調節閥的效果，並訓練出更為優異的模型，同時避免上述提到失準的情況，加強長期記憶的效果，並能減少梯度爆炸與梯度消失的情況，(做圖片)，