2023/08/17 ~ 2023/09/06

[danbi5228]

• ~8/24 목요일 21:30~ 9/6 수요일 23:00
• 1: 14.10 (p.591 ~ p.595)
• 2: ~ 15.1.1 전까지 (p.597 ~ p.600)
• 3: 15.1.1 ~ 15.1.2 (p.600 ~ p.602)

[danbi5228]

assign roles -s 0816 -c 1 2 3

[njs03332]

	0	1	2
member	주선미	한단비	김유리
chapter	1	2	3

[njs03332]

15.1.1 메모리 셀

• 메모리 셀 (셀): 타임 스텝에 걸쳐서 어떤 상태를 보존하는 신경망의 구성 요소
  • 하나의 순환 뉴런 또는 순환 뉴런 층은 짧은 패턴만 학습할 수 있는 매우 기본적인 셀
• 타임 스텝 t에서의 셀의 상태 h(t)는 그 타임 스텝의 입력과 이전 타임 스텝의 상태에 대한 함수
  • h(t) = f(h(t-1),x(t))
  • 타임 스텝 t에서의 출력 y(t)도 이전 상태와 현재 입력에 대한 함수
  • 아래 그림처럼 복잡한 셀에서는 출력이 셀의 상태와 동일하지 않을 수 있음

15.1.2 입력과 출력 시퀀스

• 시퀀스-투-시퀀스 네트워크: 입력 시퀀스를 받아 출력 시퀀스를 만드는 RNN (왼쪽 위)
  • 예) 최근 N일치의 주식가격을 주입하면 각 입력값보다 하루 앞선 가격을 출력
• 시퀀스-투-벡터 네트워크: 입력 시퀀스를 네트워크에 주입하고, 마지막을 제외한 모든 출력을 무시하는 RNN (오른쪽 위)
  • 예) 영화 리뷰에 있는 연속된 단어를 주입하면 감성 점수를 출력
• 벡터-투-시퀀스 네트워크: 각 타임 스텝에서 하나의 입력 벡터를 반복해서 네트워크에 주입하고, 하나의 시퀀스를 출력하는 RNN (왼쪽 아래)
  • 예) 이미지 (또는 CNN의 출력)를 입력하여 이미지에 대한 캡션 출력
• 인코더-디코더: 인코더라 부르는 시퀀스-투-벡터 네트워크 뒤에 디코더라 부르는 벡터-투-시퀀스 네트워크를 연결 (오른쪽 아래)
  • 예) 한 언어의 문장을 네트워크에 주입하면 인코더는 문장을 하나의 벡터로 표현하고, 디코더가 이 벡터를 다른 언어의 문장으로 디코딩
  • 하나의 시퀀스-투-시퀀스 RNN을 사용하여 한 단어씩 번역하는 것보다 훨씬 더 잘 동작
  • 번역하기 전에 전체 문장이 주입될 때까지 기다릴 필요가 있음 (문장의 마지막 단어가 번역의 첫 번째 단어에 영향을 줄 수 있기 때문)

[givitallugot]

14.10 시맨틱 분할

• 각 픽셀은 픽셀이 속한 객체의 클래스로 구분

• 가장 어려운 점은 일반적인 CNN을 통과할 때 점진적으로 위치 정보를 잃음 (1 이상의 스트라이드를 사용하는 층 때문)

• 보통의 CNN은 이미지의 왼쪽 아래 어딘가에 사람이 있다고 알 수 있지만 그보다 더 정확히 알지는 못함

이 문제를 해결하기 위해,

• 조너선 롱 등이 논문에서 단순한 해결책 제시
• 먼저 사전 훈련된 CNN을 FCN으로 변환
• 해상도를 32배로 늘리는 업샘플링 층을 하나 추가

업샘플링

• 이미지 사이즈를 늘리는 것을 의미

  1. 이중 선형 보간 (2배, 4배, 8배로 늘리는 데에 적합): 먼저 이미지에 0으로 채워진 빈 행과 열을 삽입하여 늘린 다음, 일반적인 합성곱을 수행 = '전치 합성곱 층'이라고 부름

• tf.keras에서는 Conv2DTranspose 층
• 그러나 정확도가 떨어짐

2. 스킵 연결 추가

• CNN에 2배 업샘플링, 동일한 크기의 아래층 스킵 연결, 8배 업샘플링하는 단계 추가
• 이미지의 해상도를 증가시키는 데에 사용할 수 있음

이 외에도

• 시맨틱 분할의 텐서플로우 구현을 제공하는 많은 깃허브 저장소가 있음
• 텐서플로 모델 프로젝트에서 사전 훈련된 인스턴스 분할 모델을 찾을 수 있음
• 인스턴스 분할은 시맨틱 분할과 비슷하지만, 동일한 클래스 물체를 하나의 덩어리로 표현하는 것이 아니라, 각 물체를 구분하여 표시

[danbi5228]

Chapter 15. RNN과 CNN을 사용해 시퀀스 처리하기

• 개요
  • RNN recurrent neural networks 순환 신경망
  • 미래를 어느정도 예측할 수 있음 ex. 시계열 분석을 통한 주식가격 예측, 자연어 처리(NLP) 등에 유용
  • 주요 난제
    • 불안정한 그레이디언트 - 순환 드롭아웃과 순환층 정규화를 포함한 여러 가지 기법을 사용해 감소시킬 수 있음
    • 매우 제한적인 단기 기억 - LSTM과 GRU 셀을 사용해 확장할 수 있음
  • WaveNet
  • 수만 개의 타임 스텝을 가진 시퀀스를 다룰 수 있는 CNN 구조

15.1 순환 뉴런과 순환 층

• 지금까지는 활성화 신호가 입력층에서 출력층 한 방향으로만 흐르는 피드포워드 신경망에 초점
• 순환 신경망은 피드포워드 신경망과 매우 비슷하지만 뒤쪽으로 순환하는 연결도 있다는 점이 다름
• 
  • 각 타임 스텝 t 마다 순환 뉴런은 물론 x_(t)와 이전 타임 스텝의 출력인 y_(t-1)을 입력으로 받음
  • 첫 번째 타임 스텝은 이전 출력이 없으므로 일반적으로 0으로 설정
  • 시간을 축으로하여 표현한 것 - 시간에 따라 네트워크를 펼쳤다고 표현 (unrolling the network through time)
    
    
• 
  • 순환 뉴런 층에 대해 타임 스텝으로 펼친 모습
  • 모든 뉴런은 입력 벡터 x_(t)와 이전 타임 스텝의 출력 벡터 y_(t-1)을 받음
  • 각 순환 뉴런은 위에서 언급한 두 벡터 각각을 위한 두 벌의 가중치를 가짐 (W_x / W_y)

• 순환 층 전체의 출력 벡터는 아래와 같이 계산될 수 있음

  • 

  • b: 편향 / ∅: ReLU와 같은 활성화 함수

• 피드 포워드 신경망처럼 모든 입력을 행렬로 만들어서 미니배치 전체에 대한 순환 층의 출력을 한번에 계산할 수도 있음

  • 

  • Y_(t): 각 샘플에 대한 층의 출력을 담은 m x n 행렬 (m: 미니 배치 샘플 수 / n: 뉴런 수)

  • X_(t): 모든 샘플의 입력값을 담은 m x n 행렬

  • W_x: 현재 타임 스텝의 입력에 대한 연결 가중치를 담은 n x n 행렬

  • W_y: 이전 타임 스텝의 출력에 대한 연결 가중치를 담은 n x n 행렬

  • b: 각 뉴런의 편향을 담은 n 크기의 벡터

  • [X_(t) Y_(t-1)] 표기는 행렬을 수평적으로 연결한다는 의미. m x (n + n) 크기

  • Y_(t)는 X_(t)와 Y_(t-1)의 함수이고, Y_(t-1)는 X_(t-1)와 Y_(t-2)의 함수이므로 Y_(t)는 시간 t=0에서부터 모든 입력에 대한 함수가 됨