2023/03/17 ~ 2023/03/23

[givitallugot]

• 03.23 (목) ~9시 30분~ 10시 15분

1: 12.4 2: 12.4.1 3: 12.4.2

[danbi5228]

12.4 텐서플로 함수와 그래프

• 텐서플로 1에서 계산을 위한 그래프는 텐서플로 API의 핵심이였고 복잡했지만, 텐서플로 2에서는 1만큼 핵심적이지는 않고 사용하기 매우 편리함

# 입력의 세 제곱을 계산하는 함수 만들기

# solution 1. 파이썬 함수를 정의한 뒤 텐서플로 함수로 변환
def cube(x):
    return x ** 3

## tf.function 함수를 사용하여 파이썬 함수를 텐서플로 함수로 변환. 계산을 분석하고 동일한 작업을 수행하는 계산 그래프 생성
## 원래 파이썬 함수처럼 사용할 수도 있고 동일한 결과를 반환 (결과는 텐서)
tf_cube = tf.function(cube)

# solution 2. 데코레이터 활용 - 더 널리 사용되는 방식
@tf.function
def tf_cube(x):
    return x ** 3

## 원본 파이썬 함수가 필요하다면 python_function 속성으로 참조 가능
tf_cube.python_function(2) # 8

• 텐서플로는 사용하지 않는 노드를 제거하고 표현을 단순화하는 등의 방식으로 계산 그래프를 최적화
  • ex. 1+2를 3으로 대체
  • 최적화된 그래프가 준비되면 적절한 순서로, 가능하면 병렬로 연산을 실행
  • 따라서 일반적으로 원본 파이썬 함수보다 텐서플로 함수가 빠르게 실행됨
  • 파이썬 함수를 빠르게 실행하려면 텐서플로 함수로 변환하는 것을 추천
• 사용자 정의 손실, 지표, 층 또는 다른 사용자 정의 함수를 작성하고 케라스 모델에 사용하면, 케라스는 자동으로 함수들을 텐서플로 함수로 변환
  • tf.function을 따로 작성해줄 필요 없음
  • (TIP) 케라스가 파이썬 함수를 텐서플로 함수로 바꾸지 못하게 하는 방법
  • 사용자 정의 층이나 모델을 만들 때 dynamic = True 지정
  • 모델의 compile 메서드를 호출할 때 run_eagerly = True 지정
• 기본적으로 텐서플로 함수는 호출에 사용되는 입력 크기와 데이터 타입에 맞춰서 매번 새로운 그래프를 생성함
  • 동일한 데이터 타입 및 크기의 인풋으로 여러번 호출하는 경우에는 그래프를 재사용함
  • 매개 변수 값으로 텐서를 사용했을 경우에만 해당
  • 텐서가 아닌 파이썬 값을 전달하면 고유한 값마다 새로운 그래프가 생성됨
  • (주의) 파이썬 값으로 텐서플로 함수를 여러번 호출하면 프로그램이 느려지고 메모리가 많이 사용됨. 해제를 위해서는 텐서플로 함수를 삭제해야 함. 따라서 층의 뉴런 개수와 같은 몇 개의 고유한 값에 대해서만 파이썬 값을 사용해야 함

[givitallugot]

12.4.1 오토그래프와 트레이싱

• 텐서플로가 그래프 생성을 위해서 먼저 함수의 소스 코드를 분석

• for문, while문, if문, break, continue, return과 같은 제어문을 찾음

• 이런 제어문을 찾을 수 있는 방법은 제공하지 않기 때문에 이 함수의 모든 제어문을 텐서플로 연산으로 바꾼 업그레이드된 버전을 만듦

  • ex) 반복문은 tf.while_loop()로, if문은 tf.cond()로

• 추가로 sum_squares() 함수는 tf_sum_squares()로, for문은 loop_body() 함수로 변환해서 연산

• 다음으로 텐서플로가 이렇게 업그레이드된 함수를 호출, 이때 그래프 모드로 실행

  

• 그래프 모드는 실제 값이 없고 이름, 데이터 타입, 크기만 가지는 형태

  • ex) sum_squares(tf.constant(10))을 호출하면 tf_sum_squares() 함수는 크기가 []이고 int32 타입의 심볼릭 텐서를 사용해 호출

• 최종 그래프는 트레이싱 과정을 통해 생성

[njs03332]

12.4.2 텐서플로 함수 사용 방법

• @tf.function 데코레이터 사용하면 텐서플로 연산을 수행하는 파이썬 함수를 텐서플로 함수로 바꿀 수 있음
• 지켜야할 규칙
  • 넘파이, 표준 라이브러리 등 다른 라이브러리를 호출하면 트레이싱 과정에서 실행됨 (그래프에 포함되지 않음)
  • 실제 텐서플로 그래프는 텐서플로 구성 요소만 포함할 수 있음
  • np.sum() 대신 tf.reduce_sum(), sorted() 대신 tf.sort() 사용
  • np.random.rand()를 반환하는 텐서플로 함수 f(x)를 정의한다면 이 함수가 트레이싱될 때 난수가 생성됨. tf.random.uniform([])로 바꾸면 연산이 그래프의 일부분이 되어 호출할 때마다 난수가 생성됨
  • 텐서플로에서 지원하지 않는 코드가 부수적인 작업을 하면 함수를 트레이싱할 때만 호출됨
  • 어떤 임의의 코드를 tf.py_function()으로 감쌀 수 있으나, 최적화를 수행할 수 없어서 성능이 저하됨 + 파이썬이 가능한 플랫폼에서만 그래프가 실행되므로 이식성이 낮아짐
  • 다른 파이썬 함수나 텐서플로 함수를 호출할 수 있는데, @tf.function 데코레이터 적용할 필요 없음 (텐서플로가 계산 그래프에 있는 이 함수들의 연산을 감지)
  • 함수에서 텐서플로 변수를 만든다면 처음 호출될 때만 수행되어야 함 (그렇지 않은 경우 예외 발생)
  • 일반적으로 텐서플로 함수 밖에서 변수를 생성하는 것이 좋음
  • 변수에 새로운 값을 할당하려면 = 연산자 대신 assign() 메서드 사용
  • 파이썬 함수의 소스 코드는 텐서플로에서 사용 가능해야 함
  • 그렇지 않은 경우 그래프 생성 과정이 실패하거나 일부 기능을 사용할 수 없을 것
  • 텐서플로는 텐서나 데이터셋을 순회하는 for문만 감지 -> for i in tf.range(x) 사용
  • for i in range(x)를 사용하는 경우 그래프에 표현되지 못하는 대신 트레이싱 단계에서 실행됨
  • 성능 면에서 반복문보다 가능한 한 벡터화된 구현을 사용하는 것이 좋음