Batch Size 체크 시에 거듭제곱 단위 체크에서 배수 단위 체크로 변경

[iksooman]

현재 Batch Size 체크 시에 2의 거듭제곱 (2, 4, 8, 16, 32, 64, ...) 형태로 체크를 진행하다보니 메모리를 비효율적으로 사용하는 상황이 발생합니다. ex) 최적 Batch Size가 100이라면 64와 128 사이의 값이므로 Batch Size가 64로 선택됩니다.

Batch Size Test 시에 시간 소모가 크지 않으므로 2의 거듭제곱 단위에서 2의 배수(2, 4, 6, 8, ...) 형태로 체크를 변경해도 될 것 같습니다.

[ML-TANGO]

2의 배수로 하면 횟수가 비교 횟수가 많아 질거 같네요. 비록 소요 시간이 적다고 해도 수치해석에서 사용하는 Newton–Raphson method 스타일로 하면 좀더 비교횟수를 줄일수 있지 않을까요?

[iksooman]

검색을 해보니 Newton-Rhapson method는 미분 가능한 함수에서 최적값을 탐색하는 알고리즘인 것 같습니다. 이진탐색 알고리즘이 저희가 논의했던 알고리즘인 것 같습니다.

이진탐색 알고리즘으로 구현하면 좋을 것 같습니다.