AutoML-Zero: Evolving Machine Learning Algorithms From Scratch

:page_with_curl: Abstract(본문)

Machine learning research has advanced in multiple aspects, including model structures and learning methods. The effort to automate such research, known as AutoML, has also made significant progress. However, this progress has largely focused on the architecture of neural networks, where it has relied on sophisticated expert-designed layers as building blocks---or similarly restrictive search spaces. Our goal is to show that AutoML can go further: it is possible today to automatically discover complete machine learning algorithms just using basic mathematical operations as building blocks. We demonstrate this by introducing a novel framework that significantly reduces human bias through a generic search space. Despite the vastness of this space, evolutionary search can still discover two-layer neural networks trained by backpropagation. These simple neural networks can then be surpassed by evolving directly on tasks of interest, e.g. CIFAR-10 variants, where modern techniques emerge in the top algorithms, such as bilinear interactions, normalized gradients, and weight averaging. Moreover, evolution adapts algorithms to different task types: e.g., dropout-like techniques appear when little data is available. We believe these preliminary successes in discovering machine learning algorithms from scratch indicate a promising new direction for the field.

:mag_right: 어떤 논문인지 소개해주세요.

Google brain과 Google Research에서 발표한 새 AutoML 방법에 관한 논문입니다.

그 간의 AutoML은 neural networks의 구조나 제한적인 search space에 머물러 있었습니다. 그러나 본고는 기본적인 수학적 연산으로 완전하고 최적인 기계 학습 알고리즘을 자동으로 발견하도록 함으로써 AutoML이 더 멀리 갈 수 있다는 것을 보여줍니다.

광대한 search space를 탐구하는 방식엔 진화적 알고리즘을 적용했는데, 이 부분은 추후 다른 메타휴리스틱 알고리즘과 결합하여 더 효율적인 탐색이 가능한 새 제안을 생각해 볼 수 있겠습니다.

:bulb: 방법은 무엇입니까?

고등학교 수준의 기초 연산자 65가지(Instruction)를 주고 ML을 만들 수 있도록 합니다.
Genetic programmin과 유사한 Regularized evolution search method를 사용하여 Search space를 Instruction의 sequence 형태로 표현합니다.
- 단, 정확도 측정을 위해 Setup(), Predict(), Learn()이라는 Component는 주어진 상황입니다.
- 탐색 속도를 가속화해주는 Functional equivalence checking과 Hurdles를 이용했습니다.

:chart_with_upwards_trend: 실험과 그 결과는 어떻습니까?

How difficult is searching the AutoMl-Zero space?
- RS와 Zero를 두고 선형회귀 데이터를 주고 풀라고 실험, RS는 단순한 문제도 잘 풀지 못하였음.
- 더 나아가서 비선형회귀같은 어려운 문제에서는 격차가 더 벌어졌음
- 어떠한 문제의 좋은 해답을 담보하는 Teacher NN이라는 것을 만들고, 같은 문제를 Zero에게 주었을 떄, Teacher NN를 재현하는데에 성공하였음. W를 학습하기 위한 Back-Propagation도 찾아내었음
can we use our framework to discover reasonable algorithms with minimal human input?
- CIFAR-10과 MNIST를 이용하여 Binary classification 문제를 만들고 Zero와 사람이 디자인한 2-layers MLP+Gradient descent 모델에게 풀라는 실험을 진행함
- Zero가 20번중 13번 승리
- 놀랍게도 시간이 지날 수록 SGD, ReLU 등을 차례로 배워가는 모습이 관찰됨
can we discover different algorithms by varying the type of task we use during the search experiment?
- Training data가 부족한 경우 -> 데이터에 Noise를 부여하는 방법(Augumentation)을 찾아냄
- 빠른 학습이 필요한 경우 -> Learning rate decay를 찾아냄
- Class의 개수가 늘어나는 경우 -> 사람이 잘 이해할 수 없는 방식을 사용하였지만 결과적으로 겅능이 향상됨

:open_file_folder: 차후 연구방향 및 보완점은 무엇입니까?

Search에 사용한 방법보다 더 좋은 방법을 사용하여 탐색력을 향상시킬 수 있을 것입니다.
코드 공개해주시면 참 좋을텐데 말입니다... 이게 진짜로 될지 잘 안믿기네요...

:thumbsup: Novelty와 논문을 통해 배운 것은 무엇입니까?

SymbolicReg와 비슷하게 GP를 응용해서 알고리즘을 Invent 한다는 개념이 매우 흥미롭습니다. 다양한 분야에도 적용이 가능할 것 같습니다.
밑바닥부터 ML 모델을 생성하는 과정이 우리가 궁극적으로 생각하는 인고지능의 지평선을 열었다고 생각합니다.

koptimizer / my_PaperLog