snaag
commented
1 month ago YARN
- Yet Another Resource Negotiator
- 빅데이터의 지휘자 와 같은 역할
- 리소스를 분석해서 적절한 Job 에게 적절하게 할당함
- 하둡 클러스터에 데이터 처리를 동시에 담당
- Demon 을 통해 자원 관리 역할을 수행
- 태초의 리소스 매니저
- 각 Node 별로 Job Tracker (데몬) 가 있었는데,
- 얘가 상태를 Main Node 에게 알려줌
- 하둡은 이 정보를 토대로 잡 수행
- 그러나 하둡 클러스터 전체적인 관리는 못하여 활용도가 떨어지는 경우가 생김
- 이후에 Hadoop Cluster 에 YARN 이 추가됨
YARN 데몬
- 리소스 매니저 (RM, Resource Manager) + 노드 관리자 (NM, Node Manager)
- RM
- Hadoop Cluster 의 Master Node 에서 수행됨, 하나만 존재
- YARN 의 핵심이 되는 Manager
- 전체의 Resource 고려하여 Hadoop 의 Job 들의 스케줄링 담당
- NM
- 각 Node 에서 수행, 여러개 존재
- Resource Manager 와 각 노드와의 커뮤니케이션 담당
- Resource Manager 에게 각 Node 의 Resource 현황 알림
- 할당된 작업 수행 및 모니터링
YARN 을 이용한 어플리케이션 실행
- YARN 을 통해 Hadoop Job 이 실행되면, 어떤 절차가 일어날까?
- Hadoop Job 실행 시, RM 이 각각의 Slave Node 에 container 생성
- Slave Node 의 사용 가능한 리소스를 container 에 할당
- Memory, CPU 등
- 어플리케이션 시작되면, Application Master (AM) 라는 데몬이 생성됨
- 어플리케이션 당 한개
- 각 Node 의 Container 와 컨택하여 Job 수행
- Resource 가 추가로 필요하면, Container 를 더 요청하여 Job 수행 함
YARN 사용
- Hadoop 에서 YARN 과 관련된 툴 제공
- Hue Job Browser
- YARN Web UI
- YARN Command line
- Clouder 를 사용할 경우 YARN 관리자는 Cloudera Manager 를 사용함
- 개발자에게 유용함
Reference