KilJaeeun commented 2 years ago

파트

섹션8-2. 클러스터 관리하기
발표자
강병진
발표 기간
8월 18일 22:00 ~
마감 기한
8월 17일 23:59 까지
참고 링크
일정표 : https://www.notion.so/Hadoop-4f533d9016884066ae0c87199d2bf65d
하둡 완벽가이드: http://grut-computing.com/HadoopBook.pdf
udemy 강의 : https://www.udemy.com/course/best-hadoop/learn/lecture/28318946?start=30#overview

hyunju-song commented 2 years ago

wookiist commented 2 years ago

jasonkang14 commented 2 years ago

JSYoo5B commented 2 years ago

스터디 로그

여러 Hadoop job을 순서 관계에 따라 DAG로 표현한 workflow로 실행시킴
(내가 짠 프로그램을 클러스터 관리하는게 아니라, 여러 프로그램을 순차적으로 돌리는 파이프라인 같은 상황에서 사용)
workflow 정의는 XML로 함
oozie cli 명령으로 실행시키고, 웹으로 모니터링 (Read only)
Coordinator -> 주어진 workflow를 실행시킬 주체
Bundles -> Coordinator를 여러 개 묶어서 같이 관리

사실 클러스터 관리에 직접적으로 관계된 건 아니지만, 내부적으로 비슷하게 관리되는 부분이 있어서 다룸

이거 진짜 다양한 연계로 클러스터의 다양한 구성 요소를 쓸 수 있어서 언급한 듯. 기술적 특이사항이 하나도 없는거 같음.

강의 녹화 시기 기준으로 Hadoop 배포판 제공사가 Cloudera, Hortonworks, MapR 순으로 큼. (근데 강의 초반에 Cloudera가 합병했다고 했는데 이거 강의에 미치는 영향이 완전 큰거 아님? 되게 별거 아닌 것 처럼 넘어갔는데)

정확하진 않지만 대략 Hue는 Cloudera 버전 Hue라 생각하면 됨.

주요 특징:

사실상 추모공원에서 생전 고인의 개쩔던 과거를 보시겠습니다 급

KilJaeeun commented 2 years ago