[Hadoop] 설치

[DrMaemi]

목표

• Map-reduce, HDFS와 관련된 간단한 기능 동작이 가능한 single-node 하둡 클러스터를 구축한다.

사전 설명 및 준비

• 하둡 클러스터의 모든 production은 HDFS(데이터)), YARN(컴퓨팅 어플리케이션)에 접근하기 위해 Kerberos 인증 체계를 사용한다.
  • 따라서 하둡 서비스를 조직 내 배포하기 위해선 자체적인 Kerberos 인증 체계를 구축해야 한다.
• GNU/Linux 환경이 구축되어 있어야 한다.(하둡은 GNU/Linux 환경에서 2000개의 노드로 구성된 클러스터로 시연되었다.)
• 적절한 버전의 자바가 설치되어 있어야 한다.
  • Java 8, 11 을 지원하지만 compile 시 Java 11은 지원하지 않는다.
• 각 노드에는 ssh가 설치되어 있어야 하며 각 노드에선 sshd가 실행되고 있어야 한다.

ssh 설치 여부 및 권한 확인

터미널에서 ssh 설치 여부 확인

ssh localhost

만약 다음과 같이 에러가 나면 원격 로그인을 허용하지 않은 것이므로 환경 설정에서 허용해줘야 한다.

ssh: connect to host localhost port 22: Connection refused

A. 참조

• [M1] Mac OS에 하둡(Hadoop) 설치