[09-11] Hadoop 과의 만남

[snaag]

Hadoop 과의 만남

갈수록 중요해지는 데이터를 관리하는 기술

• 사람들이 과거보다 많은 데이터들을 빠르게 생산하고 있음
• 여러 대기업들에서 다양한 공개 데이터들을 공유하고 있음
• 데이터는 갈수록 많아지나, 저장하고 분석하는 일은 매우 어려움

많은 양의 데이터를 저장하고 분석하는 방법

• 데이터를 저장하는 속도의 발전 은, 데이터를 읽는 속도의 발전보다 느림
  • 디스크 용량은 1990년도에 비해 1,370MB 에서 1테라바이트로 증가하였음
  • 그러나 읽는 속도는 초당 4.4MB 에서 100MB 정도로 까지 밖에 증가하지 못했음
  • 쓰는 것은 이보다 더 느림
• 따라서 단일 저장공간을 사용하기보다는, 여러 저장공간을 동시에 읽고 쓰면 좋음
  • 그러나 많은 양의 하드웨어를 사용하는 만큼 발생하는 문제점이 있음
  • 하드웨어 장애 (Ref: HDFS)
  • 분할된 데이터를 정합성을 지켜가며 결합해야 함 (Ref: 맵리듀스)

이를 가능하게 하는 하둡

• 하둡은 HDFS, 맵리듀스 등으로 안정적이고 확장성이 높은 저장 및 분석 플랫폼을 제공함
• 그리고 오픈 소스라서 매우 저렴한 비용!
• (HDFS: 파일 저장 및 처리 시스템)

전체 데이터에게 한번에 물어보는 하둡의 '맵 리듀스'

• 한번에 일괄로 처리하는 맵 리듀스
  • 하둡의 맵리듀스는 '한번의 쿼리' 로 아주 큰 규모의 데이터셋에게 질의하고 처리할 수 있음
• 처리 시점에 데이터를 해석함
  • 스키마가 없는 비정형(ad hoc) 혹은 최소한의 구조만 있는 반정형(semi-structured data) 데이터도 문제없지롱

하둡은 일괄 처리만을 의미하는 것은 아님

• 최초의 하둡은 '일괄 처리' 만을 위해 만들어졌었음
• 현재의 하둡은 이보다 진화하였음
  • HDFS 와 맵리듀스 만이 아닌, 수많은 에코시스템 프로젝트들을 지칭함
  • HBase
  • HDFS 위에 만들어진 분산 컬럼 기반의 데이터베이스
  • 온라인 접근 지원
  • YARN (Yet Another Resource Negotiator, 또 다른 자원 협상가)
  • 리소스 매니저

하둡의 간단한 역사

• 개발자
  • 텍스트 검색 라이브러리인 아파치 루씬 (Apache Lucene) 의 창시자인 더그 커팅 (Doug Cutting)
• 2002년, 웹 검색 엔진 개발 시작
  • 루씬 프로젝트의 일환으로 개발된 오픈 소스 검색 엔진인 '아파치 너치 (Apache Nutch)' 의 하부 프로젝트로 시작
  • 크롤러와 검색 시스템은 금방 만들어졌으나, 10억가량의 페이지를 색인하기에는 확장성이 부족했음
• 2003년, 구글에서 GFS 아키텍처를 설명한 논문 발표
  • GFS: 구글 분산 파일 시스템
• 2004년, NDFS (Nutch Distributed File System) 를 오픈소스로 구현
• 2004년, 구글에서 맵리듀스를 소개하는 논문 출간
• 2005년, Nutch 내의 주요 알고리즘을 맵리듀스+NDFS 를 사용하도록 코드를 변경
• 2006년 2월, NDFS + 맵리듀스 를 '하둡' 으로 이름짓고 Nutch 프로젝트에서 분리함
  • 이후에 더그 커팅이 야후에 합류하고, 야후는 하둡을 전폭적으로 지원하였음
• 2008년 2월, 야후는 10,000 개의 코어를 가진 하둡 클러스터에서 검색 색인을 만들었다는 사실을 발표함
• 2008년 2월, 하둡은 아파치의 최상위 프로젝트로 등극함
• 2008년 4월, 하둡은 테라바이트 데이터 정렬 세계 신기록을 세운 가장 빠른 시스템이 됨
• 오늘날, 빅데이터를 위한 범용 저장소 및 분석 플랫폼으로 인정을 받고 있음

출처

• 책 하둡 완벽 가이드 (톰 화이트) - 1장 하둡과의 만남

후기

두두둡하둡... 어렵지만 신기한 친구군여. 내일은 맵리듀스로 찾아뵙겠습니다 :ㅇ

[k-young-passionate]

글 잘 읽었습니다 :)

일반 cloud를 쓰는 기업들은 hadoop 많이 쓰는거 같은데요, 이야기 들어보니 GCP 쓰는 기업들은 BigQuery 라는 걸 쓰는거 같더라고요.

그리고 hadoop ecosystem 하니 생각나는데, hadoop 이 코끼리라 동물 혹은 동물원에 관련된 상징으로 에코시스템이 발전해온거 같습니다 ㅎㅎ...

대표적으로

• HIVE: Data warehouse 소프트웨어, 정형화된 데이터를 SQL 로 읽게 해줌, 코끼리 얼굴에 벌의 몸, 벌집처럼 모양이 잡혀있는 것
• HBase: NoSQL DB, 돌고래
• PIG: 대용량 데이터 분석, 돼지
• Zookeeper: 분산 coordination 서비스, 동물원 관리자(?)

다음 편도 기대하겠습니다. 👀

[snaag]

@k-young-passionate 헉스 이런 꼼꼼한댓글 감사드립니다... 아하 하둡 위에서 돌아간다는건 하둡의 HDFS 랑 YARN, MapReduce 를 쓴다는 말과 같은말이었군요! 설명과 그림 넘 감사드립니당 ( )

ZooKeeper 라니 참 이름 깜찍하게 지었군여 ㅜㅜ 누가 고양이도 하나 만들어주면 좋겠네요 🐈

[k-young-passionate]

@snaag 대신 귀여운 hdfs dfs -cat ...을 드리겠습니다. (linux의 cat 명령어와 같은 개념입니다 ㅎ...)

[snaag]

@k-young-passionate ㅎㅎ...ㅎ....감사합니다 ㅎ..... 잘키울게요...