Closed KilJaeeun closed 2 years ago
전반적으로 설치에 오랜 시간이 걸림 (VirtualBox)
--privileged
옵션을 추가하면 해결됨.
로그를 찍어보니 nginx 기반 proxy가 동작하는데, sandbox-hdp의 주소를 잡지 못함.설치 로그를 보면(처음 부팅시 생성되는 로그) docker 등 컨테이너 기반 이미지를 다운받아 동작시키는 듯
3.0 기준으로, HDP 웹 콘솔에서 일부 서비스들이 다 정상적으로 올라오는 것이 아닌 것 같음. 개별적으로 서비스들을 직접 실행시켜줘야 하고, Knox 서비스의 경우 시작 실패함 (이 부분은 강의 스크린샷에서도 모든 서비스가 올라와있지 않은 상태가 일반적인듯)
특이사항: 왜 VirtualBox 내 guest에서 커널 에러가 이렇게 자주 발생하는 지 모르겠음. (Host OS/CPU/VirtualBox가 불안한가?)
Java heap space
에 대한 메모리가 부족하다는데, 현재 VM에 메모리 40GB를 할당했는데도 이렇게 뜬다는 것은 설정에 뭔가 오류가 있는 듯)udemy hadoop 섹션1 강의 정리 -> 저는 이전에 hadoop udemy section1 까지는 들었어서 과거에 정리한 글을 조금 수정해서 공유드립니다.
클라우드 기반으로 hadoop을 사용하시는 분 계신가요? emr말고 다른 방법으로 클라우드를 활용해서 구현할 수 있는 방법이 있을까요? 가령 spark의 경우에는 emr을 쓰지 않고, eks위에 작업해서 사용하거나, emr을 eks위에서 올리는 등의 방법이 있는데, 이런 경우 말고 다른 경우도 혹시 실제 사용경험이나 들어본 사례가 있는지 궁금합니다!
Hive
가 인상적이다. oozie
가 그런 역할을 해주는 것 같다. 둘 중에 뭐가 나을지는 고민을 좀 해봐야 할 것 같다.
파트
발표자
발표 기간
마감기한
참고 링크