search

ddps-lab / ubuntu-hadoop

3 stars 5 forks source link

하둡 마스터 이미지에서 포트 포워딩 되는 종류별로 용도 확인 #3

Open kmu-leeky opened 7 years ago

kmu-leeky commented 7 years ago

현재 포워딩되고 있는 포트들 -p 8088:8088 -p 8042:8042 -p 8085:8080 -p 4040:4040 -p 7077:7077 -p 2022:22

각각의 대해서 사용되는 이유 및 필요없는건 삭제필요

KimJeongChul commented 7 years ago

Container port 옵션 -p host port : container port 8088 Resource Manager WebUI http://203.246.113.18:8088/ -> 필요 8042 Node Manager WebUI http://203.246.113.18:8042/node -> Container로 실행(docker run) 시 이미 사용중인(binding) 에러.. BD-3 HOST에서 사용 중 8085:8080의 경우 Spark WebUI http://203.246.113.16:8085/ -> Spark Container로 이동 필요

7077 Spark 사용 port로 service를 listen port -> Spark Container로 이동 필요 4040 Spark 사용 port로 History Server -> Spark Container로 이동 필요 -> SparkContext launches a Web UI(스케쥴러 리스트, RDD, 메모리 사용량) -> http://spark.apache.org/docs/latest/monitoring.html

kmu-leeky commented 7 years ago

수고했어. 잘 정리해줬네. 살펴보니, 8042는 삭제해야 할것 같고, 8085도 삭제 해야 할것 같네 (YARN 으로 스파크 동작시키니까 spark container 에서도 필요없을것 같아),. 그리고 내가 보기에 스파크 관련한 포트들은 Yarn 을 사용하니까 포워딩할 필요가 다들 업어보이는데. 다들 삭제하고, 스파크 이미지까지 만들어서 (포트 포워딩 제외하고), 알려주면 테스트 해볼께.

KimJeongChul commented 7 years ago

네 요청하신 사항 수정하여 run_hadoop 갱신하였습니다. Container 작업하겠습니다!