Configure opentsdb clustering and survey opentsdb cli and daemon

[kwjooo]

내용

• kubernetes cluster 위에 hdfs namenode, region node를 각각의 Pod으로 구성
• hbase, zookeeper, opentsdb도 마찬가지의 방식으로 각각의 Pod으로 구성
• cli와 daemon 분석

목적

• cli application 개발을 위한 opentsdb cli 분석
• query server 개발을 위한 opentsdb daemon 분석

References

5

[code-to-gold]

Why(왜 이 Issue를 생성하였는지)를 적어주세요!

[dragon0170]

개발 서버에 docker, kubeadm, kubelet, kubectl 설치 완료

[dragon0170]

개발 서버에 kubernetes cluster 구성 완료 및 정상동작 확인(hadoop, hbase, opentsdb)

• kubernetes service 조회 결과(use kubectl get svc at master node):

  NAME                   TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                                   AGE
  hadoop-datanode-1      ClusterIP   None            none          50010/TCP,50020/TCP,50075/TCP,50475/TCP   112m
  hadoop-datanode-2      ClusterIP   None            none          50010/TCP,50020/TCP,50075/TCP,50475/TCP   112m
  hadoop-journalnode-0   ClusterIP   None            none          8480/TCP,8485/TCP                         114m
  hadoop-journalnode-1   ClusterIP   None            none          8480/TCP,8485/TCP                         114m
  hadoop-journalnode-2   ClusterIP   None            none          8480/TCP,8485/TCP                         114m
  hadoop-namenode-0      ClusterIP   None            none          8020/TCP,50070/TCP,50470/TCP              112m
  hadoop-namenode-1      ClusterIP   None            none          8020/TCP,50070/TCP,50470/TCP              112m
  hbase-master-a         ClusterIP   None            none          16000/TCP,16010/TCP                       111m
  hbase-master-b         ClusterIP   None            none          16000/TCP,16010/TCP                       111m
  hbase-region-a         ClusterIP   None            none          16020/TCP,16030/TCP                       111m
  hbase-region-b         ClusterIP   None            none          16020/TCP,16030/TCP                       111m
  kubernetes             ClusterIP   10.96.0.1       none          443/TCP                                   5h29m
  opentsdb-svc           NodePort    10.103.14.138   none          4242:30701/TCP                            108m
  zookeeper-1            ClusterIP   None            none          2181/TCP,2888/TCP,3888/TCP                115m
  zookeeper-2            ClusterIP   None            none          2181/TCP,2888/TCP,3888/TCP                115m
  zookeeper-3            ClusterIP   None            none          2181/TCP,2888/TCP,3888/TCP                115m

[1dennispark]

kubernetes에서 hadoop 클러스터를 구성하려면 3.0 이상의 버전을 사용해야합니다.

하지만, hadoop 3.0이 아직 unstable 단계이고 버그가 많기때문에 쉽게 구축하기 위해서는 cloudera를 하기를 권장합니다.