마카롱 1 사용자 인터페이스

eces commented 11 years ago

커맨드 라인 인터페이스(CLI)로 갈수도있고, 웹 인터페이스를 쓸 수도 있는데 일단 빨리 개발할수있는건 CLI가 아닌가 싶어. 잘팔리는건 웹인터페이스이려나?

충분히 논의된다음에 옮기려고 위키에 적다가 여기로 옮겨왔음.

정형데이터 또는 비정형데이터를 빅데이터 스토리지로 주기적(1시간)으로 이전하여 데이터 마이닝 알고리즘을 시동할 수 있는 독립된 설치형 시스템

정형데이터: MySQL같은 RDDBMS의 스키마 데이터
비정형데이터: MongoDB같은 row, column에 대한 스키마가 자유로운 형태 (메타데이터 여부로 따짐)
빅데이터 스토리지: 데이터의 위치가 물리적으로 분산가능하고, 수평적으로 확장가능하며, 데이터 양에 관계없이 일정한 read/write 성능을 보여주는 데이터 저장소
주기적: 1시간마다 extract하여 대상드라이브에 import함 (주기가 1초이더라도 빅데이터 스토리지에 바로 update하는게 아니므로 실시간은 아님)
데이터 마이닝 알고리즘: ETL(구글링해보세요)이나 다단계(multiple sequence) 알고리즘을 transparent하게 배치-전처리-실행-후처리 가능한 단위
독립된 설치형 시스템: 클라우드랑 반대로, 특정 장소에 설치하여 설정하면 로컬에서 쓸 수 있는 형태
실행 (좀만 더 노력하면 rpm, deb으로도 할수있는데 이렇게 해야할까 음..)

./macaron

클러스터 셋팅

sbt command line application으로 만들면 쉽더라. (http://www.scala-sbt.org/0.13.0/docs/Extending/Command-Line-Applications.html)

Play도 sbt console을 extend했거나, 이걸 이용해서 만들었어.

init 모든 클러스터 노드와 장비 셋팅
start [port=8668] 노예모드(ㅋㅋㅋ)로 마카롱 실행, 해당 네트워크와 플랫폼에서 repo, build 설정을 체크함
start-all 모든 클러스터 노드에 ssh로 노예모드 마카롱 실행 명령보냄, 하나라도 안되면 모두 실패함, 이미 실행되어있으면 okay
status [node] 해당 노드를 진단
run [query] query 위치에 있는 HiveQL 파일을 읽어와서 실행
~run [query] query 위치에 있는 HiveQL 파일이 변경될때마다 읽어와서 실행
reload 모든 클러스터 노드를 재시작
update [duration=1000] 모든 클러스터 노드에 있는 노예들을 하나씩 stop 후 rsync로 업데이트, 다시 start. 문제가 생기면 중단할 수 있도록, 지정된 시간 간격으로 순차적으로 진행함.
stop [node] 해당 노드를 stop
stop-all 모든 노드를 stop
help 궁금한 걸 입력하면 본사서버로 보냄. 주소 띄워주기
고객의 기능
Production에서 운용되는 기존 RDBMS 데이터를 seamless하게 가져와 데이터 분석을 시도해 볼 수 있음
데이터 분석을 완료한 결과물을 조건에 따라 다시 RDBMS로 export 가능함 -> 바로 서비스에 적용가능
데이터 분석을 위한 기본 ETL들을 제공함 -> 당장 성능개선에 이용가능
추가 서브스크립션을 신청하면 AR, CF등 심화된 알고리즘 모델을 제공함 -> 하나, 두개 구입 후 자체적으로 개선하여 써도됨
솔루션을 도입과 동시에 자체적으로 모델 연구개발을 할 수 있는 바탕이됨 -> 하나의 시나리오(분석)를 위해 판매하는 솔루션이 아님, autodesk같은 플랫폼!

우리가 생각하는 스타트업의 기발함(클라우드)은 마카롱2에 있으니 위키 참고.

### 이용방법 (설치 기사가 해야할것)

클러스터 노드 준비 (cent os)
마카롱 설치
마카롱 설정 파일에 모든 노드의 IP 추가 -> ssh를 통해 자동으로 셋팅
마카롱 라이센스 설치 (본사 서버에서 pem cert를 가져옴 ? 방식은 생각해봐야할듯)
마카롱 실행, 모든 노드 초기화
로그 확인 cat application.log
예제 돌려보기
로그 확인 tail -30 application.log

eces commented 11 years ago

나름 제일 나이스한건 이게 아닐까 https://enterprise.github.com/help/articles/getting-started-with-virtualbox

kanghyojun commented 11 years ago

일단 생각하고있는게 민트프레소에 설치형 버전이라고 생각하면 편하려나?

eces commented 11 years ago

응 그렇지. 점진적으로 발전하겠지만 사실 민트프레소보다는 더 작지.

민트프레소는 스토리지 + 분석 + import API + export API 였다면, 마카롱 초기 버전은 서버셋팅 + 스토리지셋팅 + Local import + Local export 뭔가 빅데이터를 하기 위한 모든 기반을 1큐에 다 끝내버리는거지.

마카롱이 지금은 로컬디비 -> 처리 -> 로컬디비 이니깐. 사실 나중에 API -> 로컬디비 -> 처리 -> 로컬디비 -> API hook 이렇게되면 민트프레소랑 기능과 역할은 똑같을듯 ㅋㅋ

kanghyojun commented 11 years ago

결국 사용성 좋게하려고 이것저것 만들다보면 왠지 민트프레소같아질거같아서 ㅋㅋㅋ 어쨌던 아직도 재밌는 프로젝트인건 확실!

eces / macaron

마카롱 1 사용자 인터페이스 #3

실행 (좀만 더 노력하면 rpm, deb으로도 할수있는데 이렇게 해야할까 음..)

클러스터 셋팅

고객의 기능