2021/06/02 멘토링 회의 준비 #27

Closed JuyeoungJun closed 3 years ago

In GitLab by @gm2202981 on Jun 1, 2021, 15:39

프로젝트 구조

architecture

로그 수집

Filebeat

로그 또는 파일을 경량화된 방식으로 전달하고 중앙 집중화하여 작업을 보다 간편하게 만들어 주는 역할을 한다.
작동 방식
1. Filebeat를 시작할 때 로그데이터를 바라보는 하나이상의 input을 설정한다.
2. 지정한 로그파일에서 이벤트가 발생할 때 마다 Filebeat는 데이터 수확기(harvester)를 시작한다.
3. 하나의 로그 파일을 바라보는 각 havester는 새 로그 데이터를 읽고 libbeat에 보낸다.
4. libbeat는 이벤트를 집계하고집계된 데이터를 Filebeat 설정에 구성된 출력으로 데이터를 보낸다.

filebeat

Logstash

실시간 파이프라인 기능을 가진 데이터 수집 엔진이다.
서로 다른 소스의 데이터를 탄력적으로 통합하고 사용자가 선택한 목적지로 데이터를 정규화할 수 있다.
다양한 고급 다운스트림 분석 및 시각화 활용을 위해 모든 데이터를 정리하고 대중화한다.

logstash

Elastic Logs 구조 (참고)

elastic

언어 변경 이유

기능 및 설계 변경

실시간 소켓통신x
메타정보 DB를 위해 RDB 사용

DB 테이블 증가

RDB I/O(블로킹 I/O)가 잦아짐
RDB와 비동기적으로 작동하는 Node.js의 궁합x
- Node.js의 경우, NoSQL과의 사용빈도가 훨씬 많고 레퍼런스가 상대적으로 적음

안정성

타입스크립트도 정적 타입이 가능하지만 런타임 타입체크가 안됨

권한

root 관리자, User 관리자, User 으로 구분
root 관리자
- 다른 root 관리자 권한 부여
- User 관리자 권한 부여
- 팀 생성/삭제
- 유저 삭제 가능
User 관리자
- 생성된 팀을 관리하는 사용자
- 팀원 추가 및 일반 User에게 User 관리자 권한 부여 가능
User
- 일반 사용자, 개인이 모니터링하고 싶은 cron을 추가/삭제/수정/조회 가능

사용 시나리오

인증 기능 (모든 사용자)

로그인
로그아웃
회원가입 (사용자 추가)

시작 기능 (모든 사용자)

서버 리스트 조회
유저가 등록한 서버 리스트 조회
팀 리스트 조회
유저가 가입된 팀 리스트 조회
팀 생성 (생성시 해당 팀 유저관리자로 등록)

팀 기능

팀 가입 신청 (모든 사용자)
팀에 등록된 서버 리스트 조회 (모든 사용자)
- 개별 서버 클릭시 크론 기능으로 이동
팀 관리 (root관리자 + 유저관리자)
- 가입 승인
- 팀원 조회
- 팀원 권한 관리
- 팀원 삭제
- 팀 삭제

크론 기능

크론 job 목록 조회 (모든 사용자)
- 개별 job 클릭시 실행 내역 목록 조회
크론 job 상세 조회 (모든 사용자)
- 크론 job 실행중 여부 조회
- 크론 표현식 조회
- 알림 기능 포함
크론 등록/수정 (root관리자 + 유저관리자 or 모든 사용자)
- 이상 조건 등록
크론 삭제 (root관리자 + 유저관리자)

알림 기능 (모든 사용자)

알림 등록/수정/삭제
웹훅 URL 등록/수정/삭제
알림 목록 조회

실행 내역 조회 기능 (모든 사용자)

시간 정보 조회 (실행 시각, 종료 시각, 실행 시간)
실행 내역 클릭시 log 조회

서비스 관리 기능 (root관리자)

사용자 목록 조회 , 상세 조회
사용자 수정/삭제
팀 목록 조회
팀 수정/삭제
팀 관리자 조회/수정/삭제

db선택/스키마 설계

DB 설계

DB_ERD

도표 상의 FK는 개념적인 FK입니다.

테이블 Primary Key는 성능상의 이유로 AUTO_INCREMENT를 사용 -> cron_job 테이블의 경우 UUID로 변경

UUID

장점
- 분산 시스템에서 사용하기에 좋다
- 개발 환경에 독립적이다.
- 어떤 디비를 쓰던 상관 없이 그냥 uuid 생성 함수를 가져와서 쓰면 된다.
단점
- 성능에 저하를 일으킨다.
- 사람이 보기 힘들다.
- 필요 이상으로 공간을 많이 차지 한다.

Auto Increment

장점
- 속도가 빠르다.
- 눈에 보기 쉽다.
단점
- 분산 시스템에서 적합하지 않다.

동일한 cron_expression과 server_id 를 가진 cron_job 이 생기는 경우, 각각의 cron_job을 사용자가 식별할 수 있도록 UUID 를 생성하여 기본키로 사용

메타 정보 DB: MongoDB -> MySQL 사용

api 스펙 설계

https://gitlab.gabia.com/mentoring/newbie/2021.05/mentoring-cron/playground/-/blob/develop/swagger.yaml

In GitLab by @gm2202981 on Jun 1, 2021, 15:40

changed the description

In GitLab by @gm2202985 on Jun 1, 2021, 15:40

changed the description

In GitLab by @gm2202985 on Jun 1, 2021, 15:41

changed the description

In GitLab by @gm2202985 on Jun 1, 2021, 15:41

changed the description

In GitLab by @gm2202981 on Jun 1, 2021, 15:44

changed the description

In GitLab by @gm2202981 on Jun 1, 2021, 15:48

changed the description

In GitLab by @gm2202981 on Jun 1, 2021, 15:52

changed the description

In GitLab by @gm2202981 on Jun 1, 2021, 15:53

changed the description

In GitLab by @gm2202985 on Jun 1, 2021, 15:56

changed the description

In GitLab by @gm2202981 on Jun 1, 2021, 15:59

changed the description

In GitLab by @gm2202981 on Jun 1, 2021, 17:44

changed the description

In GitLab by @gm2202981 on Jun 2, 2021, 09:03

changed the description

In GitLab by @gm2202981 on Jun 2, 2021, 09:05

changed the description

In GitLab by @gm2202981 on Jun 2, 2021, 09:05

changed the description

In GitLab by @gm2202981 on Jun 2, 2021, 10:18

changed the description

In GitLab by @gm2202981 on Jun 2, 2021, 15:57

changed the description

JuyeoungJun / cron-monitoring