멘토링 프로젝트 정기 모임 발표 자료

[JuyeoungJun]

In GitLab by @gm2202985 on Jun 8, 2021, 13:13

목차

1. 프로젝트 소개
2. 기술 스택
3. 프로젝트 설계 (아키텍처, ERD, API 명세, ...)
   1. 아키텍처
   2. ERD
   3. API 명세
4. 프로젝트 컨벤션
   1. 코딩 스타일
   2. 브랜치 전략
   3. 배포 방식
5. 계획 및 일정 (마일스톤)

프로젝트 소개

크론 모니터링

cron은 유닉스 계열 컴퓨터 운영 체제의 시간 기반 잡 스케줄러이다. 소프트웨어 환경을 설정하고 관리하는 사람들은 작업을 고정된 시간, 날짜, 간격에 주기적으로 실행할 수 있도록 스케줄링하기 위해 cron을 사용한다.

• 위키백과

매일 새벽 4시 일일 수행 작업 예) 0 0 4 * * * * /home/users/everydayjob

크론 작업을 여러 서버에 접속하지 않고 한개의 화면에서 실행여부, 로그를 확인하고 싶음

필수 기능

로그 관련

• 모니터링 할 크론 등록
• 크론 실행 기록(실행시각) 조회
• 실행된 프로세스의 로그 조회
• 크론 종료 기록 조회
• 실행된 프로세스의 실행 시간 조회

인증, 권한 관련

• 로그인
• 로그아웃
• root 관리자
• 유저 관리자
• 유저 별 크론 조회 권한
• 유저 그룹(팀)
• 팀 별 크론 조회 권한

알람 관련

• 크론 작업 별 알람 발생 조건(몇분 이상 실행, 정해진 시간에 시작 안됨 등) 및 알람 대상 설정
• 알람 방법 : 하이웍스 메신저, 모니터링 서버에 자체적인 알람

프로젝트 구조

기술 스택

개발 언어

• Java
  • version: 11

프레임워크

• Spring Boot
  • version: 2.5.0

테스트 툴

• Junit
  • version: 5.7.2

Database

• MySQL
  • version: 5.7.34

빌드 툴

• Gradle
  • version: 7.0.2

사용 라이브러리

• lombok
  • version: 1.18.20
• jpa
  • version: 2.2.3

    로그 수집

    Filebeat

• 로그 또는 파일을 경량화된 방식으로 전달하고 중앙 집중화하여 작업을 보다 간편하게 만들어 주는 역할을 한다.
• 작동 방식
  1. Filebeat를 시작할 때 로그데이터를 바라보는 하나이상의 input을 설정한다.
  2. 지정한 로그파일에서 이벤트가 발생할 때 마다 Filebeat는 데이터 수확기(harvester)를 시작한다.
  3. 하나의 로그 파일을 바라보는 각 havester는 새 로그 데이터를 읽고 libbeat에 보낸다.
  4. libbeat는 이벤트를 집계하고집계된 데이터를 Filebeat 설정에 구성된 출력으로 데이터를 보낸다.

Logstash

• 실시간 파이프라인 기능을 가진 데이터 수집 엔진이다.
• 서로 다른 소스의 데이터를 탄력적으로 통합하고 사용자가 선택한 목적지로 데이터를 정규화할 수 있다.
• 다양한 고급 다운스트림 분석 및 시각화 활용을 위해 모든 데이터를 정리하고 대중화한다.

Elastic Logs 구조 (참고)

레이어 & 아키텍처 설계

Repository Interface Layer

Service Layer

권한

• root 관리자, User 관리자, User 으로 구분
• root 관리자
  • 다른 root 관리자 권한 부여
  • User 관리자 권한 부여
  • 팀 생성/삭제
  • 유저 삭제 가능
• User 관리자
  • 생성된 팀을 관리하는 사용자
  • 팀원 추가 및 일반 User에게 User 관리자 권한 부여 가능
• User
  • 일반 사용자, 개인이 모니터링하고 싶은 cron을 추가/삭제/수정/조회 가능

사용 시나리오

인증 기능 (모든 사용자)

• 로그인
• 로그아웃
• 회원가입 (사용자 추가)

시작 기능 (모든 사용자)

• 서버 리스트 조회
• 유저가 등록한 서버 리스트 조회
• 팀 리스트 조회
• 유저가 가입된 팀 리스트 조회
• 팀 생성 (생성시 해당 팀 유저관리자로 등록)

팀 기능

• 팀 가입 신청 (모든 사용자)
• 팀에 등록된 서버 리스트 조회 (모든 사용자)
  • 개별 서버 클릭시 크론 기능으로 이동
• 팀 관리 (root관리자 + 유저관리자)
  • 가입 승인
  • 팀원 조회
  • 팀원 권한 관리
  • 팀원 삭제
  • 팀 삭제

크론 기능

• 크론 job 목록 조회 (모든 사용자)
  • 개별 job 클릭시 실행 내역 목록 조회
• 크론 job 상세 조회 (모든 사용자)
  • 크론 job 실행중 여부 조회
  • 크론 표현식 조회
  • 알림 기능 포함
• 크론 등록/수정 (root관리자 + 유저관리자 or 모든 사용자)
  • 이상 조건 등록
• 크론 삭제 (root관리자 + 유저관리자)

알림 기능 (모든 사용자)

• 알림 등록/수정/삭제
• 웹훅 URL 등록/수정/삭제
• 알림 목록 조회

서비스 관리 기능 (root관리자)

• 사용자 목록 조회 , 상세 조회
• 사용자 수정/삭제
• 팀 목록 조회
• 팀 수정/삭제
• 팀 관리자 조회/수정/삭제

DB선택/ 스키마 설계

도표 상의 FK는 개념적인 FK입니다.

• 테이블 Primary Key는 성능상의 이유로 AUTO_INCREMENT를 사용 -> cron_job 테이블의 경우 UUID로 변경

UUID

• 장점
  • 분산 시스템에서 사용하기에 좋다
  • 개발 환경에 독립적이다.
  • 어떤 디비를 쓰던 상관 없이 그냥 uuid 생성 함수를 가져와서 쓰면 된다.
• 단점
  • 성능에 저하를 일으킨다.
  • 사람이 보기 힘들다.
  • 필요 이상으로 공간을 많이 차지 한다.

Auto Increment

• 장점
  • 속도가 빠르다.
  • 눈에 보기 쉽다.
• 단점
  • 분산 시스템에서 적합하지 않다.

동일한 cron_expression과 server_id 를 가진 cron_job 이 생기는 경우, 각각의 cron_job을 사용자가 식별할 수 있도록 UUID 를 생성하여 기본키로 사용

• 메타 정보 DB: MongoDB -> MySQL 사용

API 스펙 설계

https://gitlab.gabia.com/mentoring/newbie/2021.05/mentoring-cron/playground/-/blob/develop/swagger.yaml

프로젝트 컨벤션

코딩 스타일

• Google Java Style Guide 는 구글에서 자바를 사용할 때 코드를 작성하는 사람, 읽는 사람의 편의성을 위해 양식을 통일해둔 것이다.
• 가장 빈번하게 쓰이는 스타일이고, 공식 코드 스키마 xml 파일을 받아 Intellij 에 빠르게 적용 가능
• 중괄호 K & R 스타일, 공백 4칸 들여쓰기, CamelCase

브랜치 전략

• git flow란?
  • develop 브랜치에서 개발을 진행하고 master 브랜치에서 배포
  • 개별 기능(feature) 브랜치로 분기하여 기능별 개발 진행
  • 개발된 기능은 develop에 merge
  • 배포 과정에서 발생한 버그는 hotfix 브랜치에서 수정하여 develop에 merge
  • release 브랜치에서 배포 전 최종적으로 버그를 수정하고 master 브랜치에서 배포.
• 장점
  • 오랫동안 쓰여온 잘 정의된 표준.
• 단점
  • default값이 main인 기본 브랜치를 develop으로 변경해야 하는 수고(?)
  • hotfix 및 release 브랜치까지 나누는 건 조직에 따라 지나치게 과도할 수 있음
• 본 프로젝트에선 큰 틀에선 기본적인 git flow 구조를 따르되 release 브랜치는 생략하고 fix 브랜치에서 버그 수정
• 기능별 (feature) 브랜치로 분기하여 개발 진행 후 develop 브랜치에 병합
• develop 브랜치에서 스테이징 서버에 배포, 그리고 master 브랜치에서 production 서버에 배포

브랜치 작명 규칙

• feature 브랜치명 : feat/issue번호_기능
• fix 브랜치명 : fix/issue번호

커밋 메시지 규칙

• 제목은 50자를 넘기지 않고, 마침표를 넣지 않는다
• 과거 시제를 사용하지 않고, 명령어로 작성
• 구조

  
  타입: 제목

본문(optional!)

꼬리말(optional!)

    - 타입엔 하단에 정리해둔 메시지 타입 중 하나를 선택하여 입력
    - 제목엔 해당 변경사항을 간략히 정리하여 작성
    - 본문은 선택사항. 제목 외에 추가적으로 정보를 전달하고 싶을 경우 작성.
    - 꼬리말 또한 선택사항이며, 연관된 이슈 ID를 입력

- 메시지 타입

feat : 새로운 기능에 대한 커밋 fix : 버그 수정에 대한 커밋 chore : 그 외 자잘한 수정에 대한 커밋 ci : CI관련 설정 수정에 대한 커밋 docs : 문서 수정에 대한 커밋 style : 코드 스타일 혹은 포맷 등에 관한 커밋 refactor : 코드 리팩토링에 대한 커밋 test : 테스트 코드 수정에 대한 커밋

- 커밋 메시지 예시:

docs: API 문서 수정

2021.05.27 사용자 시나리오 및 DB 설계에 따른 API 상세 스펙 문서화

Resolves: #15 See also: #13, #16

## 배포 방식

- CI/CD 파이프라인

![cicd](https://my-gitlab-bucket.s3.amazonaws.com/388008381/030118126fe1ca8777fde33dce2bc41d.png)

# 계획 및 일정

## 개발 진행 순서

### 설명
- 개발 진행시 3명에서 역할을 분담하기 위해 개발 순서 별로 각 단계를 3-4개로 나눔.

06/09-06/22
- 엔티티 클래스 설계
- 로그 수집 서비스 개발
- 크론 서비스 개발 

06/23-06/30
- 인증 서비스 개발
- 팀 서비스 개발
- 조회 권한 서비스

07/01-07/05
- 웹훅 서비스 개발 
- 알림 서비스 개발
- 관리 권한 서비스

07/05-07/09
- 운영 버그 확인 및 수정

07/10-07/16
- 최종 발표 준비

[JuyeoungJun]

In GitLab by @gm2202985 on Jun 8, 2021, 13:16

changed the description

[JuyeoungJun]

In GitLab by @gm2202985 on Jun 8, 2021, 13:27

changed the description

[JuyeoungJun]

In GitLab by @gm2202985 on Jun 8, 2021, 13:33

changed the description

[JuyeoungJun]

In GitLab by @gm2202983 on Jun 8, 2021, 13:56

changed the description

[JuyeoungJun]

In GitLab by @gm2202983 on Jun 8, 2021, 14:05

changed the description

[JuyeoungJun]

In GitLab by @gm2202983 on Jun 8, 2021, 14:15

changed the description

[JuyeoungJun]

In GitLab by @gm2202983 on Jun 8, 2021, 14:15

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 8, 2021, 14:57

changed the description

[JuyeoungJun]

In GitLab by @gm2202983 on Jun 8, 2021, 14:59

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 8, 2021, 15:02

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 8, 2021, 15:04

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 8, 2021, 15:04

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 8, 2021, 15:06

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 8, 2021, 15:09

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 8, 2021, 15:10

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 8, 2021, 15:11

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 8, 2021, 16:35

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 8, 2021, 16:37

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 8, 2021, 16:40

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 8, 2021, 17:09

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 8, 2021, 17:13

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 8, 2021, 17:16

changed the description

[JuyeoungJun]

In GitLab by @gm2202983 on Jun 8, 2021, 17:27

changed the description

[JuyeoungJun]

In GitLab by @gm2202983 on Jun 8, 2021, 17:28

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 8, 2021, 17:44

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 8, 2021, 17:48

changed the description

[JuyeoungJun]

In GitLab by @gm2202985 on Jun 9, 2021, 08:57

changed the description

[JuyeoungJun]

In GitLab by @gm2202985 on Jun 9, 2021, 08:59

changed the description

[JuyeoungJun]

In GitLab by @gm2202985 on Jun 9, 2021, 09:00

changed the description

[JuyeoungJun]

In GitLab by @gm2202983 on Jun 9, 2021, 09:04

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 9, 2021, 09:20

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 9, 2021, 09:28

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on Jun 9, 2021, 09:29

changed the description