개선점 ?. 알림 전송 주기 및 메시지 전송 방식 변경으로 디스코드 알림 기능 개선

[daadaadaah]

기존 방식

1. 매 결과마다 디스코드로 알림 : Stack 으로 한번에
2. 디스코드 메시지 한도 초과 400 Bad Reqeust : 메시지 자체 -> 파일 첨부
3. 액셀 초과 데이터 : 셀 -> JSON, TXT

문제

• 현재 Job, Step, Task 단계별로 상세 로그와 실행시간 로그를 구글 시트에 저장하고 있다.
• 각 단계별로 로그들이 저장될 때마다 그 결과가 다음과 같이 각각 디스코드로 보내도록 했다.
• 최대 10명 멤버인 상황을 가정해보면, 짧은 시간 안에 디스코드에 메시지가 약 20개 정도가 보내지게 되어, 알림 기능이 매우 산만해질 것 같다는 생각을 했다.
• 또한, 디스코드의 웹 훅의 경우 1초에 최대 5개의 요청을 보낼 수 있는데(참고), 위와 같은 상황에서 Rate limit 문제(429 Too Many Requests)도 발생할 수도 있다고 생각했다.

해결과정

1. 통신 횟수 변화 : 저장되는 로그 수 (최대 21개) -> 최대 n개로
2. 통신 용량 변화 : 저장되지 않는 로그 데이터를 메시지 자체에 넣어서 보내기 -> 액셀 파일로 첨부해서 보내기

시도 1. (디스코드와의 통신 횟수 감소) 로그가 저장될 때마다 로그 저장 결과 메시지를 Stack에 저장해두었다가, 가장 마지막에 저장되는 Job 로그가 저장될 때, 디스코드로 한꺼번에 보내주는 방법

과정 1. 디스코드 limit 검토(업그래드를 안하는 default 상황 전제)

• Chat GPT에게 물어보기, 이때, 같이 검토해볼 수 있는 링크도 함께 달라고 함.

1. 한 번에 보낼 수 있는 글자 수(참고)

• 디스코드 웹훅을 통해 보낼 수 있는 메시지의 최대 글자 수는 2,000자입니다.

2. Rate Limit (참고)

• 디스코드 웹훅의 레이트 리미트는 보통 1초에 5개의 요청으로 제한됩니다. 만약 이 제한을 초과하면 잠시 동안 요청이 차단될 수 있습니다. 특히 대량의 요청을 보낼 때는 레이트 리미트에 주의해야 합니다.
• 더 긴 시간 단위(예: 10초, 1분)로 특정된 레이트 리미트는 공식적으로는 제공되지 않으나, 경험적으로 1분 동안 수십 건 이상의 요청을 보내면 차단될 가능성이 있습니다.

과정 2. 각 제한량 직접 테스트해보기

• [ ] 2000자 이상 글자 보내보기
• [ ] 1초에 5개 이상 요청 보내보기

과정 3. 각 상황별 알림 메시지 크기 분석

• Stack에서 꺼낼 때, 메시지 글자 수 유효성 판단하여, 2000자 초과면, 미리 보내는 방법으로 생각함.
• 그런데, 분석 결과, 로그로 저장되지 않는 데이터를 디스코드로 보내주는데,
• GtihubApiLog는 최대 n글자 수로, 메시지 자체가 2000자 초과인 상황이었다.
• 이를 해결하기 위해 다음 2가지 방법을 생각했다.
  • 해결 방법 1. GtihubApiLog를 쪼개서 보내는 방법(필드 쪼개기, 압축해서 보내기 등)
  • 해결 방법 2. 메시지에는 파일명만 보내주고, 저장되지 않는 로그를 파일(예 : json 또는 excel 파일)로 보내주기

과정 4. 단순 메시지가 아닌 파일을 첨부하는 방식으로

시도 2. (디스코드와의 통신 용량 감소) 저장되지 않는 로그들 메시지 -> 파일로 첨부해서 보내주기

과정 1. 디스코드 limit 검토(업그래드를 안하는 default 상황 전제)

1. 한 번에 보낼 수 있는 파일 크기 (참고)

• 한 번의 웹훅 요청에서 전송할 수 있는 파일의 최대 크기는 25MB입니다. 하지만, 만약 디스코드 서버에서 서버 부스트 등으로 인해 파일 업로드 한도가 늘어난 서버에서라면, 해당 서버의 설정에 따라 50MB까지 전송이 가능할 수 있습니다.

2. 한 번에 보낼 수 있는 파일의 갯수 (참고)

• 한 번의 웹훅 요청에서 전송할 수 있는 파일의 최대 개수는 10개입니다.

과정 2. 각 제한량 직접 테스트해보기

• [ ] 25MB 이상 파일 보내보기
• [ ] 10개 이상 파일 보내보기

과정 3. 각 상황별 알림 메시지 파일 크기 분석

• 분석결과, ~ 로 충분했다.

해결 방법 2가 더 간단해서 방법 2로 진행

• 단, 1번에 보낼 수 있는 최대 파일 크기와 갯수 검토 필요

코드적 개선

• 스프링 이벤트 활용(?)

[daadaadaah]

https://github.com/daadaadaah/review-study-app/issues/56