백엔드 서버리스화 1차

[YongSiHun]

1. 애플리케이션 변경 사항

식별 검색

• 메인 서버 요청을 DB 쿼리로 변경

이미지 검색

• 딥러닝 서버로 직접 요청
• DB 쿼리로 검색 (메인 서버의 기능을 마이그레이션)

버전 체크

• 앱 실행 시 서버리스 함수로 요청
  • DB 업데이트 날짜 / 애플리케이션 최신 버전

DB 업데이트

• 앱 실행 시 DB 컬렉션 (테이블) 존재 유무 확인
  • 의약품 낱알 식별 정보 / 완제 의약품 허가 상세 데이터 컬렉션 없으면 리소스 업데이트 요청
• 앱 실행 시 DB 업데이트 날짜가 최신이 아니면 리소스 업데이트 요청
• 리소스 업데이트는 json 파일을 깃허브 레포지터리로 부터 받아서 진행
  • DB 유출 방지를 위해 json 파일은 로컬에서 공개키로 암호화
  • 앱 내에 비밀키를 두고 이를 복호화하여 업데이트

딥러닝 서버 애플리케이션에 통합

• 11월까지 딥러닝 모델을 애플리케이션에 이식
  • 애플리케이션 용량을 잘 고려할 것
  • 모델 성능 저하는 어느정도 감수
• 이미지 검색 실행 시 주의 사항 등을 UI에 표시

[YongSiHun]

리소스 업데이트

DB 리소스 json 암호화

• git credential로 저장

  export const RESOURCE_PRIVATE_KEY = '~~';

• 애플리케이션 빌드 시 소스코드 파일의 비밀키 부분을 sed를 통해 credential 값으로 치환 후 빌드

  export const RESOURCE_PRIVATE_KEY = '';

리소스 업데이트 진행

• wip-resource 이름의 레포지터리 신설
  • 애플리케이션에서는 해당 레포지터리로 부터 리소스 json 파일을 받아 DB 업데이트 진행

리소스 json 생성

• wip-resource-generator 레포지터리 신설
• 메인 서버의 리소스 업데이트 부분을 떼어 json 파일 생성하도록 수정
• 이 프로그램으로 로컬에서 json 파일 생성 후 리소스 레포지터리에 업로드

[YongSiHun]

초기 정보 API

사용할 서버리스 서비스

• Google Cloud Function으로 구현

API Spec

• GET /initial-info

  // response
  {
  "appVersion": "2.0.1",
  "resourceDate": "2024-08-17"
  }

[YongSiHun]

추가 사항

• Google Cloud Function VS Google Cloud Run

논의 필요한 사항

• 딥러닝 서버를 Google Cloud Run에서 운영?
  • 컨테이너 자체를 올려서 구동 가능하며, 인프라보다 비용이 훨씬 저렴하다

확인이 필요한 사항

• 요청을 보낼 때 아무나 보낼 수 없도록 제어가 되는지 보안에 대한 확인 필요 (비용 과다 방지)
  • 확인 결과 https를 사용하여 인증된 요청만 처리

[YongSiHun]

서버리스 작업 총 정리

초기 정보 API

• Google Cloud Functions를 활용하여 배포 및 테스트 완료
• git 레포지터리와 Google Cloud Functions에서 코드 관리

딥러닝 서버 서버리스화

• Google Cloud Run을 활용하여 배포 및 테스트 완료

계획

애플리케이션 식별 검색 및 이름 검색 작업

• 식약처 검색 시스템을 참고하여 식별 검색을 도입
• 일단 메인 서버로 호출하는 식으로 개발
• 해당 작업 후 앱 배포

서버리스 클라이언트 테스트

• nodeJS로 서버리스 API 호출 클라이언트 코드 작성
• 차후 애플리케이션에 DB를 이식할 때 사용

Resource Generator 개발

• 메인 서버의 excel to json 로직 기반으로 DB 리소스 json 파일 생성 프로그램 개발

차후 계획

구글 광고 도입

• 수익화를 위해 앱에 구글 광고 도입

resource download and DB upsert 테스트

• 암호화된 리소스 json 파일을 깃허브 혹은 구글 드라이브로 부터 받고 복호화 후 DB에 upsert하는 것 까지 수행 (realm 활용)

애플리케이션에 의약품 낱알식별정보 데이터 및 완제 의약품 허가 상세 데이터 컬렉션 (테이블) 탑재

• realm을 활용하여 메인 서버에 있던 컬렉션 (테이블)을 애플리케이션으로 이동
• Config 테이블 도입

  name / value

• 로직 순서
  • 앱 실행 시 초기정보 API 호출 > DB 업데이트 날짜가 이전이면 리소스 파일 다운로드 > 리소스 파일 upsert > Config 테이블의 resourceDate 갱신
• 앱 초기 실행 / 중간 실행에 대한 처리 필요 (황진태/김종연)
• 리소스 업데이트가 진행되는 동안의 UI처리 필요 (황진태/김종연)

[CaffeinCoding]

예상 비용 계산이 필요해 보입니다

[YongSiHun]

작업 계획

1. Resource Generator 개발

2. 애플리케이션 CICD (비밀키 부분 제외)

3. 애플리케이션 내 DB 마이그레이션

• DrugRecognition (의약품 낱알 식별 정보)
• FinishedMedicinePermissionDetails (완제 의약품 허가 상세 데이터)
• Config (구성 정보)

4. 애플리케이션과 구글 서버리스 연동

• 앱 실행 시 초기 정보 API 호출
• Resource Generator 참고하여 리소스 다운로드 (github 공개 repo에서 release 받아오는 방식 고려 중)

5. 품목 / 식별 검색 기능 개발

• 이름 검색이 아닌 제조사, 약품명 등 으로 찾을 수 있는 품목 검색으로 개발
• 3~4번과 동일한 브랜치에서 작업 진행
• 해당 작업 완료 후 애플리케이션 배포

6. 구글 광고 개제

7. IOS 출시

• 구글 광고 가능 여부 확인 필요

8. 애플리케이션에 딥러닝 탑재

• 서버리스 비용에 따라 후순위

[YongSiHun]

예상 비용 계산이 필요해 보입니다

init-info API (Cloud Functions)

프리티어

• 월 200만건 요청 (초과 시 100만건 당 4달러)
• 월 CPU 1Ghz의 속도로 1초간 사용했을 때 20만 초 (초과 시 1만초 당 0.1667 달러)
• 월 메모리 1GB로 1초 기준 40만 초 (초과 시 1만 초 당 0.1667 달러)
• 아웃바운드 5GB까지 무료

예상 사용량

• 200만건 이하

• 단순 스위칭 함수이기 때문에 메모리 및 CPU 점유율이 극히 낮아 (byte 수준) 프리티어 내 사용가눙

  deep learning (Cloud Run)

  프리티어

• 월 200만 건 요청 (초과에 대한 내용 없음. cpu 및 메모리 사용량으로만 측정하는 것으로 예상)
• 월 CPU 1Ghz의 속도로 1초간 사용했을 때 20만 초 (초과 시 1만초 당 0.18 달러)
• 월 메모리 1GB로 1초 기준 45만 초 (초과 시 1만 초 당 0.2 달러)
• 아웃바운드 (정보 없음)

예상 사용량

• 현재 요청 당 4~7초 가량 소요 (1vCPU 및 1GB 램 사용 중)
  • 1만 번의 request 시 중위 값 55만 초 사용 예상 (프리티어에서 10만 초 초과로 약 2달러 과금)
  • 최악의 상황 고려 시 70만 초 예상 (프리티어에서 25만 초 초과로 4.5달러 과금)

비고

구글에서 제공하는 가격 정보로 대략적인 예측을 하였으나,
딥러닝 서버의 경우 실제 사용 시 더 많은 요금이 부과될 수 있을 것으로 보입니다.
IaaS를 사용하는 것보다는 저렴하게 나올 것으로 보이나, 실제 운영 후에 판단해봐야 할 것 같습니다.
실제 운영 후 구글 광고 수익으로 커버가 가능한지 확인하여 애플리케이션 딥러닝 탑재에 대해 고려하면 될 듯 합니다

[YongSiHun]

현황 정리

• 애플리케이션과 서버리스 연동을 위한 작업 모두 완료
  • 서버리스 클라이언트 (애플리케이션 초기정보, 딥러닝 서버, 리소스 다운로드)
  • 애플리케이션 CICD
  • 리소스 생성기

백엔드 서버리스화 완료로 이슈 close 처리