[product-analyzer] Select-score 배치 성능 개선

[tonykang22]

Select-score 배치 성능 개선

개요

• 기존의 Selenium WebDriver을 사용한 방식은 한계점이 존재했다.
  • 다수의 인스턴스 가용 시 서버 부하가 심하다.
  • 프론트 변경 시, 예외가 발생하게 된다.

  • 128

  • 90

• 이를 대체 하기 위해 API 호출 방식을 활용하기로 했다.
  • ForkJoinPool을 사용하여 호출하도록 한다.
  • 유사 방식 : #123
• 변경 이후, Select-score 배치의 병목은 외부 API 호출이 되었다.
  • ForkJoinPool을 적용함으로써 병목이 변경되었다.
  • 분당 15 개의 키워드에 대한 정보만을 가져올 수 있는 상황이다.
  • 각 IP 당
• NCP의 Cloud Functions를 통해 해소할 수 있을지 확인이 필요한 상황

Cloud Functions

Cloud Functions란?

• 별도의 서버 관리나 프로비저닝에 대한 부담 없이 원하는 비즈니스 로직을 간단하게 작성한 후 클라우드 환경에서 손쉽게 구현할 수 있도록 돕는 네이버 클라우드 플랫폼의 서버리스형 서비스라고 한다.
  • 클라우드 환경에서 코드가 실행된 만큼만 과금되기 때문에 효율적인 운영이 가능하며, 갑작스러운 요청에도 유연하게 대처할 수 있다는 장점이 있다.

Reference : https://guide.ncloud-docs.com/docs/cloudfunctions-overview

Idea

• Cloud Functions를 통해 외부 API 호출을 '병렬적'으로 수행하여 총 소요 시간을 감소시킬 수 있을 것이다.
  • Cloud Functions를 사용할 때, 각 호출마다 Public IP가 달라야한다.

Public IP Check

Java

• Cloud Functions - Java 사용법 참고
  • 웹에 직접 코드를 입력하는 다른 런타임과 달리 jar 파일을 업로드하는 방식이다.

이슈 발생

• Action이 올바르게 수행되지 않는 것을 확인
  • 주의 사항을 따라 google-gson을 Java CLASSPATH에 포함해 컴파일하고, 메인 클래스, Main 함수 명도 올바르게 기입했으나..
• uber(fat) jar 형태가 아니어서 발생한 문제로 파악
  • 외부 의존 라이브러리도 추가해서 다시 시험해볼 예정이다.

{
  "response": {
    "status": "action developer error",
    "result": {
      "error": "The action did not initialize and exited unexpectedly."
    }
  }
}

Python

• Public IP가 어떻게 다르게 할당 되는지 파악하는게 우선이므로 python으로 이후 진행
  • 코드가 수행되는 서버의 Public IP를 슬랙으로 받아보도록 간단한 코드 작성
• Cloud Functions는 트리거된 후 일정 시간 동안 재요청에 대비하여 대기한다고 한다.
  • 결과를 보면 해당 코드가 수행된 인스턴스가 재사용되는 것을 알 수 있다.
• Action을 Trigger하는 방식으로는 Basic을 사용했다.
  • API Gateway를 통해 Postman API 호출로 Action을 Trigger

import socket
import requests
import json

def send_slack_message(message):
  postResult = requests.post("https://hooks.slack.com/services/CLASSIFIED", json.dumps({"text":message}))

def main(arg):
  message = "Host Name " + socket.gethostname() + "IP Address(Internal) : " + socket.gethostbyname(socket.gethostname())
  send_slack_message(message)

private IP만 확인할 수 있었다. 짧은 시간 내에 수행된 결과로, 인스턴스를 식별하는 지표로 사용할 수 있었다.

• 실제 Select-score 배치 작업을 분할하여 담당하게 되면 수행하는데 시간이 깨나 소요될 것이다.
  • 매 작업이 추가될 때마다 새로운 인스턴스가 사용될 가능성이 높지 않을까 판단했다.
  • time.sleep(100)으로 100초간 블로킹하게 되면 다음 작업이 trigger 되었을 때, 새로운 인스턴스가 띄워지는지 확인할 수 있을거 같다고 판단했다.

import socket
import requests
import json
import time

def send_slack_message(message):
  postResult = requests.post("https://hooks.slack.com/services/CLASSIFIED", json.dumps({"text":message}))
  time.sleep(100)

def main(arg):
  message = "Host Name " + socket.gethostname() + "IP Address(Internal) : " + socket.gethostbyname(socket.gethostname())
  send_slack_message(message)

중간 결론

• Cloud Functions : Select-score 배치 성능 개선에 사용할 여지가 있다.
• But, 의도대로 동작시키기 위해서는
  • 구동한 인스턴스에서 작업 시간 + 블로킹 시간 = 15 분 간 다시 요청을 받아드리면 안된다.
  • 잠시 재워둬야한다...
  • Cloud Functions의 리소스 제한 사양 : Action이 실행될 수 있는 최대 시간 설정 가능 범위: 500~300000 (ms)
  • 5분 밖에 되지 않는다.
  • 이 부분에 대해서도 생각 필요..
• 그러려면,,
  • 요금을 살펴보면, 3 요소에 의해 과금이 이뤄진다.
  • 동시에 실행되는 인스턴스 수
  • 할당된 메모리
  • 실행 시간
  • 즉, 실행 시간이 길어져 요금은 조금 나올 수 있다는 의미!
  • 추후 요금량도 예측해볼 예정

[tonykang22]

이슈

• 특정 Action으로 수행되는 인스턴스에 부여할 수 있는 Public IP는 한 개가 최대치였다.
  • 연결된 VPC에서 trigger된 Action 코드가 인터넷에 접근하는 방식이기 때문이다.

• 194 의 방법을 사용하여, 8 개의 Public IP를 갖도록 했다.

  • 예상하는 대로 동작할 수 있게 되었다.