[스프린트 #4] define ML <-> Server protocol (JSON schema)

[hojunee]

기능 Issue

Contents

본 스프린트는 ML서버와 App서버 간의 통신을 위해서 JSON spec 결정 및 더미데이터를 바탕으로 한 구현을 진행합니다.

핵심 작업사항

1. JSON spec을 정의합니다.
2. dev 서버의 MongoDB에 더미데이터를 바탕으로 저장하는 prototype을 생성합니다.

진행사항 체크리스트

1. 핵심 작업사항에 대한 Git Issue 생성 후 첫 PR 게시 (-> #STRW-31)

   • Code 변경점은 아니기때문에 PR은 생성하지 않았습니다.
   • [x] @beeetea

2. Issue에 상황별 JSON spec을 정의합니다.

   • [x] @beeetea

3. JSON spec를 리뷰받습니다.

   • [x] @rxdcxdrnine

4. MongoDB에 더미데이터를 바탕으로 interaction을 구현합니다.

   • [x] @beeetea

5. 핵심 작업사항 마무리

   • [x] @beeetea

---

ML Server ↔ App Server Interaction

언제 데이터가 주고받아져야하는가?

(주말 → ) (아침 → 점심 → 저녁 → 밤) * 5

위에꺼 그림으로 그려서 넣자.

Usecase 정리

다음 tick의 가격이 온다 → 가격을 가공해서 front에 전달

• 누가 얼마를 얼만큼 샀다... 는 DB에서 이루어지는 중 → ML서버가 알 필요는 없음!

주말에 아이템을 사용한다 → 사용한 형태를 ML서버에 전달해서 이를 반영한다.

• 아이템 효과 발동의 주체는 Backend!
  • 단, 만약 주가에 직접/간접적인 영향을 주는 경우, ML에 데이터를 전달

---

밤/주말 -> 새벽

• 주식의 가격이 변동하지 않음
• 기관에게는 "정보"가 와야함. → 주는 대상을 backend에서 처리해야할듯?
  • 정보는 bool type → backend에서 호재/악재 메시지 랜덤으로 뽑아서 주는 방식으로 해야할듯.
• ML서버는 다음 학습과정 전 아이템에 의한 직접적 가격 변동값을 App Server로부터 전달받아서 반영.

Server → ML

// JSON spec example for payload of req -> ML Server
{
    "game_id": "X13B6F"
    "event": {
        "00504":  2000 // 직접적 변동이 2천원
            ...
    }
}

---

새벽 -> 아침

• 주식의 가격이 변동

ML → Server

• "game_id": str(6)
• "stock" : {"ticker" : {"previous_price": int, "current_price": int, "info": enum(0, 1)}, ...}
• "info" schema에 대한 정보:
  • enum(0) : 악재(Bad News)
  • enum(1) : 호재(Good News)

// JSON spec example for renewal of price
{
    "game_id": "X13B6F"
    "stock": {
            "00504": {
                "previous_price": 57400,
                "current_price": [58600, 58000, 57000],
                                "info": 1
            },
            ...
        }
    ],
}

• Expected Obstacles?
  • 상장폐지라면?
    • stock["ticker"] = -1로 두면 될듯.
  • 첫 주말이라면?
    • "previous_price" == "current_price"로 보내면 될듯.
  • 주가 데이터를 실시간으로 emit하는 방식? 아니면 db에는 누적 저장?
    • 저장해놓는게 좋을 것 같음. 다만 참조할 일은 딱히 없을지도?

---

Proposal : Item Code

• 아이템 코드를 encoding할 필요가 있어보임: ex - 1034
• 각 자리수는 이런 의미를 가져야함:
  • 아이템 효과의 대상의 개수가 one? many? all?
  • 아이템 효과의 대상이 participant? stock? info?
  • 등등...
• 아이템의 클래스화, 그리고 이것의 메서드를 Sprint V에 집중적으로 해야할듯 (ㅠㅠ)
• 아이템의 디테일한 로직적 구현은 switch-case로 해야할거같음

---

Question:

각 상황에 맞게 오는 field, 즉 필요한 필드가 다른 상황

• flag를 하나 도입하고, 이에 맞게 backend에서 처리? (null 포함)
• 각 상황에 맞는 데이터를 그때그때마다 return? (null이 낄 틈이 없음)

주말→아침 state를 구분해야하는가?

TO-DO:

매수세/매도세 반영

• raw data에서도 없기에 이는 backlog로 두는 중

관련 링크

• TBD

[rxdcxdrnine]

아이템 사용

매주 주말 혹은 매일 밤마다 아이템 사용을 위한 요청

게임 시작 → 주말 → 새벽 → 아침 → 점심 → 저녁 → 밤 → 새벽 → 아침 → ...

request requirements

• gameId
• time (week ,day)
• item

각 Client 가 새벽 이전의 밤 에 item 을 사용하며, 사용 시 gameId, time, item 을 payload 에 담아 요청 시 App Server 에서 client 마다 item 을 DB 에 저장

request body

{
  "gameId": "ABC123",
  "playerId": "universally-unique-identifier-123"
  "week": 0,
  "day": 1,
  "item": {
    "id": "1034",
    "type": "player",
    "target": "universally-unique-identifier-456"
  } 
}

주가 생성 요청

게임 시작 후 첫 주말 이후 매일 새벽 시작에 다음 날의 아침/점심/저녁의 주가 생성을 위한 요청 게임 시작 → 주말 → 새벽 → 아침 → 점심 → 저녁 → 밤 → 새벽 → 아침 → ...

Web Client ←→ App Server

request requirements

• gameId
• time (week, day)

새벽 시작 에 host (방장) 가 time request 을 보내면, DB 에 접근하여 해당 gameId 와 time 으로 새벽 이전의 각 client 가 밤 에 사용한 item list 를 fetch

host 는 이전의 time request 와 마찬가지로 gameId 와 time 만 payload 에 담아 요청

request body

{
  "gameId": "ABC123",
  "week": 1,
  "day": 1
}

App Server ←→ ML Server

request requirements

• gameId
• time (week, day)
• previous price
• trading volume
• items
• events

ML 서버에서 요청된 time 에 해당하는 current price 를 생성하기 위해, DB 에 접근하여 해당 time 이전의 previous price 를 fetch 필요

마찬가지로 DB 에 접근하여 현재 time 에 직전 일자의 trade 를 fetch 하여, 직전 일자의 trading volume 을 합산 필요

host 가 요청 시 payload 에 담긴 gameId 와 time 을 바탕으로 DB 에 접근하여 item list 를 fetch 하고 App Server 의 아이템 처리 로직을 수행 item list 를 ML Server 에서 주가 생성 시 사용할 items 와 events 배열로 mapping

• items 는 주가 생성에 간접적인 영향 을 미치는 아이템으로, 모델 입력 시에 사용할 데이터
• events 는 주가 생성에 직접적인 영향 을 미치는 아이템으로, 모델 출력 후에 사용할 데이터

→ 요청해야시 필요한 데이터는 gameId, time 외에 items 와 events 뿐이며, previous price 와 trading volume 은 ML 서버에서 DB 로 fetch 하여 사용 (App Server 와 ML Server 간 payload 를 줄이기 위한 목적)

** items 도 DB 에서 fetch 할 수 있는데, 왜 previous price 와 trading volume 만 DB 에서 fetch 하고 items 는 App Server 로부터 요청 시 payload 로 받는지? → items 는 App Server 내의 아이템 처리 로직을 실행해야하기 때문

request body

{
  "gameId" : "X13B6F",
  "week": 1,
  "day": 1,
  "items": ["1034"],
  "events": {
    "00504": 2000
    }
}

response requirements

• gameId
• time

gameId 와 time 을 바탕으로 DB 에 접근하여, 이전 날짜에 생성된 주가와 현재 날짜에 생성된 주가를 비교하여 기관에게 정보로 제공할 예정

response body

{
  "gameId": "ABC123",
  "week": 1,
  "day": 1
}

주가 가져오기

게임 시작 후 첫 주말 이후 매일 아침 시작에 다음 날의 아침/점심/저녁의 주가 생성을 위한 요청 게임 시작 → 주말 → 새벽 → 아침 → 점심 → 저녁 → 밤 → 새벽 → 아침 → ...

request requirements

• gameId
• time

host 는 이전의 time request 와 마찬가지로 gameId 와 time 만 payload 에 담아 요청

request body

{
  "gameId": "ABC123",
  "week": 1,
  "day": 1
}

response requirements

• stock

해당 일자의 stock 데이터 응답 필요

response body

{
  "00504": [100, 200, 300],
  "05930": [300, 200, 100],
  "05380": [100, 200, 300],
}

[hojunee]

조금 더 구체화된 부분이 있어 좋네요. :) 위 내용을 보면서 정리한 질문 보내드립니다:

아이템 사용

• req body에 "누가" 썼는지는 표시 안해도 될까요? (emit 하는 과정에서 자동적으로 노출되는 부분인지?)
• item은 복합데이터야할 것 같아요. 현재와 같이 고유번호 뿐만 아니라 대상이 누구인지 등도 함께 올 필요가 있을 것 같습니다.

주가 생성 요청 & 주가 가져오기

• req body spec이 동일한데 이는 w1d1인지 아닌지로 구분하는건가요?
• res json에서 해당 정보를 반환하는 이유는 ACK로서의 의미인가요?

주가 가져오기

• res json에서 key는 여러개일 수 있는건가요? (복수임을 표시할 필요가 있을듯)

[rxdcxdrnine]

조금 더 구체화된 부분이 있어 좋네요. :) 위 내용을 보면서 정리한 질문 보내드립니다:

아이템 사용

* req body에 "누가" 썼는지는 표시 안해도 될까요? (emit 하는 과정에서 자동적으로 노출되는 부분인지?)

* item은 복합데이터야할 것 같아요. 현재와 같이 고유번호 뿐만 아니라 대상이 누구인지 등도 함께 올 필요가 있을 것 같습니다.

주가 생성 요청 & 주가 가져오기

* req body spec이 동일한데 이는 w1d1인지 아닌지로 구분하는건가요?

* res json에서 해당 정보를 반환하는 이유는 ACK로서의 의미인가요?

주가 가져오기

* res json에서 key는 여러개일 수 있는건가요? (복수임을 표시할 필요가 있을듯)

아이템 사용

• req body 에 playerId 를 추가했습니다.
• item 을 복합데이터로 수정했습니다.

주가 생성 요청 & 주가 가져오기

• req body spec 은 item, event 를 제외하고는 동일합니다. 주가 생성 요청 시에 전달하는 gameId, time 에 주가를 생성하고, 주가 가져오기 요청 시에는 동일한 gameId, time 의 주가를 가져오기 때문에 gameId 와 time 이 같아야 합니다.
• res json 에서 ACK 로서 반환하기도 하지만, gameId, time 을 담아 반환하는 이유는 해당 게임 내의 기관에게 정보를 제공할 때 제공할 주가 데이터를 찾기 위함입니다.

주가 가져오기

• res json 에서 key 는 corpId 로 여러 개 일 수 있습니다. 복수로 표현하기 위해 다른 corpId 도 추가하였습니다.

[hojunee]

주가 가져오기

ML -> Server

AS-IS

{
  "00504": [100, 200, 300],
  "05930": [300, 200, 100],
  ...
}

TO-BE

{
 "00504": {
  "info": 1,
  "price": [100, 200, 300]
 },
 ...
}

• info : 다음 주가가 어떻게 될 지에 대한 정보(1: 긍정, 0: 부정)
• price : 다음 3 ticks에 대한 최종 주가 정보

[hojunee]

Sprint IV가 마무리되었기에 이 Issue는 close합니다. :)