Kim-Yul
commented
9 months ago 현재 실행 중인 실험 준비 과정(멀티 스팟 인스턴스 안정성 실험 준비)과 관련하여 로그 추적
현 이슈에서는 짧게 멀티 스팟 sps 실험이라고 잠시 부르겠습니다. (실험의 이름이 명확하지 않아 명명 되는대로 바꿔 부르겠습니다.) 현재 daily instance usage report 를 모니터링 하던 와중, ap-south-1 리전에서 에러가 발생하였고, 이 부분을 추적하였습니다. 실험과 관련된 오류이기에 이곳에서 트래픽하는 것이 옳다고 생각하여 우선 이곳에서 진행하겠습니다.
멀티 스팟 sps 실험 과정 중 ap-south-1 리전에서는 총 2번의 인스턴스 실행이 있었으며 각각 개수는 6개와 50개입니다.
그 중 에러와 관련이 있는 것은 스팟 50개 요청입니다. 스팟 50개를 한 번에 요청할 시 리포트에서 인스턴스 아이디를 가져오는 항목에 다음과 같은 내용이 생성됩니다.
기존에는 인스턴스 아이디가 있는 일반적인 로그는 다음과 같습니다.
차이점을 확인해보시면, 50개의 요청이 너무 많이 인스턴스 아이디를 모두 기록하기에 사이즈가 너무 크다는 것이 이유로 responseElements too large 와 함께 인스턴스 아이디를 수집할 수 없습니다. 이에 현재 슬랙에서는 인스턴스 아이디를 읽기 위해 확인하는 instancesSet 을 확인할 수 없어 일부의 사용량만 기록된 채 다음 리전으로 넘어간 것을 확인할 수 있습니다.
50개의 인스턴스는 실제 run -> terminate 되어 정보를 수집하였다고 하여 해당 정보를 확인하기 위해 로그를 추적하였고, DescribeSpotInstanceRequests 이벤트를 통해 50개의 인스턴스의 스팟 요청을 확인할 수 있었습니다.
즉, Run 이벤트에서 사이즈가 커 인스턴스 아이디를 수집하진 않았지만, 정상적으로 스팟 요청이 들어갔고 이후 Terminate 까지 된 것을 확인하였습니다.
DescribeSpotInstanceRequests 이벤트의 경우 RunInstances 이벤트 1초 후에 실행되었으며 모두 같은 시간대로 로그가 기록되어 있습니다. 또한, RunInstances 이벤트에서 특정 값을 통해 스팟 요청을 몇 개 보냈는지 확인이 가능합니다.
다음은 50개의 스팟 요청을 보냈을 때의 로그와 6개의 스팟 요청을 보냈을 때의 로그입니다.
위 부분을 통해 스팟 로그 추적이 가능할 것으로 판단됩니다.
해당 이슈에서는 이 부분에 정확한 사용량 추적을 위해 스팟 요청 과정 탐색 -> 코드 구현 -> 모니터링 과정으로 진행하겠습니다.
우선 위의 에러 사항을 확인하였기에 같은 에러가 또 발생하지 않도록 예외처리 진행해두겠습니다. 이후 코드 구현 과정에서 예외처리한 부분을 실제 구동가능하도록 수정하겠습니다.
위 과정 모니터링 중에서 성규님 로그가 필요할 것으로 생각되어 매일 실행한 로그 전달 받아 분석 및 추적 진행하겠습니다!
이전에 #38 이슈를 이어서 스팟 인스턴스 사용과 관련한 전반적인 내용을 트래픽합니다.
스팟 인스턴스 사용량을 추적하기에 앞서, 살펴보아야 할 사항이 있으며 스팟 인스턴스 사용량 추적을 위해 스팟 리퀘스트의 로그를 확인해야 합니다. 연구실 내 DDD 실험이나 추가적으로 진행할 실험, Spot 사용 일반화 등을 고려하여 안정성 높은 리포트 제작을 위해 이 내용을 이 이슈에서 트래픽합니다.
현재 살펴볼 사항은 DDD 실험 (1월 31일 자)의 CloudTrail 로그와 현재 진행 중인 실험 모니터링입니다.