분산 시스템에서 데이터 전달하는 방법과 트랜잭션 처리 방법

[SeokRae]

분산 시스템 기반의 환경에서 트랜잭션에 대한 고민을 하기 전에 데이터를 전달하는 방법론에 대해 어떤 것들이 있는지 확인해봐야 한다.

동기식 데이터 전달 방법

• Remote Procedure Call (RPC)
  • 원격 서버의 프로시저를 마치 로컬 프로시저처럼 호출하는 방식
  • 요청과 응답이 동기적으로 이루어짐
• REST API
  • HTTP 프로토콜을 기반으로 리소스 중심의 API를 설계하는 방식
  • 요청-응답 모델을 사용하여 클라이언트-서버 간 통신이 이루어짐

비동기식 데이터 전달 방법

• Message Queue
  • 메시지 생산자와 소비자를 분리하여 비동기적으로 메시지를 전달하는 방식
  • 대표적인 예로 Kafka, RabbitMQ 등이 있음
• Publish-Subscribe
  • 메시지 발행자가 토픽에 메시지를 발행하면, 해당 토픽을 구독한 소비자들이 메시지를 받아 처리하는 방식
  • 발행자와 구독자 간의 느슨한 결합을 제공함
• Event-Driven Architecture
  • 이벤트 발생 시 해당 이벤트를 처리하는 핸들러를 호출하는 방식
  • 마이크로서비스 아키텍처에서 많이 활용됨

데이터 전달 시 고려 사항

데이터 전달 시 고려해야 할 사항들은 분산 시스템의 핵심 특성인 CAP 정리(일관성, 가용성, 파티션 내성)와 밀접한 연관이 있다. 이 특성들은 데이터 전달 방식을 설계할 때 반드시 고려해야 할 요소들이다.

• 일관성 (Consistency)
  • 데이터 전달 시 모든 노드가 동일한 데이터를 가지고 있어야 한다는 것은 강한 일관성을 의미한다.
  • 그러나 이를 보장하기 위해서는 데이터 전달 시 동기화 오버헤드가 발생하고, 가용성이나 파티션 내성을 일부 포기해야 할 수 있다.
• 가용성 (Availability)
  • 시스템이 항상 요청에 응답할 수 있어야 한다는 것은 노드 간 데이터 전달이 원활해야 함을 의미한다.
  • 그러나 네트워크 단절이나 노드 장애 시에도 가용성을 유지하려면 일관성을 일부 포기해야 할 수 있다.
• 파티션 내성 (Partition Tolerance)
  • 네트워크 파티션이 발생해도 시스템이 정상 동작해야 한다는 것은 노드 간 데이터 전달이 항상 보장되지 않을 수 있음을 의미한다.
  • 이 경우 가용성을 유지하기 위해 일관성을 일부 포기하거나, 일관성을 유지하기 위해 가용성을 일부 포기해야 할 수 있다.
• 지연 시간 (Latency)
  • 데이터 전송에 걸리는 시간을 최소화해야 한다는 것은 노드 간 통신 오버헤드를 줄이고 효율적인 데이터 전달 방식을 선택해야 함을 의미한다.
  • 그러나 강한 일관성을 보장하기 위해서는 동기화 오버헤드로 인해 지연 시간이 증가할 수 있습니다.
• 확장성 (Scalability)
  • 시스템의 규모가 커져도 원활히 동작할 수 있어야 한다는 것은 데이터 전달 방식이 확장성을 고려해야 함을 의미한다.
  • 노드 수가 증가함에 따라 데이터 전달의 복잡도가 커지므로, 이를 효과적으로 관리할 수 있는 전략이 필요하다.

데이터 전달의 신뢰성과 효율성을 위한 방법

데이터 전송 프로토콜

• TCP: 신뢰성 있는 데이터 전송을 보장하지만 지연 시간이 증가할 수 있음
• UDP: 빠른 데이터 전송이 가능하지만 데이터 손실이 발생할 수 있음

  동기화 기법

• 분산 락 (Distributed Lock): 공유 자원에 대한 배타적 접근을 보장함
• 분산 트랜잭션 (Distributed Transaction): ACID 특성을 보장하는 트랜잭션 처리 기법

  트레이드오프와 선택

• CAP 정리에 따르면 일관성, 가용성, 파티션 내성 중 2가지만 보장 가능
• 시스템의 요구사항과 특성에 따라 적절한 트레이드오프 선택이 필요함