Network Architecture

[su3inni]

Network Architecture

서비스를 외부 혹은 내부에 제공하기 위해서 필요한 지원을 위한 설계

1. Load Balancing

Load : 요청을 처리하기 위해 시스템이 일하는 정도 > request / traffic LB를 위치시키고 LB 뒤에 서버를 연결시켜 부하를 분산 시키는 구조이다. Virtual IP : Load Balancer 의 IP

• Transport Layer : L4
  • TCP/IP 에서 알 수 있는 정보인 destination address IP 와 port 정보로 balancing
  • moduler 연산을 통해 하거나, RoundRobin , Random
• Application Layer : L7
  • packet 프로토콜을 보고 HTTP, SMTP를 보고.. balancing
  • 상위 레이어의 프로토콜을 보고 진행하는 방법

2. CDN : Contents Delivery Network

가장 가까운 곳에서 요청자가 데이터를 가져갈 수 있도록하는 솔루션이다. 인터넷은 Network 라우팅의 복잡성, bandwidth의 한계, latency등 여러 이유로 빠르지 않을 수 있다.

CDN을 사용하면..

• latency가 짧으며
  • hop 카운트가 적어서 routing 경로가 짧다.
• 대역폭이 분산된다.

원본데이터 Origin Server가 있고 Edge Server에 데이터를 받아온다.

[su3inni]

Network Programming

1. Socket Programming

• Socket 추상화된 IP+Port 나 데이터 I/O를 의미한다.

  File과 비슷한 맥락

  1. 열고
  2. 쓰고
  3. 닫고

• Client 측
  • socket - - - connect(Connection request)
• Server 측
  • socket - bind - listen - accept(Connection request)
  • socket 은 fd(file description)를 획득하는 단계
  • bind 는 IPv4주소와 Port를 연결하는 것

2. I/O Model

많은 I/O를 동시에 효율적으로 처리하기 위해서 I/O Model 필요

• Sync

  개발하기 쉽기 때문에 기본적으로 socket이 사용하는 방법이다.

  • Sync ( Blocking ) 방식으로 작동 accept 호출의 경우 client가 실제로 connect할 때 까지 block 된다.

    Socket API를 쓴다는 것은 커널에 요청을 보낸다는 것이고,
    커널에 요청을 보내는 것은 System Call 이다. 
    System Call은 결국 비용이다. 

  • 지정된 명령의 수행이 완료될 때 까지 반환되지 않는다.
  • Listen의 backlog에 들어가 있는 것을 순서대로 꺼내며 accept 받는 구조

• Async

• I/O Multiplexing I/O가 균등하게 발생하는 것이 아니기때문에 효율을 높이기 위해 쓰는 방법이다.

  • 한 연결에 여러 데이터를 동시에 전송하는 것
  • 여러 I/O를 동시에 처리하기 위한
  • 목적
    1. network 성능을 최대한으로 하기 위해 context switching을 줄이기 위해서
    2. I/O의 중요한 특징 : 모든 Input/Output은 균등하지 않다.
  • 방법
  • select: O(n) 관심있는 fd(socket)을 등록해서 kernel에 요청하고 기다리면 처리할 필요가 있는 fd들을 반환해주는 방법
  • epoll : O(1) kernel에 관심있는 fd(socket)을 등록해두고 해당 fd들에 처리 필요가 생기면 통지받는 모델 hashtable lookup

[su3inni]

Sync, Async, Blocking , Non-Blocking

Blocking / Non-Blocking

System Call을 호출했을 때 완료될 때 까지 대기하는지 아닌지에 따른 차이가 있다.

• Blocking : 완료될 때 까지 대기
• Non-Blocking : 완료되었을 때는 결과를 주고, 그렇지 않은 경우는 Error 를 반환 멀티 스레드를 사용하지 않고도 다른 일을 할 수 있는 장점이 있다.

  단, 멀티 스레드 환경에서 Non-blocking을 사용할 경우 CPU 사용량이 증가하므로 사용을 지양한다.

  • EWOULDBLOCK / EAGAIN 반환

Sync/Async

System Call을 호출한 후 반환될 때 결과가 준비되어있는지 아닌지를 기준으로 구분한다.

• Sync 반환 시점에 작업이 완료되어있어야한다.
• Async
  반환 시점에 작업이 완수되기를 기다리지 않고 별도의 방법으로 통지 받는다.

  EAgain이나 EWouldBlock이 오지 않는다.

  • Non-Blocking과 차이점 System Call 의 갯수가 다르고, System Call은 비용과 연관되어있다.

[su3inni]

Context Switching

System Call을 줄이고 Context Switching을 줄여야 하드웨어 효율을 높일 수 있다.