python web framework 신규 기술 스택 익히기 및 개념 복습

[yeomko22]

TODO

• [x] fast API 강의 듣고 개념 정리하기
• [x] uvicorn 개념 정리하기
• [x] gunicorn 개념 정리하기
• [x] flask + gunicorn vs fastAPI + uvicorn 비교하기
• [x] WSGI와 ASGI 비교하기

[yeomko22]

pydantic

• python annotation으로 data validation, settings management를 제공

• model class를 만들고 그 안에 멤버 변수들에 타입 검사를 제공한다.

  class User(BaseModel):
  id: int
  name = 'John Doe'
  signup_ts: Optional[datetime] = None
  friends: List[int] = []

• id처럼 타입만 붙어있으면 required field라는 의미이다. 여기에 문자열, 바이트, 숫자 등이 오면 int로 변환해버린다. 변환 불가시에는 exception을 띄워버린다.

• name의 경우에는 기본값이 주어진 string 변수이다.

• signup_ts는 optional 하지만 기본값으로 None을 갖는다.

• friends는 int list 타입을 갖는다. 그 외의 타입이 전달될 경우 int로 변환 가능하면 변환시킨다.

pydantic 장점

• IDE와 궁합이 좋다.
• data validation과 system setting loading에 사용이 가능하다. (dual use)
• 빠르다.
• 복잡한 자료구조의 validation을 수행할 수 있다.
• 확장 가능하다.
• dataclass를 덧붙일 수 있다. (아직 어떤 의미인지 모르겠음)

[yeomko22]

Starlette

• 가벼운 ASGI framework로 고성능 asyncio service를 만드는데 좋다.

  
  from starlette.applications import Starlette
  from starlette.responses import JSONResponse
  from starlette.routing import Route

async def homepage(request): return JSONResponse({'hello': 'world'})

app = Starlette(debug=True, routes=[ Route('/', homepage), ])

~~~bash
$ uvicorn example:app

• testclient가 필요할 경우엔 requests를 사용
• template로는 jinja2 사용
• parsing이 필요할 경우 python-multipart 사용
• session middleware가 필요할 경우 itsdangerous 사용
• schemaGenterator 필요 시 pyyaml 사용

Framework or Toolkit

• starlette은 그 자체로 framework로 사용해도 좋고, ASGI toolkit으로 사용해도 좋다.
• uvicorn + starlette은 성능이 좋다.
• 만일 high throughput을 처리하고자 한다면 gunicorn의 uvicorn worker를 사용해라
• CPU 코어 당 하나 혹은 두개의 워커를 두는게 효과적이다.
• access logging은 disable하는 것이 좋다.

$ gunicorn -w 4 -k uvicorn.workers.UvicornWorker --log-level warning example:app

[yeomko22]

Uvicorn

• lightning-fast ASGI server
• uvloop과 httptools를 사용한다.

[yeomko22]

ASGI

• WSGI의 single synchronous callable 한계점을 극복하기 위한 인터페이스
• synchronous, asynchronous 모두 호환 가능함

WSGI의 문제점

• single synchronous callable하다. 이는 long-lived connection을 허용하지 않는다.
• 만일 이를 callable asynchronus하게 만들었다 하더라고 여전히 request를 제공하는데 single path만 갖는다. 따라서 multiple incoming events가 들어올 경우 trigger 하지 못한다.

구현체

• 웹 서버: daphne, uvicorn, hypercorn
• 웹 어플리케이션: django channel, fastAPI, quart, starlette, rpc.py

[yeomko22]

WSGI vs ASGI

• wsgi는 각 요청을 동기 방식으로 처리한다.
• 그리고 wsgi 서버는 여러 워커를 두어서 동시에 여러 요청을 처리할 수 있도록 서버를 구성한다.
• gunicorn이 wsgi 서버의 구현체이다.
• 권장되는 워커의 수는 CPU 코어 수 x 2 + 1 이다.

• 반면에 ASGI에서는 하나의 요청을 처리하기 위한 작업이 비동기적으로 처리가 된다.
• 즉, 동시에 여러 개의 작업을 진행한다. parallel의 개념은 아니고 concurrency의 개념이다.
• asgi는 io bound에 적합하다. cpu bound 작업의 경우에는 wsgi가 적합하다. 그러나 보통의 API 서버는 cpu bound한 작업을 수행하지 않기 때문에 asgi 일반적으로 더 적합해보인다.