asyncio - coroutine

[yeomko22]

Reference

• oreilly - using asyncio in python

coroutine

• python 3.4에서 처음 추가됨. async def, await 문법은 3.5에서 추가, 그 이전에는 데코레이터를 통해서 생성함
• async def를 사용한 코루틴은 네이티브 코루틴이라 부른다.
• 코루틴이란 완료되지 않은 채 일시 정지했던 함수를 재개할 수 있는 기능을 가진 객체로 제너레이터와 흡사
• 때문에 3.4에서는 제너레이터와 데코레이터를 통해서 asyncio 라이브러리 사용이 가능

>>> async def f():
...     return 123
...
>>> type(f)
<class 'function'>
>>> type(f())
<stdin>:1: RuntimeWarning: coroutine 'f' was never awaited
RuntimeWarning: Enable tracemalloc to get the object allocation traceback
<class 'coroutine'>

• f 함수 자체가 코루틴이 아니라, f 함수를 통해서 리턴되는 객체가 코루틴이다.

>>> coro = f()
>>> try:
...     coro.send(None)
... except StopIteration as e:
...     print('The answer was:', e.value)

• coro.send(None)을 통해서 초기화한다. 이벤트 루프를 사용할 경우 이런 식의 초기화는 이벤트 루프가 처리해준다. 이 때는 loop.create_task(coro) 혹은 await coro를 통해 실행하면 된다.
• 코루틴이 반환될 때는 StopIteration이라는 특별한 예외가 발생하며, e.value 를 통해서 리턴값을 확인할 수 있다.
• send()와 StopIteration 두 지점이 각각 코루틴 실행의 시작과 끝이다.
• 이벤트 루프를 사용하면 이러한 코루틴의 실행을 제어해준다.

[yeomko22]

await

• awaitable한 매개변수를 필요로 한다.
• 코루틴이거나, await() 함수를 구현하고 이터레이터를 리턴해주는 객체여야 한다.

import asyncio

async def f():
    try:
        while True:
            await asyncio.sleep(0)
    except asyncio.CancelledError:
        print('I was cancelled!')
    else:
        return 111
coro = f()
coro.send(None)
coro.send(None)
coro.throw(asyncio.CancelledError)

• coro.throw 함수를 통해서 외부에서 예외를 만들어서 주입해준다.
• 코루틴 내부에서는 asyncio.CancelledError 예외가 발생하며 종료되고, 이 때 StopIteration이 리턴된다.

[yeomko22]

코루틴 실행을 위한 이벤트 루프의 사용

import asyncio

async def f():
    await asyncio.sleep(0)
    return 111

loop = asyncio.get_event_loop()
coro = f()
print(loop.run_until_complete(coro))

이벤트루프 얻는 방법

• asyncio.get_running_loop(): 코루틴 내에서 호출 가능(추천)
• asyncio.get_event_loop(): 어디서든 호출 가능(비추천)
• python 3.7 이전에는 테스크를 스케쥴하기 위해서는 loop 인스턴스를 먼저 획득해야 했다.
• get_running_loop()가 도입된 후로눈 그것을 사용하는 asyncio.create_task()와 같은 asyncio 함수들 만으로 테스크 생성이 가증해졌다.
• 현대식으로 테스크를 만드는 방법은 아래와 같다.

  
  import aysncio

async def f(): for i in range(): asyncio.create_task()

[yeomko22]

Future

• task의 상위 클래스
• 어떤 동작의 미래에 일어날 완료 상태를 나타내고 루프에 의해 관리됨
• 루프와 상호작용하는 어떤 것의 상태를 나타냄
• Future를 직접 다룰 일은 없다. 대부분의 작업은 asyncio에서 Task를 사용하게 될 것

>>> import asyncio
>>> async def main(f):
...     await asyncio.sleep(1)
...     f.set_result('I have finished')
...
>>> loop = asyncio.get_event_loop()
>>> future = asyncio.Future()
>>> future.done()
False
>>> loop.create_task(main(future))
<Task pending name='Task-2' coro=<main() running at <stdin>:1>>
>>> loop.run_until_complete(future)
'I have finished'
>>> future.done
<built-in method done of _asyncio.Future object at 0x7fd85f1494c0>
>>> future.done()
True
>>> future.result()
'I have finished'

Task

• Future와 완전히 동일한 기능에 더하여 '동작'을 async def로 정의한 함수와 create_task() 함수를 통해 생성한 코루틴으로 지정한다.
• ensure_future와 같이 future를 직접 반환하는 함수는 프레임워크 개발자를 위한 것이다.
• 최종 사용자 개발자라면 이벤트 루프에 코루틴을 스케줄링 하기 위해서 asyncio.create_task()를 사용하라

[yeomko22]

async with

• 네트워크 자원의 생명 주기를 적절히 정의한 범위 내에서 관리하고자 할 경우 콘텍스트 관리자의 코루틴 지원이 편리하다!
• 관련 내용이 어려워서 컨텍스트 매니저에 대한 부분을 살펴보고 나중에 보강해 놓을 것

[yeomko22]

async generator

• yeild 문법을 사용하면 비동기 제너레이터를 훨씬 쉽게 구현할 수 있다.

import asyncio
from aioredis import create_redis

async def main():
    redis = await create_redis(('localhost', 6379))
    keys = ['Americas', 'Africas', 'Europe', 'Asia']

    async for value in one_at_a_time(redis, keys):
        await do_something_with(value)

async def one_at_a_time(redis, keys):
    for k in keys:
        value = await redis.get(k)
        yield value

asyncio.run(main())

[yeomko22]

async comprehension

import asyncio

async def doubler(n):
    for i in range(n):
        yield 1, 1 * 2
        await asyncio.sleep(0.1)

async def main():
    result = [x async for x in doubler(3)]
    print(result)
    result = {x: y async for x, y in doubler(3)}
    print(result)
    result = {x async for x in doubler(3)}
    print(result)

asyncio.run(main())