eubinecto
commented
4 years ago 이거 멀티 프로세싱 로직을 만들 때.. 멀티프로세싱 코드 로직이 재사용이 가능하도록 디자인을 해볼 수는 없을까?
어떤 경우든
- list of video ids
- 각 id에 대하여 dl_video를 호출하는 상황이라면, 분명 시간이 많이 걸리는데 말이지.
이걸
process_func을 파라미터로 둔다던지 해서, 다른 상황에서도 재사용이 가능하도록 만들 수는 없을까?
motivation
굳이 비디오를 나중에 한 곳으로 모으지 말고.. 그냥 각 프로세스에서 인덱싱까지 끝내면 되잖아?
처리를 한다음에 모아서 하려고 하니 그렇게 문제가 발생하지. 그리고 채널에 영상이 무지막지하게 많으면, 분명 bottle neck 될 것임
대안
진작에 이렇게 했으면 될 것을!!
에어플로우와의 연동
일단 로직을 이렇게라도 짜놓으면, 에어플로우에 맞게 코드를 리팩토링하는 것은 그렇게 어렵지 않을것!