minskpython / talks

Issues этого проекта используются как заявки докладов на митап. Если вы хотите сделать какое-то общее предложение (не заявку на доклад), то добавляйте его пожалуйста в отдельный репозиторий — https://github.com/minskpython/ideas-and-proposals/issues
1 stars 1 forks source link

Stairs. #29

Closed electronick1 closed 4 years ago

electronick1 commented 5 years ago

В своем докладе я хочу сфокусироваться на задачах которые могут решать data-pipelines, показать сильные и слабые стороны данного подхода, рассказать как я попытался устранить эти слабые стороны в библиотеке stairs и показать почему эта концепция заслуживает внимания python разработчика

Stairs - это framework который позволяет максимально легко создавать data pipelines различной сложности, и выполнять параллельные распределенные вычисления.

Одна из основных идей заключается в том, чтобы сфокусировать работу программиста только на обработке данных, а все процессы связанные с распределенными вычислениями можно будет доверить stairs. Кроме распределенности stairs позволяет легко понимать и представлять весь поток обработки данных - это особенно важно когда тебе нужно протестировать большое количество подходов (например при обучении ML моделей)

shurph commented 5 years ago

Выступление состоялось 19.03.2019. Видео опубликовано: 26 мар. 2019 г. Видео: https://www.youtube.com/watch?v=8hazPUWTK94&list=PLjiAaL1HtGPaMPlrZGCDzUCTsVAyTbHJ4&index=2