Создание очереди задач на основе Redis

[Kraysent]

Проблема: сейчас любая долгая операция (загрузка таблицы из CDS, далее будет кросс-идентификация) проводятся в том же потоке, что и обработка запроса пользователя. Это приводит к тому, что пользователь не может разорвать соединение и обязан дождаться, пока процесс закончится, чтобы получить ответ - это неправильно.

Потенциальное решение: поднять очередь Redis (https://python-rq.org/) и при запросе в API создать и положить в очередь задачу. Эта задача будет выполняться асинхронно в соседнем процессе при помощи worker-а. Она может писать в базу (перед создание worker-а можно установить соединение с базой при помощи https://python-rq.org/docs/workers/#custom-worker-classes. По мере выполнения задачи статус обновляется в базе, и если пользователь запрашивает статус задачи, API идёт в базу, выясняет его и отдаёт пользователю.

Видимо, нужно будет сделать таблицу задач и, скорее всего, таблицу pipeline-а обработки.

В рамках этой задачи хочется сделать таблицу задач, поднять Redis и сделать модуль для задач, откуда worker-ы смогут их подбирать.

Плюсы такого решения следующие:

• Не пишем на питоне велосипед со своей очередью задач и асинхронностью, с которой в питоне сложно.
• Потенциально можно объекты в таблицах связать с задачами, в рамках которых они были созданы, что позволит унести метаданные (время модификации, автор и прочее) в эту таблицу.

Минусы:

• потенциально сложное взаимодействие между процессами. Я пока не вижу, для чего оно может быть нужно, но если оно вдруг понадобится, то скорее всего самый простой метод будет через таблицу задач (но очень не хочется, чтобы задача лезла не в свою строчку в этой таблице).
• при разных задачах нужно будет правильно лочить строчки таблицы, чтобы мы не получили ситуацию, когда при двух параллельных кросс-идентификациях создавались лишние объекты, потому что в таблице не было лока на чтение.

[Kraysent]

Очень хочется в рамках этой же задачи в mermaid или https://draw.io или аналоге нарисовать и поддерживать диаграмму взаимодействия наших и внешних сервисов между собой (как то: API, worker-ы, Postgres, CDS, внешние большие каталоги и так далее), потому что система становистя относительно сложной и хочется иметь рисунок.

[Kraysent]

В качестве MVP хочется иметь следующее:

• ручку POST /api/v1/task, в которую передаётся имя задачи и параметры и которая её стартует.
• ручку GET /api/v1/task/status для получения статуса задачи.
• dummy задачу для, например, засыпания на N секунд. Её же можно переиспользовать для тестов.
• интеграционные тесты на успешное начало, завершение и фейл задачи.

После выполнения шагов выше можно сделать задачу которая получает доступ к БД и пишет в неё что-то.