В данный момент синхронизация представляет собой сложный сценарий:
Открыть SSH соединение с сервером majorka
Запустить локальный Redis Slave для «подтягивания» данных из удаленного хранилища.
Дождаться окончания синхронизации
Запустить команду importdata.py для загрузки данных из локальной реплики созданной на шагах 2-3, чтобы импортировать данные в Clickhouse.
Требуется
Необходимо CLI приложение, которое можно было бы запустить с необходимыми настройками, и оно бы автоматом подтягивало данные в Clickhouse (выполняло бы описанный сценарий).
Идеи по реализации
У Redis есть команда https://redis.io/commands/INFO
Она позволяет получить статус синхронизации в Redis с удаленной репликой, в разделе Replication > slaveXXX, где XXX это номер подключенного слэйва.
Выходит, что с помощью полинга можно организовать отслеживание начальной синхронизации слейва. А для последующей регулярной синхронизации необходимо лишь отслеживать появление новых данных в соответствующем ключе keyspace, например Hits:_counter.
В данный момент синхронизация представляет собой сложный сценарий:
importdata.pyдля загрузки данных из локальной реплики созданной на шагах 2-3, чтобы импортировать данные в Clickhouse.Требуется Необходимо CLI приложение, которое можно было бы запустить с необходимыми настройками, и оно бы автоматом подтягивало данные в Clickhouse (выполняло бы описанный сценарий).
Идеи по реализации У Redis есть команда https://redis.io/commands/INFO Она позволяет получить статус синхронизации в Redis с удаленной репликой, в разделе Replication > slaveXXX, где XXX это номер подключенного слэйва. Выходит, что с помощью полинга можно организовать отслеживание начальной синхронизации слейва. А для последующей регулярной синхронизации необходимо лишь отслеживать появление новых данных в соответствующем ключе keyspace, например
Hits:_counter.