Репликация

[reybos]

Описание/Пошаговая инструкция выполнения домашнего задания:

• Настраиваем асинхронную репликацию.
• Выбираем 2 запроса на чтение (/user/get/{id} и /user/search из спецификации) и переносим их на чтение со слейва.
• Делаем нагрузочный тест по методам (/user/get/{id} и /user/search из спецификации), которые перевели на слейв до и после репликации. Замеряем нагрузку мастера (CPU, la, disc usage, memory usage).
• Настроить 2 слейва и 1 мастер.
• Включить потоковую репликацию.
• (Опционально) воспользоваться одним из кластерных расширения Postgres (например patroni).
• Настроить кворумную синхронную репликацию.
• Создать нагрузку на запись в любую тестовую таблицу. На стороне, которой нагружаем считать, сколько строк мы успешно записали.
• Убиваум одну из реплик (kill -9, docker stop) (видимо тут речь идет про убить мастер)
• Заканчиваем нагрузку на запись.
• Выбираем самый свежий слейв. Промоутим его до мастера. Переключаем на него второй слейв.
• Проверяем, есть ли потери транзакций.

Форма сдачи ДЗ

• Предоставить ссылку на исходный код (github, gitlab, etc)
• Предоставить докеризированное приложение, которое можно запустить при помощи docker-compose (может лежать рядом с исходным кодом) ИЛИ развернутое приложение, доступное извне ИЛИ инструкция по запуску
• Предоставить отчет в свободной форме о проделанное работе

[reybos]

Кластер настроен через связку haproxy + patroni + zookeeper + postgres Включена кворумная репликация с подтверждением от 1 хоста

Проведено нагрузочное тестирование с чтением с мастера, ниже потребление ресурсов контейнеров в этом режиме

Переведены запросы на чтение, при поиске пользователей, на реплики и проведено нагрузочное тестирование, ниже видно что вся нагрузка перешла на реплики

Для проверки потери транзакций воспользовался генерацией тестовых данных https://github.com/reybos/otus-highload-social-network-2024/blob/master/sn-data-loader/src/main/java/rey/bos/highload/sn/data/loader/DataLoader.java

после остановки мастера одна из реплик стала мастером, сравнив данные в новом мастере и реплике, потери транзакций не обнаружил