backup to AWS s3 or GCS

[carolfly86]

Hi, does it support backup to S3 or GCS?

[gsmolk]

Not yet, but it`s on the TODO list.

[Aytuar]

Ну когда же будет? ((( Разве трудно вместо локальной системы делать бэкап на S3 как сделано например в wal-g.

[gsmolk]

Ну вообще довольно нетривиально, а учитывая кол-во фич, которое уже есть, которые теперь должны также работать на совсем другой сторадже, работы отмеряно немало. Так-то работа идет потихоньку, @alubennikova уже запилила прототип. Я думаю, что в 2.5 мы S3 таки добавим.

[Aytuar]

Отлично!

[solo-untld]

Каковы прогнозы на появление S3 стораджей?:) полтора года прошло, да и 2.5 уже вышла)

[Burus]

Добрый день. Проектируем решение, в этом году будет анонс. Можете описать нюансы характеристик и режимы работы утилиты пробэкап которые вы используете в связке с s3? мы сейчас для тестирования именно под публичные облачные сервисы собираем требования на тестовые сценарии.

[Aytuar]

Здравствуйте. Да вроде всё стандартно. Необходима поддержка обычного протокола S3. Пример настроек которые хотелось бы видеть есть у wal-g. Алгоритм сжатия, потоки, аутентификация в S3, возможность указать кол-во попыток при недоступности сервиса, таймауты. Обязательно корректное обработка ошибок, таких как 5хх 4хх или вовсе отсутствия соединения через https/http Корректное логирование операций в формате postgres. То есть чтобы приложение считывало настройки формата логирования из GUC и в соответсвии с этим формировало вывод в лог. А то у wal-g с этим всё плохо. В качестве поддерживамых хранилищ - minio, seaweed.

[solo-untld]

Никаких хитрых сценариев и прочего. Снятый бэкап хочется хранить в облаке, а не на соседней вм или диске. Нужно сжатие + шифрование. И все что описал коллега выше. Мы пользуемся azure, хочется его поддержку.

[uspen]

GCS please!

[glushakov]

Я правильно понял, что ожидаемая многими фича по поддерже s3 доступна только в "Enterprise" версии pg_probackup? В комьюнити версию она приедет когда-нибудь?

[solo-untld]

А у probackup есть enterprise версия разве? Инструмент полностью бесплатный, на сколько известно, просто не поддерживает удаленные хранилища типа S3, GCS и тд. SMB вероятно пока максимально удаленное хранилище. Для реализации такой функции вероятно потребуется как минимум придумывать механизмы сжатия данных в блоки. Т.к. пушить 16мб файлы пачками в несколько сотен, а то и тысяч, за раз для s3 оч. плохо, с точки зрения производительности.

[strafer]

Для начала было бы неплохо хотя бы загрузку резервных копий обеспечить без использования внешних средств силами самой утилиты, а загрузку вэлов можно и позже реализовать, да и не во всех случаях их в S3 нужно грузить.

[glushakov]

В релиз нотах к PG Pro EE: Выпущено приложение версии 2.6 Enterprise. Эта версия pg_probackup обладает следующими отличиями от предыдущей: ... Добавлена поддержка Simple Storage Service (S3) для хранения данных в частных облачных хранилищах. Интерфейс S3 был протестирован с объектным хранилищем MinIO и хранилищем VK Cloud. Обратите внимание, что pg_probackup обеспечивает полную обработку журналов интерфейса S3.

https://postgrespro.ru/docs/enterprise/15/release-proee-15-1-1

[solo-untld]

В релиз нотах к PG Pro EE: Выпущено приложение версии 2.6 Enterprise. Эта версия pg_probackup обладает следующими отличиями от предыдущей: ... Добавлена поддержка Simple Storage Service (S3) для хранения данных в частных облачных хранилищах. Интерфейс S3 был протестирован с объектным хранилищем MinIO и хранилищем VK Cloud. Обратите внимание, что pg_probackup обеспечивает полную обработку журналов интерфейса S3.

https://postgrespro.ru/docs/enterprise/15/release-proee-15-1-1

Не на столько пристально слежу за обновлениями. Не знал что появилась версия 2.6

[Burus]

Коллеги, добрый день!

pg_probackup будет выпускаться в двух редакциях начиная с версии 2.6.0:

• Enterprise c поддержкой S3 & CFS
• Cummunity версия с улучшением ядра утилиты I/O и поддержкой различных алгоритмов компрессии

Новая pg_probackup модульная, поэтому мы можем выпускать две версии. Для разработчиков появляется возможность делать свои модули. S3 в community версии может появиться в будущих релизах.