profcomff / dwh-pipelines

Графы работы с данными в Airflow
BSD 3-Clause "New" or "Revised" License
11 stars 0 forks source link

Добавить систему логирования всех изменений для базы данных dwh #40

Open Arzangulyan opened 1 year ago

Arzangulyan commented 1 year ago

ОПИСАНИЕ ЗАДАЧИ

1) Создать базу данных с логами всех изменений в структуре базы данных (можно создать отденьную папку в dwh-definitions, схема - STG_LOGGING) 2) Создать dag на проверку изменений в структуре базы данных/удалений и записей 3) При наличии изменений в базе данных - записать их в базу данных логирования (STG_LOGGING), продублировать их в читаемый формат (.log/.txt) 4) Отправлять данный файл + короткий отчет через тг бота