froOzzy / pg_stage

Anonymization of data in pg_dump
MIT License
9 stars 1 forks source link

Использование дат замедляет обфускацию #40

Closed froOzzy closed 5 months ago

froOzzy commented 5 months ago

Фидбек от пользователя:

Передаю замедления по полям:

    past_date
    future_date
    MUTATION_KWARGS: {'start_date': '-80years'}

Мы отключили эти обфускации и стало заметно быстрее.
Это не срочно, низкоприоритетно, мы просто сделаем пустые поля для дат.
Замеряли с ними (было около 5 часов), закомментировал миграции по этим полям и стало быстрее.

Так же генерация уникальных значений со временем так же начинает замедлять процесс.
froOzzy commented 5 months ago

Для ускорения предлагаю попробовать бибилотеку https://mimesis.name/en/master/index.html, которая в 12 раз быстрее faker

froOzzy commented 5 months ago