antijob / neuro-parser

Other
3 stars 0 forks source link

Обновить модель Article для контроля редиректов и дубликатов #197

Closed SahDoum closed 3 weeks ago

SahDoum commented 1 month ago

Я бы добавил к статьям в модели еще

  1. Флаг is_redirect
  2. Source — откуда пришла ссылка
  3. redirect_url — куда редиректит
  4. original_url — дубликат какой статьи, если это дубликат

Ради чего:

Отсутствие перекачивания урлов-редиректов Всегда наглядно, чей дубликат

Что изменить

Кроме моделей надо прокинуть изменения в Fetcher, когда он натыкается на редирект

И в обработчик дубликатов, когда он натыкается на дубликат