search

boringType / fraud_detection

0 stars 0 forks source link

Antifraud system decomposition (system design) #3

Open boringType opened 1 year ago

boringType commented 1 year ago

Архитектура решения:

  1. Используем Kafka для сообщения с клиентом через HTTPS протокол;

  2. Antifrod API service получает сообщения потоковой обработки от Kafka через HTTPS протокол;

  3. Apache Spark (для обезличивания, шифрования, расчета и генерации признаков);

  4. Записываем полученные признаки, актуальные статистики в Feature-store;

  5. Вызываем ML модель для прогнозирования и получаем предсказания;

  6. Записываем логи с результами предсказания в s3 object-storage;

  7. Отправляем результаты в Kafka;

  8. Kafka возвращает результаты клиенту.

  9. Также необходимо рассмотреть переобучение модели из данных с обновленными данными и признаками из feature-stor.

  10. А также рассмотреть возможность обратной связи клиента по результатам.