andrzejbeletsky
commented
7 months ago Завантаження даних з API відбувається в декілька етапів. 1) завантаження з API і збереження сирих даних у файлах. тут вже реалізовано інкрементальне завантаження і звернення до API тільки для запиту модифікованих або нових даних з попереднього запуску завантаження. 2) зібрання раніш збережених сирих даних по усій сукупності файлів. для цього етапу також потрібно зробити інкрементальне опрацювання даних у зв'язку зі збільшенням кількості файлів і каталогів. 3) завантаження моделі даних в додаток з візуалізацією. наразі проблем зі швидкістю немає. просто свіжим оком передивитися, чи є очевидні місця прискорення.
Оскільки у нас наразі не дуже багато активних задач, @a-radik запропонував, аби @andrzejbeletsky попрацював над "оптимізацією завантаження і обробки даних". Мотивація для цього така, що "на початку щоб швидше видати результат і оскільки обсяг був невеликий деякі речі були зроблені нашвидкоруч і не зовсім оптимально".
Цей issue - для документації проблеми та рішення, аби ми краще розуміли і що саме було зроблено, і які lessons learned.
Потрібно описати
В чому саме полягає проблема, котру ми вирішуємо? (повільно завантажуються дані з АРІ чи на фронт для користувачів? що саме сповільнює обробку даних?) Якщо можна тут навести вимірювані показники, показати бодай даних, через котру щось працює не оптимально, або ж описати проблематичний етап процедури, це буде допоміжно
В який спосіб ми вирішуємо проблему? Які саме зміни застосовуються і чому? Як елементи моделі даних чи які етапи завантаження даних зазнають змін?
Що є результатом цих змін? Якщо є можливість навести вимірювані показники, показати модель даних після оптимізації, або ж описати основні зміни у процесі завантаження даних, це буде допоміжно.