Możliwe że dałoby się znacznie przyspieszyć pobieranie danych, gdyby użyć multiprocessing do pobierania każdej strony w osobnym procesie. W mojej bazie jest ~650 filmów i to już trwa kilkadziesiąt sekund, a pełne przeładowanie bazy na 2000 pozycji pójdzie pewnie w minuty.
Trzeba się zastanowić, kto miałby tworzyć podprocesy (baza? API?), kto odpowiadać za kolejkowanie itp, no i oczywiście sprawdzić czy to rzeczywiście przynosi jakiekolwiek zyski.
Możliwe że dałoby się znacznie przyspieszyć pobieranie danych, gdyby użyć
multiprocessingdo pobierania każdej strony w osobnym procesie. W mojej bazie jest ~650 filmów i to już trwa kilkadziesiąt sekund, a pełne przeładowanie bazy na 2000 pozycji pójdzie pewnie w minuty.Trzeba się zastanowić, kto miałby tworzyć podprocesy (baza? API?), kto odpowiadać za kolejkowanie itp, no i oczywiście sprawdzić czy to rzeczywiście przynosi jakiekolwiek zyski.