search

michalpazur / sejm-votes

11 stars 1 forks source link

Nieaktualne dane #2

Open d-cichon opened 1 year ago

d-cichon commented 1 year ago

Jest jakaś szansa na powrót do projektu i zaktualizowanie go o najnowsze dane? Mógłbym jakoś przy tym pomóc?

d-cichon commented 1 year ago

summon @michalpazur

michalpazur commented 1 year ago

Powinienem w końcu porządnie postawić bazkę na swoim serwerze i będę mógł puścić skrypt, może zajmę się tym po obecnym posiedzeniu Sejmu (do 30 sierpnia) 🤔

d-cichon commented 9 months ago

Kurde, a może zrzucimy się na serwer, dorzucimy jakiś front i crona, który co jakiś czas to zescrapuje? Wydaje mi się, że coś takiego przydałoby się wszystkim.

michalpazur commented 9 months ago

@d-cichon VPSa mam postawionego, kwestia tego że przy scrapowaniu leci bardzo dużo requestów (liczba głosowań x liczba kół poselskich), więc kiedy próbowałem zescrapować całą poprzednią kadencję to cały czas leciały timeouty. Postaram się jednak niedługo dodać wsparcie dla wielu kadencji, zescrapować do końca IX kadencję i zacząć scrapować X kadencję, może faktycznie nawet jakiś front dopisać.

mobrembski commented 3 months ago

@michalpazur A może byłbyś w stanie podzielić się skryptem scrapera?

michalpazur commented 3 months ago

Cały kod scrapera głosowań jest dostępny w main.py 🤪

mobrembski commented 3 months ago

Cały kod scrapera głosowań jest dostępny w main.py 🤪

Aaa ok myślałem, że to nie jest ostatnia wersja. Dodali teraz captche z sugestią aby skorzystać z api.sejm.gov.pl Trzeba spróbować ;)

michalpazur commented 3 months ago

No nie wierzę, w końcu normalne REST API. Teraz sprawa stała się znacznie łatwiejsza 😋

mobrembski commented 3 months ago

Nawet chyba jet dostępny pakiet w pythonie do obsługi: https://pypi.org/project/sejmapi/