WebSpider etap II - Githubissues

maniekstasz / OfferSeeker

Other

0 stars 0 forks source link

WebSpider etap II #22

Closed konik32 closed 9 years ago

konik32 commented 9 years ago

Moduł powinien:

zwracać określoną liczbę linków w każdej z kategorii np: crawl(gumtree.pl, 100) i zwraca seta w, którym znajduje się 100 x liczba kategorii na stronie(mieszkania, działki, samochody) linkami do ogłoszeń, ewentualnie jeśli mu się uzbiera 1000 ogłoszeń powinien wywołać zapis do bazy
ignorować linki z paginacją tzn nie powinien ich zapisywać do bazy np http://www.gumtree.pl/fp-agd/c9366?Page=2

gkostalkowicz commented 9 years ago

Na razie zostawiam to dla @marcibak :) Na boku-nie wiem czy uda się to zrobić, bo tak jak mówiłem z tego robi się inteligentny crawler przystosowany do każdej strony.

konik32 commented 9 years ago

Co do drugiego punktu, to jeśli pageprocessor będzie działał poprawnie to mogę sprawdzać czy strona została odwiedzona tylko w tabelce z potwierdzonymi ogłoszeniami