WebSpider etap II - Githubissues

maniekstasz / OfferSeeker

Other

0 stars 0 forks source link

WebSpider etap II #22

Closed konik32 closed 10 years ago

konik32 commented 10 years ago

Moduł powinien:

zwracać określoną liczbę linków w każdej z kategorii np: crawl(gumtree.pl, 100) i zwraca seta w, którym znajduje się 100 x liczba kategorii na stronie(mieszkania, działki, samochody) linkami do ogłoszeń, ewentualnie jeśli mu się uzbiera 1000 ogłoszeń powinien wywołać zapis do bazy
ignorować linki z paginacją tzn nie powinien ich zapisywać do bazy np http://www.gumtree.pl/fp-agd/c9366?Page=2

gkostalkowicz commented 10 years ago

Na razie zostawiam to dla @marcibak :) Na boku-nie wiem czy uda się to zrobić, bo tak jak mówiłem z tego robi się inteligentny crawler przystosowany do każdej strony.

konik32 commented 10 years ago

Co do drugiego punktu, to jeśli pageprocessor będzie działał poprawnie to mogę sprawdzać czy strona została odwiedzona tylko w tabelce z potwierdzonymi ogłoszeniami