slawekmikula / epguide

Projekt grabbera XMLTV oraz TXT dla polskich stacji telewizyjnych
http://slawekmikula.github.io/epguide
6 stars 5 forks source link

Generowanie pliku xml zostaje przerwane #11

Closed GoogleCodeExporter closed 9 years ago

GoogleCodeExporter commented 9 years ago
What steps will reproduce the problem?
~/tv/epguide-1.4.2/./epguide_run -p wpng -c
1,5,17,2,151,18,238,402,14,201,42,224,265,375,85,205,267,400,174,6,3,368,235,67,
356,186,355,92,216,361,16,73,70,455,407,416,417,418,392,420,421,439,458,441,436,
438,425
-f xmltv -w -o tv.xml

What is the expected output? What do you see instead?
Traceback (most recent call last):                                        

  File "/home/raknor/tv/epguide-1.4.2/./epguide_run", line 23, in <module>

    RunEpguide()                                                          

  File "/home/raknor/tv/epguide-1.4.2/./epguide_run", line 20, in
RunEpguide                                                                  
    epguide.Execute()                                                     

  File "/home/raknor/tv/epguide-1.4.2/epguide/epguide.py", line 46, in
Execute                                                                
    self.GetGuide()                                                       

  File "/home/raknor/tv/epguide-1.4.2/epguide/epguide.py", line 78, in
GetGuide                                                               
    guide = self.parser.GetGuide(day, channel)                            

  File "/home/raknor/tv/epguide-1.4.2/epguide/parsers/WpNgParser.py", line
276, in GetGuide                                                   
    eventDict = getter.GetEventList(date, channel_id)                     

  File "/home/raknor/tv/epguide-1.4.2/epguide/parsers/WpNgParser.py", line
85, in GetEventList                                                
    buf = urllib.urlopen (self.url).read()                                

  File "/usr/lib/python2.6/urllib.py", line 87, in urlopen                

    return opener.open(url)                                               

  File "/usr/lib/python2.6/urllib.py", line 206, in open                  

    return getattr(self, name)(url)                                       

  File "/usr/lib/python2.6/urllib.py", line 361, in open_http             

    return self.http_error(url, fp, errcode, errmsg, headers)             

  File "/usr/lib/python2.6/urllib.py", line 374, in http_error            

    result = method(url, fp, errcode, errmsg, headers)                    

  File "/usr/lib/python2.6/urllib.py", line 639, in http_error_302        

    data)                                                                 

  File "/usr/lib/python2.6/urllib.py", line 654, in redirect_internal     

    return self.open(newurl)                                              

  File "/usr/lib/python2.6/urllib.py", line 206, in open                  

    return getattr(self, name)(url)                                       

  File "/usr/lib/python2.6/urllib.py", line 345, in open_http             

    h.endheaders()                                                        

  File "/usr/lib/python2.6/httplib.py", line 892, in endheaders           

    self._send_output()                                                   

  File "/usr/lib/python2.6/httplib.py", line 764, in _send_output         

    self.send(msg)                                                        

  File "/usr/lib/python2.6/httplib.py", line 723, in send                 

    self.connect()                                                        

  File "/usr/lib/python2.6/httplib.py", line 704, in connect
    self.timeout)
  File "/usr/lib/python2.6/socket.py", line 514, in create_connection
    raise error, msg
IOError: [Errno socket error] [Errno 111] Connection refused

What version of the product are you using? On what operating system?
epguide 1.4.2, Kubuntu 9.10

Please provide any additional information below.
Powyższy problem pojawia się dość losowo. Nie potrafię powiedzieć w jaki
sposób wygenerować taki błąd za każdym razem.

Original issue reported on code.google.com by raknor7 on 27 Apr 2010 at 8:26

GoogleCodeExporter commented 9 years ago
Błąd jest spowodowany odrzuceniem połączenia z serwisu docelowego tj. 
wp.pl. Nie jest 
to błąd stricte programu. Może po prostu za dużo masz połączeń do hosta 
lub do innych 
(ściąganie czegoś itp.) tak, że urywa połączenie do serwisu. Sprawdzałem 
dzisiaj w 
dwóch lokalizacjach i w każdym przypadku poprawnie ściągał cały pakiet 
programów. 
Trzeba popracować nad siecią. Zamykam zgłoszenie.

Original comment by slawek.m...@gmail.com on 28 Apr 2010 at 12:56

GoogleCodeExporter commented 9 years ago
A, ile jednoczesnych połączeń jest generowanych?

Jeżeli tyle ile dałem kanałów do pobrania, to czy można to jakoś 
ograniczyć? -> Żeby
otwierał tylko np. 5 połączeń albo tyle ile sobie użytkownik życzy?

Original comment by raknor7 on 28 Apr 2010 at 4:48

GoogleCodeExporter commented 9 years ago
otwierane jest jedno połączenie w jednym momencie. Kod nie jest równoległy. 
Wszystko 
kanały->dni jest realizowane w kolejce i tylko jedno polączenie jest aktywne

Original comment by slawek.m...@gmail.com on 28 Apr 2010 at 7:20

GoogleCodeExporter commented 9 years ago
To może trafiam w momenty w których jest największy ruch i jest w programie 
zbyt
krótki czas oczekiwania aż strona (pobieranego kanału) odpowie?

Taka skromna prośba:
Udało by się zrobić tak, żeby opisy były pobierane te rozszerzone, a nie te
ścięte/przełamane, które są w ramówce? Albo dać możliwość wyboru, 
które opisy mają
być pobierane, krótkie lub pełne?

Original comment by raknor7 on 28 Apr 2010 at 8:33

GoogleCodeExporter commented 9 years ago
można zmieniać timeout, tylko nie bardzo to zmieni. Komunikat ze strony wp.pl 
to 
"połączenie odrzucono". Niestety wg. mnie lepiej uruchomić skrypt ponownie, 
niż dawać 
wewnętrzne pętle odczytu.

Co do rozszerzonych opisów to niestety to nowy "feature" wersji tv.wp.pl, a 
wersja 
"do druku" zniknęła. Na stronach listy programów są ucięte opisy. Trzeba 
by ściągać 
dla każdej audycji osobną stronę html i ją parsować - strasznie to 
wydłuży czas 
ściągania kanałów. IMHO musi tak na razie zostać dla WP.PL. Można 
spróbować innego 
dostawcy (teleman)

Original comment by slawek.m...@gmail.com on 3 May 2010 at 12:35

GoogleCodeExporter commented 9 years ago
To może póki co stosować "więcej", który będzie linkiem by sobie 
doczytać opis?

Original comment by raknor7 on 9 May 2010 at 8:16