search

Cendres06 / Veil_Lifter

Mémoire et projet de module python servant à récupérer les textes de la branche francophone et à effectuer plusieurs opérations statistiques.
GNU General Public License v3.0
2 stars 0 forks source link

Erreur ponctuelle de connexion lors de la récupération de texte #4

Open Cendres06 opened 1 year ago

Cendres06 commented 1 year ago 
Exception has occurred: ChunkedEncodingError
("Connection broken: InvalidChunkLength(got length b'', 0 bytes read)", InvalidChunkLength(got length b'', 0 bytes read))
ValueError: invalid literal for int() with base 16: b''

During handling of the above exception, another exception occurred:

urllib3.exceptions.InvalidChunkLength: InvalidChunkLength(got length b'', 0 bytes read)

During handling of the above exception, another exception occurred:

urllib3.exceptions.ProtocolError: ("Connection broken: InvalidChunkLength(got length b'', 0 bytes read)", InvalidChunkLength(got length b'', 0 bytes read))

During handling of the above exception, another exception occurred:

  File "C:\Users\Perrine\Documents\Document\Scolaire\Master_Humanités_Numériques\M1\Codes_mémoire\Veil_Lifter\Veil_Lifter\scrapping_bs4.py", line 325, in recup_page
    ma_page = requests.get(lien)
  File "C:\Users\Perrine\Documents\Document\Scolaire\Master_Humanités_Numériques\M1\Codes_mémoire\Veil_Lifter\Veil_Lifter\scrapping_bs4.py", line 369, in recup_tags
    ma_page = recup_page(setup_lien(id_page))
  File "C:\Users\Perrine\Documents\Document\Scolaire\Master_Humanités_Numériques\M1\Codes_mémoire\Veil_Lifter\Veil_Lifter\scrapping_bs4.py", line 569, in ressources_de_travail
    liste_tags = recup_tags(id_page)
  File "C:\Users\Perrine\Documents\Document\Scolaire\Master_Humanités_Numériques\M1\Codes_mémoire\Veil_Lifter\Veil_Lifter\scrapping_bs4.py", line 839, in liste_textes_fr
    liste_textes_ok_fr = ressources_de_travail(liste_tags_language=['fr'], liste_tags_format=['conte','scp'],liste_tags_interdits=['expliqué','centre','annexe','fanart','aile-fr','aile-en','fragment','gazette-aleph','dans-les-coulisses'],liste_combinaisons_interdites=[('humour','scp')],debug=debug)
  File "C:\Users\Perrine\Documents\Document\Scolaire\Master_Humanités_Numériques\M1\Codes_mémoire\Veil_Lifter\Veil_Lifter\main.py", line 3, in <module>
    liste_textes_ok_fr = veil_lifter.liste_textes_fr(debug=True)
requests.exceptions.ChunkedEncodingError: ("Connection broken: InvalidChunkLength(got length b'', 0 bytes read)", InvalidChunkLength(got length b'', 0 bytes read))

Cette erreur survient parfois lors de l'étape du scrapping. Elle est ponctuelle uniquement et relancer le programme permet de le corriger, aussi pense-je qu'il s'agit d'une erreur de connexion et de lecture des données interrompue.

Cendres06 commented 1 year ago

Autre erreur similaire, peut-être à traiter différemment ?

Exception has occurred: ConnectionError
('Connection aborted.', ConnectionResetError(10054, 'Une connexion existante a dû être fermée par l’hôte distant', None, 10054, None))
TypeError: getresponse() got an unexpected keyword argument 'buffering'

During handling of the above exception, another exception occurred:

  File "<string>", line 3, in raise_from
ConnectionResetError: [WinError 10054] Une connexion existante a dû être fermée par l’hôte distant

During handling of the above exception, another exception occurred:

  File "<string>", line 3, in raise_from
urllib3.exceptions.ProtocolError: ('Connection aborted.', ConnectionResetError(10054, 'Une connexion existante a dû être fermée par l’hôte distant', None, 10054, None))

During handling of the above exception, another exception occurred:

  File "C:\Users\Perrine\Documents\Document\Scolaire\Master_Humanités_Numériques\M1\Codes_mémoire\Veil_Lifter\Veil_Lifter\scrapping_bs4.py", line 325, in recup_page
    ma_page = requests.get(lien)
  File "C:\Users\Perrine\Documents\Document\Scolaire\Master_Humanités_Numériques\M1\Codes_mémoire\Veil_Lifter\Veil_Lifter\scrapping_bs4.py", line 369, in recup_tags
    ma_page = recup_page(setup_lien(id_page))
  File "C:\Users\Perrine\Documents\Document\Scolaire\Master_Humanités_Numériques\M1\Codes_mémoire\Veil_Lifter\Veil_Lifter\scrapping_bs4.py", line 577, in ressources_de_travail
    liste_tags = recup_tags(id_page)
  File "C:\Users\Perrine\Documents\Document\Scolaire\Master_Humanités_Numériques\M1\Codes_mémoire\Veil_Lifter\Veil_Lifter\scrapping_bs4.py", line 860, in liste_textes_en_trad
    liste_textes_ok_en_trad = ressources_de_travail(liste_tags_language=['en'], liste_tags_format=['conte','scp'],liste_tags_interdits=['expliqué','centre','annexe','fanart','aile-fr','aile-en','fragment'],liste_combinaisons_interdites=[('humour','scp')],debug=debug)
  File "C:\Users\Perrine\Documents\Document\Scolaire\Master_Humanités_Numériques\M1\Codes_mémoire\Veil_Lifter\Veil_Lifter\scrapping_bs4.py", line 869, in <module>
    liste_textes_en_trad(debug=True)
  File "C:\Users\Perrine\Documents\Document\Scolaire\Master_Humanités_Numériques\M1\Codes_mémoire\Veil_Lifter\Veil_Lifter\main.py", line 1, in <module>
    import scrapping_bs4 as veil_lifter
requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionResetError(10054, 'Une connexion existante a dû être fermée par l’hôte distant', None, 10054, None))