Ddelia
commented
9 years ago Décodez toutes les entrées de votre programme:La partie difficile de ce conseil, c’est de savoir ce qu’est une entrée.
Je vais vous donner une définition simple : tout ce qui ne fait pas partie du code de votre programme et qui est traité dans votre programme est une entrée.
Le texte des fichiers, le nom de ces fichiers, le retour des appels système, le retour d’une ligne de commande parsée, la saisie utilisateur sur un terminal, le retour d’une requête SQL, le téléchargement d’une donnée sur le Web, etc.
Ce sont toutes des entrées.
Comme tous les textes du monde, les entrées sont dans un encoding. Et vous DEVEZ savoir lequel.
Comprenez bien, si vous ne connaissez pas l’encoding de vos entrées, ça marchera la plupart du temps, et un jour, ça va planter.
Il n’y a pas d’alternative (bis).
Or, il n’y a pas de moyen de détecter un encoding de façon fiable.
Donc, soit le fournisseur de la donnée vous donne cette information (settings dans la base de données, doc de votre logiciel, configuration de votre OS, spec du client, coup de fils au fournisseur…), soit vous êtes baisés.
On ne peut pas lire un simple fichier si on ne connait pas son encoding. Point.
Si cela a marché jusqu’ici pour vous, c’est que vous avez eu de la chance : la plupart de vos fichiers étaient dans l’encoding de votre éditeur et de votre système. Tant qu’on travaille sur sa machine, tout va bien.
Si vous lisez une page HTML, l’encoding est souvent déclaré dans la balise META ou dans un header.
Si vous écrivez dans un terminal, l’encoding du terminal est accessible avec sys.(stdin|stdout).encoding.
Si vous manipulez des noms de fichier, on peut récupérer l’encoding du file system en cours avec sys.getfilesystemencoding().
Mais parfois il n’y a pas d’autres moyens d’obtenir cette information que de demander à la personne qui a produit la donnée. Parfois même, l’encoding déclaré est faux.
Dans tous les cas, vous avez besoin de cette information.
Et une fois que vous l’avez, il faut décoder le texte reçu.
La manière la plus simple de faire cela est :
votre_chaine = votre_chaine.decode('nom_du_codec') Le texte sera de type ‘str’, et decode() retourne (si vous lui fournissez le bon codec ;-)), une version ‘unicode’.
Exemple, obtenir une chaîne ‘unicode’ depuis une chaîne ‘str’ encodée en utf8 :
une_chaine = 'Chaîne' # mon fichier est encodé en UTF8, donc la chaine est en UTF8 type(une_chaine) <type 'str'> une_chaine = une_chaine.decode('utf8') type(une_chaine) <type 'unicode'> Donc dès que vous lisez un fichier, récupérez une réponse d’une base de données ou parsez des arguments d’un terminal, appelez decode() sur la chaîne reçue.
Encodez toutes les sorties de votre programme:La partie difficile de ce conseil, c’est de savoir ce qu’est une sortie.
Encore une fois, une définition simple : toute donnée que vous traitez et qui va être lue par autre chose que votre code est une sortie.
Un print dans un terminal est une sortie, un write() dans un fichier est une sortie, un UPDATE en SQL est une sortie, un envoi dans une socket est une sortie, etc.
Le reste du monde ne peut pas lire les objets ‘unicode’ de Python. Si vous écrivez ces objets dans un fichier, un terminal ou dans une base de données, Python va les convertir automatiquement en objet ‘str’, et l’encoding utilisé dépendra du contexte.
Malheureusement, il y a une limite à la capacité de Python à décider du bon encoding.
Donc, tout comme il vous faut connaitre l’encoding d’un texte en entrée, il vous faut connaitre l’encoding attendu par le système avec lequel vous communiquez en sortie : sachez quel est l’encoding du terminal, de votre base de données ou système de fichiers sur lequel vous écrivez.
Si vous ne pouvez pas savoir (page Web, API, etc), utilisez UTF8.
Pour ce faire, il suffit d’appelez encode() sur tout objet de type ‘unicode’ :
une_chaine = une_chaine.encode('nom_du_codec') Par exemple, pour convertir un objet ‘unicode’ en ‘str’ utf8:
une_chaine = u'Chaîne' type(une_chaine) <type 'unicode'> une_chaine = une_chaine.encode('utf8') type(une_chaine) <type 'str'>
StefaniaF
Ecrire un POC pour une application web python qui communiques avec le programme de codage/decodage de Web Crawler.