Encoding error

[wallacemoraes]

Oi, como vão?

Estou tentando fazer um teste com o projeto, mas não consigo processar o arquivo. Aparece o erro: UnicodeDecodeError: 'charmap' codec can't decode byte 0x9d in position 7897: character maps to Tentei o próprio arquivo de teste "Sample.txt", mas aparece o mesmo erro

Vocês pode ajudar, por favor? Existe alguma codificação específica? Tenho testado no Windows.

Com os melhores cumprimentos

[jdportugal]

Olá wallacemoraes, Eu ainda não experimentei correr num windows, mas em geral quando tive erros semelhantes devia-se à versão de python, o que está a usar?

Cumprimentos, João

[wallacemoraes]

Estou usando a 3.7, vou testar na 3.5

[wallacemoraes]

Eu não conseguiu rodar o programa no Windows, infelizmente. Todavia, eu fiz no Google Colab, e funcionou perfeitamente. Acho que precisa do Linux mesmo para rodar o programa.

Com os melhores cumprimento Wallace

[ProfessorAlexandreSarquis]

O erro pode ser uma questão de codificação. Tente carregar o arquivo com encoding="utf-8", porque 0x9d faz sentido nessa codificação.

[gabrielaleon]

Olá, tentei importar o arquivo usando o encoding ou só uma string teste='testando uma frase'. Porém, em ambas situações, o erro persiste. A forma que encontrei de corrigir foi alterar a função load do arquivo NLPyPort/NLPyPort/LemPyPort/rank/word_ranking.py Como no LINUX e MAC o encoding default é o 'utf-8' e pro WINDOWS não, é preciso colocar o encoding dentro da função. Fiz a alteração no meu computador, mas acho que é interessante fazer a correção aqui para que todas as instalações da biblioteca não tenham problema.

def load(self,input_file):
    rank = 0
    frequency = 0
    word = 0
    lineNumber = 0
    **with open(input_file,"r", encoding='utf-8') as f:**
        for line in f:
            line = line.strip()
            if(len(line)>0 and not (line[0]=="#")):
                if("\t" in line and (line.find("\t")+1<len(line))):
                    word = line[line.find("\t")+1:].replace("="," ")
                    frequency = line[0:line.find("\t")]
                    rank += 1
                    new_entry = word_list_entry(word,frequency,rank)
                    #new_entry.print_word_list_entry()
                    self.wordMap[word] = new_entry
                else:
                    break

segue erro:

UnicodeDecodeError Traceback (most recent call last)

in ----> 1 texto=new_full_pipe(text,options=options) 2 if(text!=0): 3 text.print_conll() ~\AppData\Local\Continuum\anaconda3\lib\site-packages\NLPyPort\FullPipeline.py in new_full_pipe(input_file, options, config_list) 429 debug_print("Lemmatizer is True") 430 if(options["pre-load"]==False): --> 431 lemas = lematizador_normal(tokens,tags) 432 text.set_lemas(lemas) 433 debug_print("Pre-load option set to False, Lemmas gotten") ~\AppData\Local\Continuum\anaconda3\lib\site-packages\NLPyPort\FullPipeline.py in lematizador_normal(tokens, tags) 129 mesmas = 0 130 alteradas = 0 --> 131 resultado = nlpyport_lematizer(tokens,tags,LemPort_config_file) 132 return resultado 133 ~\AppData\Local\Continuum\anaconda3\lib\site-packages\NLPyPort\LemPyPort\LemFunctions.py in nlpyport_lematizer(token, tag, LemPort_config_file) 437 def nlpyport_lematizer(token,tag,LemPort_config_file): 438 get_paths_lematizador(LemPort_config_file) --> 439 adverb_norm,number_norm,superlative_norm,augmentative_norm,diminutive_norm,gender_norm,gender_name_norm,verb_norm,ranking,novo_dict = load_lematizador() 440 valor = [] 441 for i in range(len(token)): ~\AppData\Local\Continuum\anaconda3\lib\site-packages\NLPyPort\LemPyPort\LemFunctions.py in load_lematizador() 396 397 ranking = word_ranking() --> 398 ranking.load(ranking_path) 399 400 ~\AppData\Local\Continuum\anaconda3\lib\site-packages\NLPyPort\LemPyPort\rank\word_ranking.py in load(self, input_file) 10 lineNumber = 0 **11 ****with open(input_file,"r") as f: ---> 12 for line in f:** 13 line = line.strip() 14 if(len(line)>0 and not (line[0]=="#")):** ~\AppData\Local\Continuum\anaconda3\lib\encodings\cp1252.py in decode(self, input, final) 21 class IncrementalDecoder(codecs.IncrementalDecoder): 22 def decode(self, input, final=False): ---> 23 return codecs.charmap_decode(input,self.errors,decoding_table)[0] 24 25 class StreamWriter(Codec,codecs.StreamWriter):** UnicodeDecodeError: 'charmap' codec can't decode byte 0x9d in position 7897: character maps to