ForDevs-Fatec / for-devs-pln

Repositório contendo código de processamento de linguagem natural
0 stars 0 forks source link

1.13 [PLN][MÉDIA] - Melhorias Pré-Processamento - StopWords e Corrigir Textos #17

Open daniellsfilho opened 11 months ago

daniellsfilho commented 11 months ago

Efetuar melhorias na pipeline de pré-processamento, nas funções de remoção de stopwords e correção de textos:

annakks commented 11 months ago

inicio 13/11

annakks commented 11 months ago

Image

annakks commented 11 months ago

Image

consegui fazer a correção porem tem q fazer um for antes de entrar na função e não consegui fazer nessa função

def corrigir_textos(df): df['review_text_normalized'] = df['review_text_normalized'].apply(remover_duplicidade) df['review_text_normalized'] = df['review_text_normalized'].apply(corrigir) return df

estou fazendo assim pra testar:

texto = ['sempree', 'compro', 'Americanass', 'recomemdo', 'loja', 'amigos', 'bom', 'demaisss']

dados_sem_duplicidade = [remover_duplicidade(palavra) for palavra in texto] dados_corrigidos = corrigir(dados_sem_duplicidade)

print("Palavras sem duplicidade:", dados_sem_duplicidade) print("Palavras corrigidas:", dados_corrigidos)

annakks commented 11 months ago

finalizado 15/11