tweet.csv encoding

[dennisangemi]

Abbiamo qualche problema con l'enconding del file tweet.csv. Il report di validazione di frictionless ci restituisce questo risultato:

# -----
# valid: data/outputProfughi.csv
# -----
# -------
# invalid: data/tweet.csv
# -------

===  =====  ==============  ==================================================================================================================================
row  field  code            message                                                                                                                           
===  =====  ==============  ==================================================================================================================================
            encoding-error  The data source could not be successfully decoded: 'utf-8' codec can't decode byte 0xe8 in position 268: invalid continuation byte
===  =====  ==============  ==================================================================================================================================

[dennisangemi]

Testo del tweet di esempio:

#AccoglienzaUcraina Sono 78.021 le persone giunte finora in Italia: 40.204 donne, 7.659 uomini e 30.158 minori. Rispetto a ieri, l'incremento è di 1.174 ingressi nel territorio nazionale: le destinazioni principali sono #Milano, #Roma, #Napoli e #Bologna.

raw csv

#31marzo https://t.co/iUsRiYz50A"
"2585782921","1509099892815405057","2022-03-30 09:27:06","Viminale","#AccoglienzaUcraina Sono 76.847  le persone giunte finora in Italia: 39.617 donne, 7.435 uomini e 29.795 minori.
Rispetto a ieri, l'incremento � di 1.732 ingressi nel territorio nazionale: le destinazioni principali sono #Milano, #Roma, #Napoli e #Bologna.

il problema pare essere la "è"

[dennisangemi]

Possibili soluzioni:

• utilizzare readr::write_csv() al posto di write.csv https://community.rstudio.com/t/how-to-write-csv-in-r-where-data-is-cleaned-with-utf-8-characters/22836/2

[vi-enne]

Per adesso ho rimosso il file, alla fine non è essenziale.

[dennisangemi]

Chiudiamo. Riapriamo se dovessero esserci altri problemi