fluxdigital / S-3PO

An Generative AI Module for Sitecore XP
GNU General Public License v3.0
4 stars 1 forks source link

Special characters are incorrectly formatted in text output #2

Open jbreuer opened 1 month ago

jbreuer commented 1 month ago

I encountered an issue where special characters, such as accented letters, are being incorrectly formatted in text output.

I used this Dutch text (with intentional errors):

De energie transitie gaat over het vervangen van fossiele brandstoffen door duurzaame energie, zoals zonne-energie en wind. Het idee is om minder co2 uit te stoten en klimaat veranderingen te voorkomen. Dit vraagt niet alleen om nieuwe technologie, maar ook om ander beleid en een verandering in gedrag. Ondanks dat er uitgadingen zijn, zoals het opslaan van energie en werk verlies in traditionele sectoren, zijn er ook kansen, zoals meer ekonomische groei en een schonere wereld. Uiteindelijk is deze transitie belangkrijk voor een duurzamere toekomst.

After improving it to the following version:

De energietransitie betreft de vervanging van fossiele brandstoffen door duurzame energiebronnen, zoals zonne-energie en windenergie. Het doel is om de CO2-uitstoot te verminderen en klimaatverandering tegen te gaan. Deze transitie vereist niet alleen nieuwe technologieën, maar ook aangepaste beleidsmaatregelen en veranderingen in gedrag. Hoewel er uitdagingen zijn, zoals energieopslag en werkverlies in traditionele sectoren, biedt deze transitie ook kansen, waaronder economische groei en een schonere wereld. Uiteindelijk is de energietransitie cruciaal voor het realiseren van een duurzame toekomst.

You can see that the word technologieën is incorrectly formatted as technologieën.

This issue likely relates to character encoding problems (UTF-8 misinterpretation), especially for accented characters like "ë."

fluxdigital commented 1 week ago

Hi @jbreuer, thanks for letting me know about this. I'll take a look and try and resolve it for you.