cristinae
commented
5 years ago As a temporary patch, we include a script to remove emoji
Open cristinae opened 5 years ago
cristinae
commented
5 years ago As a temporary patch, we include a script to remove emoji
Some WP articles include now emoji. These are utf8 encodings covered by mysql's utf8mb4 but not by mysql's utf8. Wikitailor crashes when it has to parse such articles (probably they are corrupted in the database). The problem arises in MediaWikiParser.class (JWPL).
Example error: xception in thread "main" java.lang.StringIndexOutOfBoundsException: String index out of range: 134 at java.lang.AbstractStringBuilder.charAt(AbstractStringBuilder.java:237) at java.lang.StringBuilder.charAt(StringBuilder.java:76) at de.tudarmstadt.ukp.wikipedia.parser.mediawiki.SpanManager.charAt(SpanManager.java:202) at de.tudarmstadt.ukp.wikipedia.parser.mediawiki.ModularParser.parseImagesAndInternalLinks(ModularParser.java:1578) at de.tudarmstadt.ukp.wikipedia.parser.mediawiki.ModularParser.parse(ModularParser.java:382) at cat.lump.aq.wikilink.jwpl.WikipediaJwpl.getParsedArticle(WikipediaJwpl.java:247) at cat.lump.aq.textextraction.wikipedia.categories.DomainKeywords.getTerms(DomainKeywords.java:373) at cat.lump.aq.textextraction.wikipedia.categories.DomainKeywords.computeTF(DomainKeywords.java:88) at cat.lump.aq.textextraction.wikipedia.categories.DomainKeywords.computeTF(DomainKeywords.java:105) at cat.lump.aq.textextraction.wikipedia.categories.Xecutor.extractDomainKeywords(Xecutor.java:265)
at cat.lump.aq.textextraction.wikipedia.categories.Xecutor.main(Xecutor.java:176)
Example article: Wikipedia Spanish, article ID: 8692164 Article title: Modelo de Pandemonium Text extracted : [[Archivo:Original pande2.jpg|miniaturadeimagen|161x161px|El modelo de pandemónium original propuesto por [[Oliver Selfridge]] en 1959. ]] <! -Esta nota, contiene algunas Text in Wikipedia: [[Archivo:Original pande2.jpg|miniaturadeimagen|161x161px|El modelo de pandemónium original propuesto por [[Oliver Selfridge]] en 1959. ]]<!-Esta nota, contiene algunas 📆instrucciones. (1) Para mejorar tu redacción, lee las sugerencias que te explicamos en el PASO ANTERIOR. (2) Para CITAR usa el icono 🔖 y rellena la información. (3) 📡Continúa leyendo: https://es.wikipedia.org/w/index.php?title=WP:EV (*) Revisa la estructura: https://es.wikipedia.org/w/index.php?title=WP:ACA/GR -->