search

tatuylonen / wikitextprocessor

Python package for WikiMedia dump processing (Wiktionary, Wikipedia etc). Wikitext parsing, template expansion, Lua module execution. For data extraction, bulk syntax checking, error detection, and offline formatting.
Other
90 stars 23 forks source link

non-interpretation of certain {{...}} & [[...]] #261

Closed LeMoussel closed 4 months ago

LeMoussel commented 4 months ago

FR Wikipedia page reference: Ford

With this wikitext 

La branche européenne [[Ford Europe]] est un des six grands [[constructeur automobile|constructeurs automobiles]] européens. Elle collabore avec [[Groupe PSA|Peugeot-Citroën]], avec qui elle produit en commun ses [[Moteur Diesel|moteurs Diesel]]. Basée en [[Allemagne]], Ford Europe possède des usines dans les pays suivants :

* {{Allemagne}} : (ex [[Ford Allemagne|Ford-Werke GmbH]])
::[[Cologne]] ([[Siège social]]) : Ford Fiesta ;
::[[Usine Ford de Sarrelouis|Sarrelouis]] : Ford Focus. ([[Ford C-Max]] et Grand C-Max jusqu'en 2018 et [[Kuga]] jusqu'en 2014). Le site de Sarrelouis est menacé par la disparition de la Focus prévu pour 2025 et la non attribution de nouveaux modèles.

I got this text:

La branche européenne est un des six grands européens. Elle collabore avec , avec qui elle produit en commun ses . Basée en , Ford Europe possède des usines dans les pays suivants :
* Allemagne : (ex )
:: () : Ford Fiesta ;
:: : Ford Focus. ( et Grand C-Max jusqu'en 2018 et jusqu'en 2014). Le site de Sarrelouis est menacé par la disparition de la Focus prévu pour 2025 et la non attribution de nouveaux modèles.

The text should rather be this

La branche européenne Ford Europe est un des six grands constructeurs automobiles européens. Elle collabore avec Peugeot-Citroën, avec qui elle produit en commun ses moteurs Diesel. Basée en Allemagne, Ford Europe possède des usines dans les pays suivants :
Allemagne : (ex Ford-Werke GmbH)
Cologne (Siège social) : Ford Fiesta ;
Sarrelouis : Ford Focus. (Ford C-Max et Grand C-Max jusqu'en 2018 et Kuga jusqu'en 2014). Le site de Sarrelouis est menacé par la disparition de la Focus prévu pour 2025 et la non attribution de nouveaux modèles.
xxyzz commented 4 months ago

I assume you're using Wtp.parse() and clean_node(), the links nodes shouldn't be removed by these functions, did you remove the link nodes or it's text somehow in your code?

And the list nodes wikitext(*, :) in the clean_node() outputs are expected.