Erreur de position des tokens

Bonjour, notre collègue a identifié un problème dans l'étiquetage des données, en effet il semble que certaines entités soient indiquées à l'intérieur d'autres, c'est à dire avec leur position de départ se situant entre les positions de départ et de fin d'une autre entité. Il semblerait que ce soit un problème dans le script qui constitue les données qui récupère le premier match de la chaîne, puisqu'il s'agit uniquelment de chaînes courtes qui sont présentes par hasard au milieu d'autres mots plus tôt dans le texte, et que le problème n'est que dans les valeurs begin et end.

Voyez les exemples remontés


TEXT: Sibyla Chandonnet\nTechnicienne en radiologie / Health For All\nTel : +33 0365962110 \nsibylachandonnet@yahoo.fr\n89 rue du Général Ailleret 62300 Lens\nCedex 08 CS 40362\nThe Happy Bear / happybearhealth.com\nLinkedin : https://fr.linkedin.com/in/sibylac
{'form': 'Technicienne', 'label': 'Function', 'begin': 19, 'end': 31}
{'form': 'en', 'label': 'Function', 'begin': 27, 'end': 29}
===============
TEXT: Dorothée Charrette\n94 rue du Faubourg National 94320 Thiais\nCedex 02\n+33 01 70 92 06 69 - dorotheecharette@outlook.com\nEscrow Papers - escrowpapers.fr\nPoste : Technicienne en téléphonie mobile
{'form': 'Technicienne', 'label': 'Function', 'begin': 164, 'end': 176}
{'form': 'en', 'label': 'Function', 'begin': 172, 'end': 174}
===============
TEXT: Coralie Sanschagrin\nVendeuse en magasin - Supermarket Lists\nsupermarketlists.fr\nAdresse : 12 place Maurice-Charretier 94220 Charenton-sur-le-Pont\nTél : 0171220748\nEmail : coraliesanschagrin@gmail.com
{'form': 'Vendeuse', 'label': 'Function', 'begin': 21, 'end': 29}
{'form': 'en', 'label': 'Function', 'begin': 22, 'end': 24}
===============
TEXT: Octave Bernier\nVendeur en boutique - Perles et Strass\nperlesstrass.fr\n01.07.16.35.66\noctavebernier@outlook.com\nAdresse : 75019 Paris France - 2 Faubourg Saint Honoré
{'form': 'Vendeur', 'label': 'Function', 'begin': 16, 'end': 23}
{'form': 'en', 'label': 'Function', 'begin': 17, 'end': 19}
===============
TEXT: Landry Monrency\n79 rue Grande Fusterie 91800 Brunot\nTél : 01.18.60.73.47\nEmail : landrymonrency@yahoo.fr\nVendeur en Pharmacie - Pharmaplis\npharmaplis.com
{'form': 'Vendeur', 'label': 'Function', 'begin': 109, 'end': 116}
{'form': 'en', 'label': 'Function', 'begin': 110, 'end': 112}
===============
TEXT: Charles Voisine\nTél : 04.28.88.77.19\nEmail : charlesvoisine@gmail.com\nAdresse : 51 boulevard d'Alsace 69120 Vaulx-en-Velin\nSerrurier - Witmark\nwitmark.com
{'form': 'boulevard', 'label': 'Location', 'begin': 86, 'end': 95}
{'form': 'd', 'label': 'Location', 'begin': 94, 'end': 95}
===============
TEXT: Monique Saucier\nFrance, 92170 Vanves, 16 boulevard d'Alsace\n01 35 90 80 12\nmoniquesaucier@gmail.com\nAfrican CDs\nPoste : Vendeuse en boutique
{'form': 'boulevard', 'label': 'Location', 'begin': 42, 'end': 51}
{'form': 'd', 'label': 'Location', 'begin': 50, 'end': 51}
===============
TEXT: Monique Saucier\nFrance, 92170 Vanves, 16 boulevard d'Alsace\n01 35 90 80 12\nmoniquesaucier@gmail.com\nAfrican CDs\nPoste : Vendeuse en boutique
{'form': 'Vendeuse', 'label': 'Function', 'begin': 125, 'end': 133}
{'form': 'en', 'label': 'Function', 'begin': 126, 'end': 128}
===============
TEXT: Patrick Richard\nGestionnaire de stocks / Laneco\nTél : 01 09 18 31 44\nAdresse : 78140 Vélizy-Villacoublay, France - 55 boulevard d'Alsace\npatrichrichard@yahoo.fr
{'form': 'boulevard', 'label': 'Location', 'begin': 121, 'end': 130}
{'form': 'd', 'label': 'Location', 'begin': 129, 'end': 130}
===============
TEXT: Georges Lafontaine\nCuisinier - Food Fair\nAdresse : 70 boulevard d'Alsace 69200 Vénissieux\nTél : 0419569361\nEmail : georgeslafontaine@gmail.com
{'form': 'boulevard', 'label': 'Location', 'begin': 56, 'end': 65}
{'form': 'd', 'label': 'Location', 'begin': 64, 'end': 65}
===============
TEXT: Fabien Lejeune\nTél : 03.82.43.44.54\n34, boulevard d'Alsace, Verdun\nPakla Hotel
{'form': 'boulevard', 'label': 'Location', 'begin': 42, 'end': 51}
{'form': 'd', 'label': 'Location', 'begin': 50, 'end': 51}
===============
TEXT: France Sicard\nSicard Services\n76 boulevard d'Alsace, Vanves\nTél : 04 25 45 78 96
{'form': 'boulevard', 'label': 'Location', 'begin': 35, 'end': 44}
{'form': 'd', 'label': 'Location', 'begin': 43, 'end': 44}
===============
TEXT: Gaetan Desforges\nArk Design\n06.32.15.42.65\nAdresse : 79 boulevard d'Alsace, Verdun
{'form': 'boulevard', 'label': 'Location', 'begin': 59, 'end': 68}
{'form': 'd', 'label': 'Location', 'begin': 67, 'end': 68}
===============
TEXT: Felipe Ramos\nAdresse : Avinguda Soler 3-42\nEl Juan - Colombie\nTél : 995610494\nGestora Rendón e Hijo
{'form': 'Rendón', 'label': 'Organization', 'begin': 90, 'end': 96}
{'form': 'e', 'label': 'Organization', 'begin': 91, 'end': 92}

Emvista / Challenge_TextMine_2023

Erreur de position des tokens #1