smfsamir / wikipedia-edit-scrape-tool

Some modules for scraping revision history from Wikipedia data
2 stars 0 forks source link

Some of the French biography scraping doesn't seem right #1

Open smfsamir opened 6 months ago

smfsamir commented 6 months ago
[Paragraph(clean_text='Œuvres principales'), Paragraph(clean_text='Lettres à un jeune marocain     Le Jour du roi     Infidèles'), Paragraph(clean_text="Abdellah Taïa , né le 8 août 1973 à Salé au Maroc, est un écrivain et cinéaste marocain d'expression française."), Paragraph(clean_text="Issu d'une famille modeste, Abdellah Taïa est l'avant-dernier d'une famille de neuf enfants."), Paragraph(clean_text="Abdellah Taïa étudie la littérature française à l'université Mohamed-V de Rabat et à l'université de Genève. En juillet 1999, l'année de la mort du roi Hassan II, il arrive à Paris pour un doctorat en littérature française à la Sorbonne. Il soutient une thèse sur Jean-Honoré Fragonard et sur le roman libertin du XVIIIe siècle. Son séjour à Paris est matériellement difficile, mais fructueux sur le plan intellectuel ; il découvre un autre monde qui lui inspire le don de l'écriture, et découvre la peinture  et le cinéma.    *: 18ᵉ siècle"), Paragraph(clean_text='En 1999, ses premiers textes sont publiés dans un recueil de nouvelles par Loïc Barrière, aux éditions Paris-Méditerranée, Des nouvelles du Maroc , aux côtés de Mohamed Choukri, Salim Jay et Rachid O..    *: 18ᵉ siècle'), Paragraph(clean_text="Son premier recueil de nouvelles, Mon Maroc , paraît en 2001 aux éditions Séguier, avec une préface de l'écrivain René de Ceccatty auquel il rendra un chaleureux hommage quand il recevra le Prix de Flore.    *: 18ᵉ siècle"), Paragraph(clean_text='Il fait son coming out en 2006,.    *: 18ᵉ siècle'), Paragraph(clean_text="En juin 2007, Abdellah Taïa fait la couverture du magazine marocain TelQuel sous le titre : « Homosexuel, envers et contre tous ». En avril 2009, il publie dans le même hebdomadaire une lettre intitulée « L'homosexualité expliquée à ma mère », où il traite ouvertement de sa sexualité.    *: 18ᵉ siècle"), Paragraph(clean_text='De décembre 2008 à décembre 2010, sous la présidence de Florence Malraux, Abdellah Taïa est membre de la commission « avance sur recettes » au CNC.    *: 18ᵉ siècle'), Paragraph(clean_text="En 2009, il dirige l'ouvrage collectif Lettres à un jeune marocain  qui se veut une main tendue vers la jeunesse marocaine abandonnée de tous : 50 000 exemplaires en sont distribués gratuitement en août 2009 au Maroc, en supplément de TelQuel. En décembre de la même année, 40 000 exemplaires du livre, traduit en arabe, sont également distribués gratuitement avec Nichane , la version arabophone de l'hebdomadaire.    *: 18ᵉ siècle"), Paragraph(clean_text="Il est l'auteur de plusieurs romans dont Le Jour du roi , qui obtient le 4 novembre 2010 le prix de Flore.    *: 18ᵉ siècle"), Paragraph(clean_text='Depuis le début du Printemps arabe, il publie plusieurs tribunes dans des journaux français et marocains.    *: 18ᵉ siècle'), Paragraph(clean_text="En 2012, il réalise son premier film, L'Armée du salut , adaptation de son troisième roman qu'il présente à la Mostra de Venise 2013, au Festival international du film de Toronto 2013 et qui reçoit le Grand Prix du Jury au Festival Premiers Plans d’Angers en 2014. Le film sort en salles en mai 2014.    *: 18ᵉ siècle"), Paragraph(clean_text='En mai 2019, son livre La Vie lente, sorti le 7 mars 2019, est selectionné par le jury du prix Renaudot 2019.    *: 18ᵉ siècle'), Paragraph(clean_text='Ses livres sont traduits dans plusieurs langues.    *: 18ᵉ siècle'), Paragraph(clean_text="Il est l'un des premiers écrivains marocains et arabes  à affirmer publiquement, dans ses livres comme dans les médias, son homosexualité. Dans son Dictionnaire des écrivains marocains , Salim Jay écrit qu'il possède « un ton bien à lui, fait d'une imprégnation authentique par les humeurs et les rumeurs de son pays natal et d'une ouverture avide à la découverte d'univers différents de l'autre côté du détroit. »    *: 18ᵉ siècle"), Paragraph(clean_text="Le livre commence comme un monologue, une confession, d'un homme à un inspecteur de police . La scène principale se déroule à Paris, 107 rue de Turenne, en 2017 et 2018. Les cimetières ce n'est pas ce qui manque à Paris, madame Marty ,    *: page"), Paragraph(clean_text="Le narrateur, Mounir Rochdi, 40 ans, d'origine marocaine , en situation régulière, avec un visa de dix ans, titulaire d'un doctorat en littérature française du XVIIIe siècle à la Sorbonne , sur Fragonard et le roman libertin, seul, sans emploi, sans ressource, occupe depuis trois ans un appartement, bien installé , presque vide, de 45 m2 au 4e étage. Madame Simone Marty, plus de 80 ans, sa voisine du dessus, depuis près de cinquante ans dans un studio de 14 m2, jusque-là presque respectueuse du locataire du dessous, dans la fragilité absolue , commence à se plaindre, et à appeler la police : elle a peur de vous .    *: Quatrième"), Paragraph(clean_text="Cet ancien étudiant lit beaucoup, reçoit peu, recherche le calme... Petit adolescent gay efféminé et persécuté par des hommes hétérosexuels affamés de sexe, ce n'est que lorsque j'avais décidé d'être violent à mon tour, violent par les mots, qu'on avait changé d'attitude vis-à-vis de moi. Plus j'étais ordurier dans mon langage, plus on me foutait la paix. . Il a eu un bref amour à Rabat, Samir, et un amour plus durable à Paris, Antoine , pendant trois mois. Il a fui le Maroc, et craint de devoir fuir cet appartement et Paris...    *: Quatrième"), Paragraph(clean_text="Et pourtant, il y a eu cette gentillesse parfois, Oumayma, la patronne, noire, de la boulangerie-pâtisserie La Clé du paradis , cité Pablo-Picasso, à Nanterre-Préfecture, et surtout Simone, avec laquelle malgré tout les discussions ont eu lieu. Simone aussi est une survivante... vieille, pauvre, seule, abandonnée dans un 14 mètres carrés qui sentait le vieux, avec des toilettes sur le palier . Et la cousine Madjouline, 19 ans, à Bruxelles, qu'on menace de mariage arrangé.    *: Quatrième")]

These are the scraped paragraphs for https://fr.wikipedia.org/wiki/Abdellah_Ta%C3%AFa. These don't seem quite right. (E.g., inclusion of 'quatrieme', or '18e siecle').

smfsamir commented 5 months ago

It seems that the issue is that the abbreviation tag (<abbr>) isn't being scraped properly, instead being added to the end of the sentence as a bullet point for some reason.