bigscience-workshop / catalogue_data

Scripts to prepare catalogue data
Apache License 2.0
8 stars 1 forks source link

Remove excessive duplicates #23

Closed thomasw21 closed 2 years ago

thomasw21 commented 2 years ago

Deduplication works. Now time to finetune the parameters. Tested on bigscience-catalogue-lm-data/lm_fr_pseudocrawl-filtered_530_www_mediapart_fr

Selon des informations confidentielles dont dispose Mediapart, Bernard Tapie a rompu au début du mois d’août les négociations qu’il menait avec l’armateur de CMA CGM, Rodolphe Saadé, en vue de lui céder le contrôle du quotidien La Provence. Du même coup, Xavier Niel qui semblait disposé à apporter à l’acquéreur les 11 % qu’il contrôle lui-même, devrait garder sa participation, sans chercher, selon nos sources, ni à la réduire ni à l’augmenter.
Iskandar Safa
La Provence
Nice-Matin
Rodolphe Saadé
Tapie
Xavier Niel
 ===== ====== ====== ====
La Provence: Tapie rompt les négociations de vente avec Saadé
Au printemps dernier, Bernard Tapie souhaitait vendre le quotidien à l’armateur de CMA CGM, Rodolphe Saadé, et Xavier Niel était disposé à lui céder aussi sa participation. Selon nos informations, les négociations ont capoté au début de l’été.
Selon des informations confidentielles dont dispose Mediapart, Bernard Tapie a rompu au début du mois d’août les négociations qu’il menait avec l’armateur de CMA CGM, Rodolphe Saadé, en vue de lui céder le contrôle du quotidien La Provence. Du même coup, Xavier Niel qui semblait disposé à apporter à l’acquéreur les 11 % qu’il contrôle lui-même, devrait garder sa participation, sans chercher, selon nos sources, ni à la réduire ni à l’augmenter.
Iskandar Safa
La Provence
Nice-Matin
Rodolphe Saadé
Tapie
Xavier Niel
Le Brexit n’aura pas d’impact sur l’échange de renseignements (responsable européen) Par Agence France-Presse
La Chine impose des mesures nationales de dépistage dans les transports Par Agence France-Presse
Bolivie: la présidente par intérim annonce sa candidature à la présidentielle Par Agence France-Presse
Virus: l’armée chinoise déploie du personnel médical à Wuhan Par Agence France-Presse
Emmanuel Macron a reçu Juan Guaido au palais de l’Elysée Par Agence France-Presse

Aide aux étrangers: pourquoi la Cimade a claqué la porte du plus gros centre de rétention de France
La Cimade a claqué la porte du plus gros centre de rétention de France, près de l’aéroport de Roissy. Trop de violences. Alors que l’association (sous contrat avec le ministère de l’intérieur) est chargée d’accompagner juridiquement les étrangers enfermés en vue de leur expulsion, ses salariés exercent leur droit de retrait depuis déjà deux semaines.
Fouilles au centre de rétention de Rennes : le témoignage d'une visiteuse 24 mai 2019 Par Fini de rire
Trois mois d’enfermement en rétention: 2019 marque un tournant dans la répression 2 janv. 2019 Par La Cimade
 ===== ====== ====== ====
Aide aux étrangers: pourquoi la Cimade a claqué la porte du plus gros centre de rétention de France
Chargés d’aider les étrangers enfermés près de Roissy, les salariés de la Cimade viennent de se retirer du centre de rétention. Trop de violences. « Le climat est devenu terrible », explique le président de l’association Christophe Deltombe à Mediapart, qui dénonce « une politique du tout enfermement » généralisée. Entretien.
La Cimade a claqué la porte du plus gros centre de rétention de France, près de l’aéroport de Roissy. Trop de violences. Alors que l’association (sous contrat avec le ministère de l’intérieur) est chargée d’accompagner juridiquement les étrangers enfermés en vue de leur expulsion, ses salariés exercent leur droit de retrait depuis déjà deux semaines.
Islamophobie: un homme poursuivi pour avoir crevé les pneus de femmes voilées Par Camille Polloni
A Dunkerque, le succès des bus gratuits écrase la campagne municipale Par Ludovic Lamant
A Marseille, des campagnes municipales sous pression sociale Par Jean-Marie Leforestier (Marsactu)
Classement truqué des grands crus de Saint-Emilion: le parquet ridiculisé Par Michel Deléan
Fonds pour la gestion de l’emploi agricole: un système de prélèvements sociaux au bénéfice de la FNSEA Par Amélie Poinssot
Violences sexuelles: le coup de com’ de Schiappa sur le dos des étrangers Par Mathilde Mathieu et Ellen Salvi
Immigration: l’exécutif dégaine 20 mesures de bric et de broc pour occuper le terrain Par Mathilde Mathieu
Débat sur l’immigration: Macron plonge ses ministres dans l’embarras Par Mathilde Mathieu et Ellen Salvi
Immigration: «10 faits» brandis par l’exécutif et combien de biais? Par Mathilde Mathieu
Aide médicale aux étrangers: Macron veut un débat sur ses «excès» Par Mathilde Mathieu
PORTFOLIO Asile: à Manus, les marques d'une violence inouïe Par Photos transmises à la rédaction de Mediapart
Fouilles au centre de rétention de Rennes : le témoignage d'une visiteuse 24 mai 2019 Par Fini de rire
Accueil des migrants : 13 maires de grandes villes lancent un appel à l'État 24 avr. 2019 Par Patrick Cahez
Trois mois d’enfermement en rétention: 2019 marque un tournant dans la répression 2 janv. 2019 Par La Cimade
Immersion dans la logique pédocriminelle de Gabriel Matzneff Par Antoine Perraud
Au Togo, l’opposition est piégée par une élection verrouillée Par François Hume-Ferkatadji et Olivia Macadré
Aux confins de Pékin, la crainte du virus bouleverse le quotidien Par Jordan Pouille
Dans le budget de l’UE, cette clause qui chiffonne Viktor Orbán Par Ludovic Lamant
Avant la primaire du Nevada, Bernie Sanders plus que jamais favori et contesté Par Mathieu Magnaudeix
Le système Woerth cerné par les juges Par Fabrice Arfi, Michel Deléan, Laurent Mauduit et Yann Philippin
L’individualisation à outrance de la réforme des retraites Par Manuel Jardinaud

Après son triomphe, Jeremy Corbyn doit affronter son propre parti
Contre la guerre et contre l'austérité, le nouveau leader du parti travailliste a pris la tête du parti avec 59,5 % des voix. Mais avant même de convaincre l’électorat, il lui faudra rassembler un Labour en ébullition.
De notre correspondant à Londres (Royaume-Uni).- Il est 15 h 00, ce samedi 12 septembre, sur la place du Parlement, face à Westminster, et des dizaines de milliers de personnes déferlent avec des panneaux en soutien aux réfugiés. La manifestation est prévue depuis quelque temps déjà mais elle prend soudain un tour très politique. Jeremy Corbyn, élu à la tête du parti travailliste trois heures et demie plus tôt, y prononce son tout premier discours. « Je n’ai jamais vu la place du Parlement aussi belle et heureuse qu’aujourd’hui !, lance-t-il. Nous n’avons plus à avoir peur de l’extrême droite et des racistes. Un soulèvement populaire en faveur de la décence et de l’humanité est en marche. »
Mais qui est Jeremy Corbyn? 10 déc. 2019 Par Martin Benoit
 ===== ====== ====== ====
Après son triomphe, Jeremy Corbyn doit affronter son propre parti
Contre la guerre et contre l'austérité, le nouveau leader du parti travailliste a pris la tête du parti avec 59,5 % des voix. Mais avant même de convaincre l’électorat, il lui faudra rassembler un Labour en ébullition.
De notre correspondant à Londres (Royaume-Uni).- Il est 15 h 00, ce samedi 12 septembre, sur la place du Parlement, face à Westminster, et des dizaines de milliers de personnes déferlent avec des panneaux en soutien aux réfugiés. La manifestation est prévue depuis quelque temps déjà mais elle prend soudain un tour très politique. Jeremy Corbyn, élu à la tête du parti travailliste trois heures et demie plus tôt, y prononce son tout premier discours. « Je n’ai jamais vu la place du Parlement aussi belle et heureuse qu’aujourd’hui !, lance-t-il. Nous n’avons plus à avoir peur de l’extrême droite et des racistes. Un soulèvement populaire en faveur de la décence et de l’humanité est en marche. »
Jair Bolsonaro mène une offensive généralisée contre les autochtones Par Jean-Mathieu Albertini
La BCE se rêve en chef d’orchestre de la transition écologique Par Martine Orange
Un féminicide étalé dans les journaux révulse le Mexique Par Marie Hibon
Football Leaks: l’UEFA bannit Manchester City de la Ligue des champions Par Yann Philippin
Aux Etats-Unis, le pouvoir des images contre les violences policières Par Mathieu Magnaudeix
MediapartLive «hors les murs» avec ceux qui veulent sauver l’hôpital public Par La rédaction de Mediapart
Un droit de réponse d’Augustin de Romanet Par La rédaction de Mediapart
Municipales: altercation lors d’une séance de tractage à Vitry-sur-Seine Par La rédaction de Mediapart
L’enquête sur la mort d’un jeune homme en cellule de dégrisement relancée Par La rédaction de Mediapart
Gilets jaunes: Maxime Nicolle et Eric Drouet verbalisés à Paris Par La rédaction de Mediapart
PODCAST Après le Brexit, Londres risque de devenir un «super-paradis fiscal» Par Ludovic Lamant
WEBDOC «Colis suspect», à qui profite la fermeture des frontières européennes Par Sofia Català Vidal & Rosa Pérez Masdeu
PODCAST Bruxelles, place forte des lobbies? Par Ludovic Lamant
Le ministère de l'intérieur refuse la naturalisation d'un Britannique 1 févr. 2020 Par Patrick Cahez
Élection britannique: les raisons de l’échec du corbynisme 16 déc. 2019 Par Philippe Marlière
Mais qui est Jeremy Corbyn? 10 déc. 2019 Par Martin Benoit
Retraites: les gauches veulent «tenir la tranchée», la majorité souhaite (enfin) débattre Par Manuel Jardinaud
Le chômage baisse, mais pas de «miracle de l'emploi» Par Romaric Godin
Au Brésil, une offensive généralisée contre les autochtones Par Jean-Mathieu Albertini
Querelle sur Léonard de Vinci: un expert attaque le Louvre Par Karl Laske
Un nouveau féminicide révulse le Mexique Par Marie Hibon
Usul. L’affaire Mila est un «révélateur» Par Usul et Rémi Liechti
Castaner veut contrôler le droit de filmer Par Pascale Pascariello
Les abus policiers en neuf vidéos Par Donatien Huet
Aux Etats-Unis, le pouvoir des images Par Mathieu Magnaudeix

Neymar: La police recommande d'abandonner l'enquête pour viol
La police brésilienne annoncé mardi avoir recommandé l'abandon de l'enquête pour viol visant l'international Neymar da Silva Santos Junior, dit Neymar, expliquant ne pas avoir recueilli suffisamment de preuves susceptibles de l'incriminer.
SAO PAULO (Reuters) - La police brésilienne annoncé mardi avoir recommandé l'abandon de l'enquête pour viol visant l'international Neymar da Silva Santos Junior, dit Neymar, expliquant ne pas avoir recueilli suffisamment de preuves susceptibles de l'incriminer.
 ===== ====== ====== ====
Neymar: La police recommande d'abandonner l'enquête pour viol
La police brésilienne annoncé mardi avoir recommandé l'abandon de l'enquête pour viol visant l'international Neymar da Silva Santos Junior, dit Neymar, expliquant ne pas avoir recueilli suffisamment de preuves susceptibles de l'incriminer.
SAO PAULO (Reuters) - La police brésilienne annoncé mardi avoir recommandé l'abandon de l'enquête pour viol visant l'international Neymar da Silva Santos Junior, dit Neymar, expliquant ne pas avoir recueilli suffisamment de preuves susceptibles de l'incriminer.
Mexique: près de 15 ans de prison pour l’un des assassins du journaliste Javier Valdez Par Agence France-Presse
Coronavirus: le complexe Tokyo DisneyLand/DisneySea ferme deux semaines Par Agence France-Presse
Coronavirus: les stars de la K-pop, BTS, annulent quatre dates à Séoul Par Agence France-Presse
Coronavirus: un cas recensé au Nigeria, le 1er en Afrique subsaharienne Par Agence France-Presse
Le risque d’escalade en Syrie « augmente d’heure en heure » si rien n’est fait Par Agence France-Presse

La marche à la mort de Jamal Khashoggi
Proche de la famille royale, des services secrets et de Ben Laden, le journaliste connaissait les arcanes du pouvoir saoudien. Entré en dissidence contre Mohammed ben Salmane, il réunissait derrière lui les libéraux et les islamistes, qu’il voulait faire entrer en démocratie. Un an après son assassinat, l’affaire est semi-enterrée. Le prince héritier a admis sa responsabilité. Pour montrer qu’il tenait le pays.
L’Algérien Abdullah Anas a combattu dix ans aux côtés du célèbre commandant Ahmad Shah Massoud dans les montagnes d’Afghanistan. Dans son récit To the Mountains – My Life in Jihad (Hurst Publishers), qui vient de paraître, il évoque brièvement Jamal Khashoggi. On y lit que c’est bien dans les maquis afghans que le journaliste assassiné a rencontré Oussama ben Laden. Dans un passage du livre, l’auteur mentionne le fait que Khashoggi, Ben Laden, lui-même et d’autres volontaires arabes ayant rejoint la guérilla s’emploient à convaincre les factions afghanes, peu avant la chute du « tyran rouge » Mohammad Najibullah, en avril 1992, de s’unir pour éviter la guerre civile – l’échec sera retentissant.
PODCAST L’Arabie saoudite envisage pour la première fois d’exécuter une militante des droits humains Par jean-pierre perrin
Jamal Khashoggi a été "étranglé" puis "démembré" à l'ambassade saoudienne! 1 nov. 2018 Par Freddy Mulongo
Erdoǧan, Ben Salmane, al-Sissi et Donald Trump 27 oct. 2018 Par Gabas
 ===== ====== ====== ====
La marche à la mort de Jamal Khashoggi
Proche de la famille royale, des services secrets et de Ben Laden, le journaliste connaissait les arcanes du pouvoir saoudien. Entré en dissidence contre Mohammed ben Salmane, il réunissait derrière lui les libéraux et les islamistes, qu’il voulait faire entrer en démocratie. Un an après son assassinat, l’affaire est semi-enterrée. Le prince héritier a admis sa responsabilité. Pour montrer qu’il tenait le pays.
L’Algérien Abdullah Anas a combattu dix ans aux côtés du célèbre commandant Ahmad Shah Massoud dans les montagnes d’Afghanistan. Dans son récit To the Mountains – My Life in Jihad (Hurst Publishers), qui vient de paraître, il évoque brièvement Jamal Khashoggi. On y lit que c’est bien dans les maquis afghans que le journaliste assassiné a rencontré Oussama ben Laden. Dans un passage du livre, l’auteur mentionne le fait que Khashoggi, Ben Laden, lui-même et d’autres volontaires arabes ayant rejoint la guérilla s’emploient à convaincre les factions afghanes, peu avant la chute du « tyran rouge » Mohammad Najibullah, en avril 1992, de s’unir pour éviter la guerre civile – l’échec sera retentissant.
L’Allemagne se prépare à un dépistage encore plus massif Par Thomas Schnee
En Côte d’Ivoire, les prisonniers vivent dans «des conditions inhumaines» Par Olivia Macadré et François Hume-Ferkatadji
Le marché pétrolier affronte une crise centenaire Par martine orange
Une histoire politique du balcon Par Ludovic Lamant
Bolsonaro rejette le confinement et s’isole politiquement Par Jean-Mathieu Albertini
Le pouvoir iranien ébranlé par l’épidémie Par Jean-Pierre Perrin
Arabie saoudite: le prince héritier frappe la monarchie en plein cœur Par Jean-Pierre Perrin
Iran: la chercheuse franco-iranienne Fariba Adelkhah en danger de mort Par Jean-Pierre Perrin
«Lettre à Franco»: l’honneur d’un philosophe Par Jean-Pierre Perrin
Accord «historique» de paix en Afghanistan: les talibans remportent la première manche Par Jean-Pierre Perrin
PODCAST Pétrole: les risques d'un baril à 100 dollars Par martine orange
PODCAST Quatre années de guerre ont renvoyé le Yémen 100 ans en arrière Par Thomas Cantaloube
PODCAST L’Arabie saoudite envisage pour la première fois d’exécuter une militante des droits humains Par jean-pierre perrin
Meurtre de Khashoggi : le verdict de la justice saoudienne enfin rendu 5 janv. 2019 Par Jérôme Henriques
Jamal Khashoggi a été "étranglé" puis "démembré" à l'ambassade saoudienne! 1 nov. 2018 Par Freddy Mulongo
Erdoǧan, Ben Salmane, al-Sissi et Donald Trump 27 oct. 2018 Par Gabas
L’exécutif se prépare à une «tragédie» dans les Ehpad Par Ellen Salvi
«A l’air libre». L’Outre-mer, lutter contre les violences domestiques, la Côte d’Ivoire et Rodolphe Burger Par La rédaction de Mediapart
Coronavirus: les libertés et la démocratie mises à mal Par Michel Deléan
Journal de bord des internes: «C’est comme “Un jour sans fin”» Par Antton Rouget
La crise du Covid-19 en direct. «La fin du confinement ne se fera pas en une fois et pour tout le monde» Par La rédaction de Mediapart
Faire une révolution intérieure avec Xavier de Maistre, Mona Chollet et Thomas Clerc Par Lise Wajeman
Hôpital public: la note explosive de la Caisse des dépôts Par Laurent Mauduit et martine orange
Dans les corons, un infirmier face aux urgences Par Jeremy Lempin
Confinement: la députée LREM Laetitia Avia démentie par sa collaboratrice Par David Perrotin
TevenLeScao commented 2 years ago

I've modified a few things:

thomasw21 commented 2 years ago

The reason why I use the save path existence method is I'm thinking that I don't want to relaunch unecessary jobs on JZ when I launch my huge array. In order to do so I use that heuristics to determine if a previous job has already done the job.

I've added a --from-scratch argument. Please use it when you develop so that you don't have to bother regenerating it all the time.