search

D2KLab / jde-predict

Application that predicts business events, extract named entities and topics from news articles
https://jde-predict.tools.eurecom.fr/
0 stars 0 forks source link

Evaluate the quality of the annotations on news articles coming from another source than JDE #2

Closed rtroncy closed 1 year ago

rtroncy commented 1 year ago

In the ISWC 2023 demo paper, we have evaluated the results of the predictions on articles taken from the same source (JDE) than the one being used for training the supervised model for predicting business events.

Let's select 5 articles from Les Echos, Le Figaro and Le Monde, which are related to financial/business and run our predictions: business events (4 algorithms), themes and named entities. Let's evaluate a posteriori the results. A markdown file detailing the articles chosen, results obtained and analysis should be produced

ehrhart commented 1 year ago

Selected articles:

Les Echos

Le Figaro

Le Monde

ehrhart commented 1 year ago

Les Echos

Article BERT Claude-v1 GPT-4 ZeSTE
Casino : Daniel Kretinsky prendra le contrôle en mars prochain Nouvelle activité / produit (1.0) Procédure de sauvegarde (1.0), Investissement (1.0), Rachat / Cession (1.0) Rachat / Cession (1.0), Changement de Dirigeant (1.0), Procédure de sauvegarde (1.0) Fermeture de site (0.139), Extension géographique (0.132), Projet d’acquisition (0.116)
Veolia déploie un plan mondial de protection sociale « inédit » Création d’emploi / recrutement (1.0) Changement de Dirigeant (1.0), Création d’emploi / recrutement (1.0), Nouvelle activité / produit (1.0) Création d’emploi / recrutement (1.0) Rachat / Cession (0.1433), Extension géographique (0.1410), Changement de Dirigeant (0.1144)
Sanofi inaugure à Val-de-Reuil la plus grande usine de vaccins d’Europe Nouvelle activité / produit (1.0) Nouvelle implantation (1.0), Création d’emploi / recrutement (1.0), Investissement (1.0) Nouvelle implantation (1.0), Investissement (1.0), Nouvelle activité / produit (1.0) Extension géographique (0.228), Investissement (0.117)
Carrefour s'allie à sept industriels pour pousser les produits végétaux - Nouvelle activité / produit (1.0) Nouvelle activité / produit (1.0) Nouvelle activité / produit (0.221), Projet d’acquisition (0.133)
Pourquoi Novo Nordisk va racheter la medtech auvergnate Biocorp Rachat / Cession (1.0) Rachat / Cession (1.0), Nouvelle activité / produit (1.0), Projet d’acquisition (1.0) Rachat / Cession (1.0), Projet d’acquisition (1.0) Rachat / Cession (0.2042), Projet d’acquisition (0.1649), Investissement (0.1222)
Article Theme Entities
Casino : Daniel Kretinsky prendra le contrôle en mars prochain Fusion - Acquisition, Investissement Daniel Kretinsky (PER), Tribunal de commerce de Paris (MISC), Casino (ORG), Marc Ladreit de Lacharrière (PER), Attestor (ORG), Saint-Etienne (LOC), Monoprix (ORG), Franprix (ORG), Cdiscount (ORG), Supermarché Casino (ORG), Yannick Piette (PER), Weil Gotschal (PER), Jean-Pierre Farges (PER), Gibson Dunn (PER)
Veolia déploie un plan mondial de protection sociale « inédit » RSE, Ressource Humaine Veolia (ORG), Estelle Brachlianoff (PER)
Sanofi inaugure à Val-de-Reuil la plus grande usine de vaccins d’Europe Investissement, Projet Sanofi (ORG), Val-de-Reuil (LOC), Europe (LOC), Normandie (LOC), Efluelda (MISC)
Carrefour s'allie à sept industriels pour pousser les produits végétaux RSE Carrefour (ORG), Danone (ORG), Bel (ORG), Bonduelle (ORG), Français (LOC), Alexandre Bompard (PER), Auteuil (LOC), Savencia (ORG), Unilever (ORG), Andros (ORG), Nutrition & Santé (ORG)
Pourquoi Novo Nordisk va racheter la medtech auvergnate Biocorp Fusion - Acquisition, Investissement Novo Nordisk (ORG), Biocorp (ORG)

Le Figaro

Article BERT Claude-v1 GPT-4 ZeSTE
Electrique : BMW s'apprête à investir des millions dans son usine Mini d'Oxford Nouvelle implantation (1.0) Investissement (1.0), Création d'emploi / recrutement (1.0) Investissement (1.0), Création d'emploi / recrutement (1.0), Nouvelle activité / produit (1.0) Investissement (0.2445), Extension géographique (0.1664), Rachat / Cession (0.1120)
Holcim : bénéfice net en hausse de 9% au premier semestre Création d'emploi / recrutement (1.0), Projet d'acquisition (1.0) Extension géographique (1.0), Investissement (1.0), Projet d'acquisition (1.0) Rachat / Cession (1.0), Extension géographique (1.0), Investissement (1.0), Nouvelle activité / produit (1.0), Projet d'acquisition (1.0) Extension géographique (0.1860), Rachat / Cession (0.1379), Investissement (0.1271)
Le fonds activiste Trillium propose de racheter Getty Images à 3,95 milliards de dollars Rachat / Cession (1.0), Extension géographique (1.0) Rachat / Cession (1.0), Projet d'acquisition (1.0) Rachat / Cession (1.0), Projet d'acquisition (1.0) Rachat / Cession (0.2028), Investissement (0.1581), Projet d'acquisition (0.1371)
Le sucrier Tereos accueille un nouveau directeur général, Jorge Boucas Changement de Dirigeant (1.0) Changement de Dirigeant (1.0) Changement de Dirigeant (1.0) Extension géographique (0.2195), Création d'emploi / recrutement (0.1173)
Fermeture de uTip : les créateurs de contenu dans la tourmente - Fermeture de site (1.0) Fermeture de site (1.0) Fermeture de site (0.1896), Rachat / Cession (0.1479), Investissement (0.1331)
Article Theme Entities
Electrique : BMW s'apprête à investir des millions dans son usine Mini d'Oxford Investissement BMW (ORG), Mini (MISC), Royaume-Uni (LOC), Swindon (LOC), Londres (LOC), Tata (ORG), Jaguar Land Rover (ORG), ministre britannique du Commerce (ORG), Kemi Badenoch (PER), Sky News (ORG), Premier ministre (ORG), Rishi Sunak (PER), ministère des Entreprises et du commerce (ORG), Susannah Streeter (PER), Hargreaves Lansdown (ORG), Allemagne (LOC), Chine (LOC), Oxford (LOC), Mike Hawes (PER), SMMT (ORG), BMC (ORG), Rover (ORG), Peugeot (ORG), Fiat (ORG), Jeep (ORG)
Holcim : bénéfice net en hausse de 9% au premier semestre International, Investissement Holcim (ORG), Amérique du Nord (LOC), Lafarge (ORG), Inde (LOC), AWP (ORG), États-Unis (LOC), IRA (ORG), SMI (ORG), Bourse suisse (ORG), Martin Hüsler (PER), Jan Jenisch (PER), Europe (LOC), Amérique (LOC), Syrie (LOC), Glynis Johnson (PER), Jefferies (ORG)
Le fonds activiste Trillium propose de racheter Getty Images à 3,95 milliards de dollars Fusion - Acquisition, Investissement Trillium (ORG), Getty Images (ORG), Trillium Capital (ORG), Getty (ORG), Wall Street (LOC), Koch Industries (ORG), Neuberger Berman (PER), AFP (ORG), Mark Getty (PER), J. Paul Getty (PER), Bourse (ORG), Hellman & Friedman (ORG), Carlyle Group (ORG), Carlyle (PER)
Le sucrier Tereos accueille un nouveau directeur général, Jorge Boucas Carnet, Emploi Tereos (ORG), Jorge Boucas (PER), Rouiller (ORG), Sodiaal (ORG), Béghin Say (PER), Ludwig de Mot (PER), Gérard Clay (PER), Roullier (ORG), Nextenergies (ORG)
Fermeture de uTip : les créateurs de contenu dans la tourmente - uTip (MISC), Patreon (MISC), Figaro Ostpolitik (ORG), Mediapart (ORG), Blast (ORG), Youtube Stupids Economics (ORG), Arnaud Gantier (PER), Jean Massiet (PER), Backseat (MISC), Mangopay (MISC), Stanislas Mako (PER), Figaro (ORG), Crédit Mutuel (ORG), Advent International (ORG), Ko-Fi (MISC), Ostpolitik (PER), Hugo (PER)

Le Monde

Article BERT Claude-v1 GPT-4 ZeSTE
General Electric : une nouvelle perquisition pour soupçons de blanchiment de fraude fiscale - Nouvelle implantation (1.0) Procédure de sauvegarde (1.0) Extension géographique (0.181), Projet d’acquisition (0.139)
L'enseigne Naf Naf placée en redressement judiciaire - Procédure de sauvegarde (1.0), Fermeture de site (1.0) Rachat / Cession (1.0), Procédure de sauvegarde (1.0), Fermeture de site (1.0) Extension géographique (0.151), Projet d’acquisition (0.129), Rachat / Cession (0.121)
Un consortium français reprend le site des fonderies du Poitou - Rachat / Cession (1.0), Création d’emploi / recrutement (1.0), Investissement (1.0) Rachat / Cession (1.0), Création d’emploi / recrutement (1.0), Investissement (1.0) Extension géographique (0.152), Projet d’acquisition (0.125), Investissement (0.118)
Batteries de voitures électriques : Bruxelles autorise la France à verser 1,5 milliard d'euros à ProLogium pour son usine de Dunkerque Création d’emploi / recrutement (1.0) Nouvelle implantation (1.0), Création d’emploi / recrutement (1.0), Investissement (1.0) Nouvelle implantation (1.0), Création d’emploi / recrutement (1.0), Investissement (1.0) Extension géographique (0.168), Projet d’acquisition (0.149)
L'équipementier automobile Autoliv supprime 8 000 emplois principalement en Europe Création d’emploi / recrutement (1.0) Fermeture de site (1.0), Nouvelle activité / produit (1.0) Fermeture de site (1.0) Projet d’acquisition (0.196), Rachat / Cession (0.151)
Article Theme Entities
General Electric : une nouvelle perquisition pour soupçons de blanchiment de fraude fiscale International, Investissement General Electric (ORG), Belfort (LOC), GE (ORG), Parquet national financier (ORG), Monde (ORG), Agence France-Presse (ORG), AFP (ORG), PNF (ORG), TE05 (LOC), Bourogne (LOC), Territoire de Belfort (LOC), PCF (ORG), Fabien Roussel (PER), Suisse (LOC), la France (LOC), Etats-Unis (LOC), Delaware (LOC)
L'enseigne Naf Naf placée en redressement judiciaire Emploi Naf Naf (ORG), Covid-19 (MISC), Monde (ORG), Bobigny (LOC), Seine-Saint-Denis (LOC), Agence France-Presse (ORG), AFP (ORG), Angélique Idali (PER), CSE (ORG), CFDT (ORG), Camaïeu (ORG), SY (ORG), Selçuk Yilmaz (PER), Virginie Dupé (PER), Ukraine (LOC), France (LOC), PSE (ORG), Sinéquanone (LOC), Kookaï (ORG), Burton of London (ORG), André (MISC), Sergent Major (PER), Comptoir des Cotonniers (ORG), Fast Retailing (ORG), Pimkie (ORG)
Un consortium français reprend le site des fonderies du Poitou Fusion - Acquisition, Projet Fonderies du Poitou (LOC), TSE (ORG), Lhyfe (ORG), Châtellerault (LOC), Vienne (LOC), Paris (LOC), Monde (ORG), Ingrandes (LOC), Oyré (LOC), Poitiers (LOC), Renault (ORG), Alain Rousset (PER), PS (ORG), Vendée (LOC), France (LOC), Allemagne (LOC), Suède (LOC), Marville (LOC), Meuse (LOC), de France (LOC)
Batteries de voitures électriques : Bruxelles autorise la France à verser 1,5 milliard d'euros à ProLogium pour son usine de Dunkerque Investissement, Projet Bruxelles (LOC), la France (LOC), ProLogium (ORG), Dunkerque (LOC), L’Europe (LOC), Amérique du Nord (LOC), la Chine (LOC), Monde (ORG), Commission européenne (ORG), Nord (LOC), Etat (LOC), Europe (LOC), Bercy (LOC), Stellantis (PER), Mercedes (ORG), Billy-Berclau (LOC), Pas-de-Calais (LOC), Renault (ORG), Douvrin (LOC), Margrethe Vestager (PER), Taoyuan (LOC), Taïwan (LOC), Etats-Unis (LOC), Ford (ORG)
L'équipementier automobile Autoliv supprime 8 000 emplois principalement en Europe Emploi, Ressource Humaine Autoliv (ORG), Europe (LOC), Monde (ORG), Roumanie (LOC), Pologne (LOC), Hongrie (LOC), France (LOC), Turquie (LOC), Mexique (LOC), Chine (LOC), Thaïlande (LOC), Mikael Bratt (PER), Bourse de Stockholm (ORG)
ehrhart commented 1 year ago

Analysis from https://github.com/D2KLab/jde-predict/issues/2#issuecomment-1711718677 (comment has been edited to underline correctly predicted categories):

Just like on the evaluation on JDE, each algorithm gives up to 3 categories per prediction and if one of the category was identified as correct, then the algorithm is marked as giving the correct answer down below:

Les Echos

Le Figaro

Le Monde

BERT: 26.66% correct predictions Claude-v1: 86.66% correct predictions GPT-4: 86.66% correct predictions ZeSTE: 53.33% correct predictions

Themes: 86.66% correct predictions Entities: 94.60% correct entities