Fonctionnalités d'alignement, dédoublonnage, fusion d'entités

[gotnc]

Ce ticket permet de synthétiser en un seul ticket la spécification de l’ensemble des fonctionnalités ayant trait à l’alignement, au dédoublonnage, et à la fusion d’entités. En amont du rapport final qui devra donner un avis spécifique sur chacune de ces fonctionnalités, l’objet du présent ticket est de fournir des orientations de plus haut niveau sur ce qu’il conviendrait de faire pour répondre aux besoins spécifiques du POC sur cette question.

L’avis portera sur les points suivants :

• Possibilité de construire des alignements avec des référentiels cibles, voir #190
• Possibilité, au sein des entités du FNE, d’identifier des doublons, et cas échéant de fusionner des entités, voir notamment #39 :
  • contrôles en tâche de fond (critères de comparaison, modalités/fréquence paramétrables) pour détecter les doublons existants et produire un rapport
  • existence d’une fonctionnalité de fusion permettant le dédoublonnage d’entités. Il est attendu que le fonctionnement de cette fonctionnalité WB soit décrit précisément, voir aussi ticket #221
• Mise en place d’alerte à la production de doublons : #34. En temps réel, l’application doit opérer un contrôle consistant à la comparaison d’une combinaison de propriétés (paramétrable, voir notion de point d’accès) ou de propriétés particulières (par exemple P “identifiant ISNI”). Commentaire Maxime dans #34: “Existe dans une certaine mesure : à la création d'un élément avec un label et une description déjà utilisé, le message suivant s'affiche : "L’élément xyz (Q123) a déjà le libellé « xyz » associé au code de langue en, qui utilise exactement le même texte descriptif." → Le contrôle d’unicité sur le label est bien sûr essentiel, mais nous attendons un avis supplémentaire sur la mise en place de contrôles similaires sur les statements d’entité.

Le ticket est considéré clos lorsque les tickets #221, #222 (et #202) ont été eux-mêmes clos et que les éléments de réponse ont été amenés en commentaire.

[gotnc]

Je partage ici quelques liens qui m'ont permis d'appréhender la questions sous plusieurs angles :

https://www.wikidata.org/wiki/Help:Merge : récap de plusieurs outils qui permettent d'identifier des doublons et de fusionner quand nécessaire Voir notamment : https://www.wikidata.org/wiki/Help:QuickStatements#Item_merging (avec quick statements donc) et la fonctionnalité qui permet de marquer comme doublon https://www.wikidata.org/wiki/User:Mat%C4%9Bj_Such%C3%A1nek/markasduplicate.js

Ce qui est intéressant aussi : le fait que certains rapports (database reports) sont en partie créés sur des dumps de wikidata (à l'extérieur donc de wikibase) https://www.wikidata.org/wiki/Category:Merge_candidates https://www.wikidata.org/wiki/Wikidata:Database_reports

[benbober]

Scénario de fusion:

• Création dans https://test.wikidata.org de deux entités, Test_FNE (Q210416) et Test_FNE_fusion (Q210417).

  

• Special pages=>merge items From Q210416 to Q210417

• Résultat ici:

  

Observations :

• Pas possible de fusionner des entités qui ont une description différente ! Erreur "conflicting description for language". Pas de problème si label différent.
• Fusion d'une entité vers une autre. L'entité vers laquelle on fusionne est maintenue, mise en place d'une redirection
• Le Label de l'entité fusionnée est mise en alias de l'entité cible.
• Les alias des deux entités sont regroupés et dédoublonnés. La casse n'est pas prise en compte (ex gardera TestFNE et Testfne)
• Quand les deux entités ont un claim identique, maintien d'un unique claim au sein du statement
• Quand les deux entités ont un claim différent, 2 claims au sein du statement
• Quand un statement est présent dans une seule entité, maintien de ce statement
• Le choix du sens de fusion n'a pas de conséquence sur le ranking, et cela n'est pas paramétrable sur l'interface de fusion
• Problème lors de l'annulation de la fusion (cf commentaire ci-dessous)

[benbober]

Problème lors de l'annulation de la fusion:

• Quand on restaure l'entité cible (Q210417) dans son état avant fusion, on récupère bien la notice telle qu'elle était. Attention: cette action n'annule pas la fusion, mais restaure uniquement la page dans son état antérieur
• L'entité source (Q210416) subit toujours une redirection vers Q210417, mais dans son état antérieur à la restauration, c'est-à-dire dans son état juste après fusion. L'entité Q210417 s'affiche donc différemment à l'URL https://test.wikidata.org/wiki/Q210417 suivant qu'on y accède directement ou via une redirection automatique depuis https://test.wikidata.org/wiki/Q210416. A noter que depuis l'API (https://test.wikidata.org/w/api.php?action=wbgetentities&ids=Q210416&format=json) les statements sont bien ceux de la Q210417 après annulation de la fusion. Je n'ai pas trouvé l'accès au query service de test pour voir le comportement.
• Une erreur se produit lorsqu'on souhaite restaurer la Q210416 avant fusion

  @maxlath , @jum-s , c'est un comportement connu ? c'est propre à l'instance de test ? Faut-il faire un ticket sur phabricator ?

[benbober]

Complément au problème: j'ai créé deux entités autres entités Q210418 et Q210419, en émettant l'hypothèse que l'ordre dans lequel se fait les restaurations (cible puis source ou source puis cible) avait une incidence, mais non, tout marche bien cette fois-ci. Je me replonge dans ce que j'ai fait pas à pas pour l'exemple précédent

[jum-s]

la documentation explicite le comportement. L'ordre des actions est important, mais sur des entités qui n'ont pas de sitelinks cela ne devrait pas poser problème.

[jum-s]

Voici un test pour restaurer l'état initial de deux entités fusionnées :

Prérequis :

• création de 2 entités (mergeTo et mergeFrom)
• fusion de mergeFrom vers mergeTo

Déroulement :

• suppression de la redirection mergeFrom en cliquant sur restore
• annulation des modifications de mergeFrom en cliquant sur undo
• annulation de mergeTo en cliquant sur undo

[maxlath]

Sur les différences de comportements entre la page Special:MergeItems et l'API wbmergeitems, on peut se référer à leur code source respectif :

• Wikibase/repo/includes/Specials/SpecialMergeItems.php
• Wikibase/repo/includes/Api/MergeItems.php