Update Joconde crawler - Githubissues

It seems like they have released a new search engine (www.pop.culture.gouv.fr), which displays more fields than the old one (i.e., database name, creation date, reference, latitude/longitude, and possibly more)

With the new search engine, we get the same number of results (366)... search results pop.culture.gouv.fr

...as on the old one (not sorted the same way): search results www2.culture.gouv.fr

The new search engine also uses an API which returns the informations as a JSON object. This is way better than scrapping the web page, which is what we're currently doing. The API is open-source: https://github.com/betagouv/pop.

The values are the same, but the labels are not, which means that we would probably have to make some changes to the converter. The documentation for the labels is available here: https://github.com/betagouv/pop/blob/master/apps/api/doc/joconde.md

Sample JSON output from the API (only showing first result):

{
  "JSON": {
    "responses": [{
      "took": 9,
      "timed_out": false,
      "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
      },
      "hits": {
        "total": 366,
        "max_score": 3.4071596,
        "hits": [{
          "_index": "joconde1567757102487",
          "_type": "joconde",
          "_id": "5ba50302b0be2c41cccaa4ca",
          "_score": 3.4071596,
          "_source": {
            "POP_COORDONNEES": {
              "lat": 45.431538,
              "lon": 4.387485
            },
            "PRODUCTEUR": "MUSEE",
            "BASE": "Collections des musées de France (Joconde)",
            "CONTIENT_IMAGE": "oui",
            "POP_CONTIENT_GEOLOCALISATION": "oui",
            "POP_FLAGS": [],
            "POP_IMPORT": [],
            "REFMIS": "",
            "MANQUANT": [],
            "MANQUANT_COM": "",
            "ADPT": [],
            "APPL": "",
            "APTN": "",
            "ATTR": "",
            "AUTR": "REBOUR Charles (dessinateur) ; REBOUR & COIGNET (fabricant)",
            "BIBL": "",
            "COMM": "",
            "CONTACT": "mai.musee@saint-etienne.fr",
            "COOR": "Mathilde Huet",
            "COPY": "© Saint-Etienne, musée d'Art et d'Industrie, © Service des musées de France, 2011",
            "DACQ": "1890 entrée matérielle",
            "DATA": "",
            "DATION": "",
            "DDPT": "",
            "DECV": "",
            "DENO": ["ruban"],
            "DEPO": "",
            "DESC": "Ruban en soie, gaze anglaise damassée bleu pâle brochée avec effets de franges en couleurs",
            "DESY": "",
            "DIFFU": "non",
            "DIMS": "hauteur en cm 76.2 ; largeur en cm 18.5",
            "DMAJ": "",
            "DMIS": "2011-11-10",
            "DOMN": ["textile"],
            "DREP": "",
            "ECOL": [],
            "EPOQ": [],
            "ETAT": [],
            "EXPO": "Exposition temporaire longue dispersée dans les salles d'exposition permanente (19 modules) du musée du 25 juin 2009 au 10 juin 2010. (Du 24 juin 2009 au 20 mai 2010)",
            "GENE": ["objet en rapport"],
            "GEOHI": [],
            "HIST": "Modèle identique déposé en 1878 dans les PH par Rebour et Coignet sous le n°51 ; Modèle identique déposé en 1878 dans les PH par Rebour et Coignet sous le n°51 ; voir aussi : ruban (95.71.128) motif identique",
            "IMAGE": "Oui",
            "IMG": ["joconde/10230001727/0005637.jpg"],
            "INSC": [],
            "INV": "95.71.129 ; Tg 129 (n° d'étude) ; 95-71-129 T (ancien numéro)",
            "LABEL": "Musée de France#au sens de la loi n°2002-5 du 4 janvier 2002",
            "LABO": "",
            "LARC": "",
            "LIEUX": "France, Rhône-Alpes, Loire, Saint-Etienne (lieu de création)",
            "REGION": "Auvergne-Rhône-Alpes",
            "DPT": "Loire",
            "VILLE_M": "Saint-Etienne",
            "NOMOFF": "musée d'Art et Industrie",
            "LOCA": "Saint-Etienne ; musée d'Art et d'Industrie",
            "LOCA2": "Rhône-Alpes ; Loire",
            "LOCA3": "",
            "MILL": ["1878"],
            "MILU": "",
            "MOSA": "",
            "MSGCOM": "<A HREF='mailto:sylvain.bois@saint-etienne.fr?Subject=Commande&body=Bonjour,%0D%0A%0D%0AEn provenance de la base JOCONDE - Demande de photographie et/ou de conditions d'utilisation de :%0D%0Atextile : roses / REBOUR Charles (dessinateur) ; REBOUR & COIGNET (fabricant). - N°INV=95.71.129 ; Tg 129 (n° d'étude) ; 95-71-129 T (ancien numéro)%0D%0A%0D%0AMerci.'>demande de photographie et/ou de conditions d'utilisation</A>",
            "MUSEO": "M1023",
            "NSDA": "",
            "ONOM": [],
            "PAUT": "REBOUR : ?, 1831 ; ?, 1897#REBOUR & COIGNET : Fabrique de ruban de 1876 à 1881 Dépot dans les PH entre 1876 et 1881 A l'exposition Universelle de 1878, la maison Rebour et Coignet reçoit la grande médaille et dans le rapport de J. Lafond, Le département de la Loire à l'exposition universelle de 1878, on peut noter :  Une maison surtout, celle de MM. Rebour et Coignet en se plaçant de haute lutte au premier rang, a mis Saint-Etienne en relief et donné un nouvel éclat à son antique réputation. L'exposition de MM. Rebour et Coignet attire à elle tous les visiteurs et les laisse émerveillés. Il est difficile en effet de trouver réunies autant de richesses artistiques. Il a fallu pour les concevoir le génie de M. Rebour et pour les faire naître l'incomparable habileté de son pinceau. C'est d'abord une magnifique robe de tours anglais où sont semées çà et là des roses où les tons les plus fins, les nuances les plus délicates de la nature ont été retrouvées et fondues avec un rare bonheur. Puis des flots de rubans qui reproduisent, les uns les capricieuses arabesques du cachemire, les autres ces grandes ramures aux tons à demi-effacés, comme ceux qu'on obtient par l'impression des étoffes ; ceux-ci portent sur un fond de satin blanc des boutons fermés et entourés d'un feuillage dont la soie par un artifice habile reproduit le duvet ; ceux-là au contraire, étincèlent de l'éclat brillant des fleurs épanouies. Puis c'est un fouillis de cravates mignonnes, variées à l'infini ; ici, c'est entre deux palmiers une échappée sur un paysage d'Egypte : une pyramide au fond sous un ciel brûlant, et au premier plan une petite caravane avec ses chameaux ; l'oeil étonné se demande le secret de cette perspective dans un cadre aussi restreint ; là c'est dans une gerbe de fleurs des champs, un serpent fait de brillants, qui s'échappe et déroule ses gracieux anneaux. Je ne saurais donner même une faible idée de l'invention originale et constante de cet artiste de premier ordre. Le jury, ce n'est un secret pour personne, a décerné à M. Rebour un des 150 premiers grands prix destinés à récompenser les oeuvres exceptionnelles. Mais on attend et on espère davantage ; je dis plus, on compte sur une de ces distinctions flatteuses qui consacrent le mérite aux yeux de tous. L'artiste en M. Rebour est doublé d'un homme de bien. A la hauteur de toutes les épreuves, au-dessus de toutes les ambitions, il a conquis toutes les sympathies de ses compatriotes. Je ne puis en donner au lecteur une preuve plus concluante que ces mots que plusieurs fabricants m'ont répété : nous sommes 250 fabricants de rubans à Saint-Etienne ; il n'en est pas un qui ne fut heureux d'attacher la croix à la boutonnière de M. Rebour en lui disant : vous l'avez bien gagnée.  Lors de l'exposition Universelle de 1889, Charles Rebour est hors concours en qualité de membre du jury",
            "PDAT": "",
            "PDEC": "",
            "PEOC": [],
            "PERI": ["4e quart 19e siècle"],
            "PERU": [],
            "PHOT": "© Studio Caterin",
            "PINS": "",
            "PLIEUX": "",
            "PREP": ["Ruban bleu pâle, avec décor de branches de rosier fleuries avec feuilles faites de franges et tiges épineuses"],
            "PUTI": "",
            "RANG": "",
            "REDA": ["Gidon Marielle", "Besson Sylvain"],
            "REFIM": "M102389_0005637_P.JPG,DS1,,0005637.JPG",
            "REPR": "représentation végétale (branche, rosier, rose, feuille, épine, tige)",
            "RETIF": "",
            "SREP": [],
            "STAT": ["propriété de la commune", "don", "Saint-Etienne", "musée d'Art et d'Industrie"],
            "TECH": ["soie, gaze, broché"],
            "TICO": "REBOUR Charles (dessinateur), REBOUR & COIGNET (fabricant) : roses",
            "TITR": "roses",
            "TOUT": "",
            "UTIL": [],
            "VIDEO": ["/0595/m102389_0005637_p.jpg", "/0595/m102389_0005637_v.jpg"],
            "WWW": "",
            "LVID": "",
            "REF": "10230001727",
            "__v": 0
          }
        }]
      }
    }]
  }
}

The final record would look like this (with only a few fields):

{
  "id": "10230001727",
  "url": "https://www.pop.culture.gouv.fr/notice/joconde/10230001727",
  "fields": [{
    "label": "TITR",
    "value": "roses"
  }, {
    "label": "REDA",
    "values": ["Gidon Marielle", "Besson Sylvain"]
  }, {
    "label": "INV",
    "value": "95.71.129 ; Tg 129 (n° d'étude) ; 95-71-129 T (ancien numéro)"
  }],
  "images": [{
    "url": "https://s3.eu-west-3.amazonaws.com/pop-phototeque/joconde/10230001727/0005637.jpg
  }]
}

silknow / crawler

Update Joconde crawler #5