[cygnus-ngsi][NGSICKANSink] Add metadata required by NTI

[frbattid]

NTI stands for Norma Técnica de Interoperabilidad.

http://datos.gob.es/es/documentacion/norma-tecnica-de-interoperabilidad-de-reutilizacion-de-recursos-de-informacion

NTI-related metadata is required when integrating Cygnus with OGoov Transparecy Portal, which is based in CKAN.

• DATASET
  • title_translated: Campo a modo de objeto que contiene las traducciones del título del dataset. Estas traducciones deben ser guardadas como pares clave-valor. Por ejemplo: title_translated: {en: "Demographic data", es: "Datos Demográficos"}. El título principal del dataset hay que registrarlo igualmente en el campo "title" del dataset. Este campo se corresponde al título en el idioma por defecto del dataset, que en nuestro ckan.ogoov.com es "es" (español). Es obligatorio guardar el idioma por defecto tanto en el campo "title" como en el campo "title_translated" por restricciones de la extensión ckanext-scheming utilizada.
  • keywords: Campo que sustituye al campo "tags" de CKAN. Contiene un array por cada idioma disponible en el portal de Datos Abiertos. Por ejemplo: keywords: {en: ["demography","population"],es: ["demografía","población"]}.
  • notes_translated: Campo análogo a "title_translated", pero para la descripción del dataset. Por ejemplo: notes_translated: {en: "Main demographic data of Castilla y León and León province.", es: "Principales datos demográficos de Castilla y León y la Provincia de León."}.
  • openness_score: Grado de apertura del dataset. Puede contener los valores "0", "1", "2", "3", "4" y "5", dependiendo del grado de apertura del mismo. Por ejemplo: openness_score: "3".
  • last_updated: Campo de tipo fecha para indicar cuándo fue la última actualización conocida. Por ejemplo: last_updated: "2015-02-02".
    • update_frequency: Frecuencia de actualización conocida, indicada mediante la expresión P0Y0M0DT0H0M0S, modificando los ceros por valores numéricos. Por ejemplo: `update_frequency: "P1Y0M0DT0H0M0S" (indica una frecuencia de actualización de 1 año).
  • language: Idioma o idiomas en los que se encuentra el dataset, en caso de que sea distinto al idioma principal del catálogo de datos. Por ejemplo: language: "es" (Si el catálogo de datos por ejemplo está completamente en inglés, pero este dataset en concreto está en español).
    • spatial: Lugar al que pertenece el dataset en caso de que sea distinto del configurado como por defecto para el Catálogo de Datos. Los valores los tenemos en un array fijo (solo valores para España). En general no se suele utilizar porque coincide con el valor del Catálogo. Por ejemplo: spatial: "Cadiz" (El catátolo es de Sevilla, pero este dataset pertenece a Cádiz por el motivo que sea).
  • hasBegining y hasEnd: Cobertura temporal del dataset. Son dos campos de tipo fecha. Por ejemplo: hasBegining: "2015-01-01" y hasEnd: "2015-12-31".
  • references: Listado de recursos relacionados (enlaces) con el dataset, separados por coma. Por ejemplo: references: "http://www1.sedecatastro.gob.es , http://definicionlegal.blogspot.com.es/2012/06/la-propiedad.html".
  • conformsTo: Lista de enlaces a normativas relacionadas con el dataset separados por coma. Por ejemplo: conformsTo: "http://www.catastro.meh.es/documentos/res_241108.pdf , http://www.catastro.meh.es/documentos/norma...".
• RECURSO
  • name_translated: Campo para el título del recurso, con idéntico funcionamiento al del título para datasets. Por ejemplo: name_translated: {en: "Assets of Cultural Interest of Leon", es: "Bienes de interés Cultural de la Provincia de León"}.
  • description_translated: Campo para la descripción del recurso, con idéntico funcionamiento al de la descripción para datasets. Por ejemplo: description_translated: {en: "The legal declaration known as Assets of Cultural Interest is a figure of protection regulated by law 16/1985, of 25 June, Spain's heritage historic.1 Then this figure's maximum range was gradually taken by the legislation of the autonomous communities, entities involved in the initiation of records and studies, with the supervision of the Culture's Ministry for the definitive statement.", es: "La declaración legal denominada Bien de Interés Cultural es una figura de protección regulada por la Ley 16/1985, de 25 de junio, del Patrimonio Histórico Español.1 Posteriormente esta figura de máximo rango fue asumida paulatinamente por la legislación de las comunidades autónomas, entidades que participan en la incoación de expedientes y estudios, con la supervisión del Ministerio de Cultura para la declaración definitiva."}.
  • resource_file_information: Información adicional sobre el recurso. Por ejemplo: resource_file_information: "Información".
  • resource_filesize: Tamaño del fichero en bytes. Por ejemplo: resource_filesize: "50".
  • resource_fiware_url: URL del servicio FIWARE. Por ejemplo: resource_fiware_url: "http://orion.lab.fiware.org:1026/v1/queryContext?limit=40".
  • resource_payload: Payload del recurso para extraer los datos de FIWARE. Por ejemplo: resource_payload: "{"entities": [{"type": "bikerenting", "id": "Sevici.*", "isPattern": "true"}"
  • resource_viewing: Flag para mosrtar solo el enlace de descarga desde el portal de Datos Abiertos en lugar de cargar los datos en grid. Los valores posibles son 1 (mostrar solo enlace) o vacío (cargar datos). Por ejemplo: resource_viewing: "1".
  • resource_language: Idioma del recurso (listado predefinido de idiomas). Por ejemplo: resource_language: "es".

[frbattid]

This will be implemented by means of a Json file containing a "template" for all the possible combinations of service-subservice-entity:

{
   "services": [
      {
         "service": "<service name or regular expression>",
         "servicePaths": [
            {
               "servicePath": "<service path or regular expression>",
               "dataset_metadata": {
                  <dataset related metadata>
               },
               "entities": [
                  {
                     "entityId": "<entity ID or regular expression>",
                     "entityType": "<entity type or regular expression>",
                     "resource_metadata": {
                        <resource related metadata>
                     }
                  },
                  ...
               ]
            },
            ...
         ]
      },
      ...
   ]
}

Both the dataset and resource metadata fields could make use of "variables". When running, the variables will be replaced with specific values regarding the current processed events. Variables are quite straightforward to explain:

• SERVICE_PATH
• ENTITY_ID
• ENTITY_TYPE
• More will come...

This configuration must take into account the Name Mappings feature may alter either the service, either the service path, either the entity ID either the entity type.

[frbattid]

Please observe this is only useful for the row-like mode of NGSICKANSink, since it automatically provisions CKAN datasets.

When working in column-like mode, NTI metadata must be added, as Json payload, to the package_create operation by the admin.