civio / verba

Explora los Telediarios de RTVE desde 2014
https://verba.civio.es
GNU Affero General Public License v3.0
33 stars 5 forks source link

¿De que habla el Telediario esta semana/mes? #93

Open dcabo opened 4 years ago

dcabo commented 4 years ago

De forma similar a lo que hace ProPublica con el Congreso, What Congress Talked About The Week of X, podríamos mostrar lo relevante de esta semana/mes en el Telediario.

ProPublica explica la parte de NLP aquí, pero otra opción es usar los propios agregadores de Elastic, en concreto el de significanttext.

No es exactamente lo mismo, pero esto compara los resultados que mencionan "PSOE" con el corpus general. No he tenido tiempo de cambiarlo para que compare esta semana con el corpus previo:

GET _search
{
    "query": {
      "bool": {
        "must": {
          "simple_query_string": {
            "query": "PSOE",
            "fields": ["text"],
            "default_operator": "AND"
          }
        },
        "filter": [
          {
            "range": {
              "programme_date": {
                "gte": "2019-11-01",
                "lte": "2019-11-31"
              }
            }
          }
        ]
      }
    },
    "size": 100,
    "aggregations" : {
        "my_sample" : {
            "sampler" : {
                "shard_size" : 100000
            },
            "aggregations": {
                "keywords" : {
                    "significant_text" : { "field" : "text" }
                }
            }
        }
    }
}