Prepare application

run application

add more a city with large source text for manual tests:

curl -X POST 'localhost:9200/gazettes/_doc/abc?pretty' -H 'Content-Type: application/json' -d'{
"source_text": "Uma força-tarefa iniciou ontem, dia 25, em 13 estações do BRT Transoeste, a primeira fase da operação de ordenamento, que vai combater ações irregulares nos ônibus articulados e nas estações. Serão coibidos calotes e o comércio ilegal tanto dentro quanto no entorno das paradas, além de acolhimento de moradores de rua. As ações para solucionar os problemas do sistema BRT foram anunciadas nesta segunda-feira pelo prefeito Marcelo Crivella, que decretou a intervenção no dia 29 passado. - Na intervenção do BRT chegou o momento das ações importantes. Primeiro, o recapeamento da calha. Tem vários trechos que estão diminuindo a velocidade dos ônibus e transformando a viagem numa coisa muito desconfortável. Outra Edvaldo Reis coisa, nós precisamos acabar com a evasão. Ela é injusta, faz com que o sistema fique O outro problema que já começou a ser enfrentado é o da pavimentação da calha por onde circulam os ônibus artiComeça repavimentação na via expressa Crivella recebe novos residentes dos hospitais e promove ações na saúde O prefeito Marcelo Crivella abriu ontem, no Museu do Amanhã, o Programa de Residências em Saúde da Prefeitura do Rio. São 416 novos médicos, enfermeiros e profissionais de saúde mental residentes que chegam para reforçar as equipes dos hospitais e institutos da rede municipal. No mesmo evento, Crivella anunciou, com a secretária municipal de Saúde, Beatriz Busch, a ampliação da oferta de métodos contraceptivos na rede pública da cidade. E ainda apresentou um balanço sobre o primeiro ano de gestão da Empresa Pública de Saúde do Rio de Janeiro (RioSaúde) no Hospital Municipal Rocha Faria, em Campo Grande. No período, o número de atendimentos cresceu, assim como a aprovação da população: 84% dos usuários hoje recomendam a unidade. – O Rio se engrandece e se dignifica hoje com a presença de centenas de residentes que começam a atuar em nossos hospitais públicos. Também estamos festejando mais de 180 mil atendimentos que foram feitos no Rocha Faria depois que a RioSaúde o assumiu – destacou o prefeito, que concluiu: – Nossa secretária lançou hoje um programa muito importante, que vai ajudar as mulheres a fazer planejamento familiar com o DIU, o Dispositivo Intrauterino de cobre, que, colocado no útero, evita gravidez indesejada. No Rio nascem 80 mil bebês por ano, uns 50 mil na rede pública, e em mais da metade dos casos as mães não estavam preparadas para engravidar. O DIU é um dispositivo não abortivo, sem contraindicação para a mulher, pode ser usado por dez anos e vai ser colocado nas clínicas de família ou nas maternidades, logo depois do parto, se a mulher assim desejar. Rocha Faria aumenta número de atendimentos O Hospital Rocha Faria voltou a ser referência na Zona Oeste, após sofrer um choque de gestão com a saída da organização social que o administrava. Em um ano, a RioSaúde fez aumentar o número de atendimentos e a aprovação da população. Foram 182.842 acolhimentos em 2018, com média mensal de internações 66% maior do que em 2017 e 7% mais cirurgias do que no ano anterior. O tempo médio de espera pela consulta caiu para menos de 50 minutos, mesmo padrão da rede privada. E os casos graves são atendidos na hora. Haverá combate ao calote e ao comércio ilegal em 13 estações e recuperação de vias expressas para ônibus inviável economicamente, não há troca de ônibus, nem modernização. Então, precisamos que as pessoas que andam de BRT paguem como todos. Também vamos reprimir o comércio ilegal nas estações. O comércio só pode ser feito se estiver regularizado - afirmou Crivella. As equipes da Guarda Municipal, da Comlurb, da Coordenadoria de Controle Urbano e das secretarias de Ordem Pública, de Conservação e Meio Ambiente, de Transportes e da Assistência Social e Direitos Humanos se reuniram no Centro de Controle Operacional do BRT, na Barra da Tijuca, e de lá partiram para a estação Salvador Allende, no Recreio. A ação de ordenamento desmontou barracas e apreendeu o material vendido irregularmente dentro e fora do terminal. culados. O processo de recuperação de vias expressas do BRT, com a fresagem e repavimentação emergencial dos trechos mais críticos da faixa de rolagem dos ônibus, teve início na noite de sábado, dia 23. Falhas no projeto do corredor Transoeste, inaugurado em 2012, levaram à utilização de materiais e técnicas inadequados para o solo da região, o que provoca constantes depressões e elevações na pista, danificando os veículos.",
"date": "2021-04-21",
"power": "executive",
"file_checksum": "2566f0e0ff98d899ee0633da64bc65e56",
"file_path": "3304557/2019-02-26/c942328486185aa09ec19a7c723b3a33847258ee",
"file_url": "https://doweb.rio.rj.gov.br/portal/edicoes/download/4067",
"url": "https://doweb.rio.rj.gov.br/portal/edicoes/download/4067",
"scraped_at": "2020-10-30T07:04:29.796347",
"created_at": "2020-10-30T07:05:33.094289",
"territory_id": "3304557",
"territory_name": "Rio de Janeiro",
"state_code": "RJ",
"edition_number": "123.45",
"is_extra_edition": "false"
}'

tests without territory filter

search for aumentar

[ ] should return hightlight text

{
"total_gazettes": 1,
"gazettes": [
{
  "territory_id": "3304557",
  "date": "2021-04-21",
  "edition": "123.45",
  "url": "https://doweb.rio.rj.gov.br/portal/edicoes/download/4067",
  "territory_name": "Rio de Janeiro",
  "state_code": "RJ",
  "highlight_texts": ["Em um ano, a RioSaúde fez <b>aumentar</b> o número de atendimentos e a aprovação da população."],
  "is_extra_edition": false
}
]
}

search for aumentar without tags parameters

[ ] should return hightlight text without markup

{
"gazettes": [
    {
        "territory_id": "3304557",
        "date": "2021-04-21",
        "edition": "123.45",
        "url": "https://doweb.rio.rj.gov.br/portal/edicoes/download/4067",
        "territory_name": "Rio de Janeiro",
        "state_code": "RJ",
        "highlight_texts": ["Em um ano, a RioSaúde fez aumentar o número de atendimentos e a aprovação da população."],
        "is_extra_edition": false
    }
],
"total_gazettes": 1
}

tests with territory filter

search for aumentar

[ ] should return hightlight text

{
"total_gazettes": 1,
"gazettes": [
{
  "territory_id": "3304557",
  "date": "2021-04-21",
  "edition": "123.45",
  "url": "https://doweb.rio.rj.gov.br/portal/edicoes/download/4067",
  "territory_name": "Rio de Janeiro",
  "state_code": "RJ",
  "highlight_texts": ["Em um ano, a RioSaúde fez <b>aumentar</b> o número de atendimentos e a aprovação da população."],
  "is_extra_edition": false
}
]
}

search for aumentar without tags parameters

[ ] should return hightlight text without markup

{
"gazettes": [
    {
        "territory_id": "3304557",
        "date": "2021-04-21",
        "edition": "123.45",
        "url": "https://doweb.rio.rj.gov.br/portal/edicoes/download/4067",
        "territory_name": "Rio de Janeiro",
        "state_code": "RJ",
        "highlight_texts": ["Em um ano, a RioSaúde fez aumentar o número de atendimentos e a aprovação da população."],
        "is_extra_edition": false
    }
],
"total_gazettes": 1
}

jvanz commented 3 years ago

Byu the way. Thank you for this change! This feature is really cool! :)

jvanz commented 3 years ago

Please, take a look in the make test-all

======================================================================
ERROR: test_consecutive_page_items_should_have_older_dates (tests.elasticsearch_tests.ElasticSearchDataMapperPaginationTest)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/mnt/code/tests/elasticsearch_tests.py", line 776, in test_consecutive_page_items_should_have_older_dates
    first_page = self._mapper.get_gazettes(
  File "/mnt/code/database/elasticsearch.py", line 143, in get_gazettes
    self.create_list_with_gazette_objects(gazettes["hits"]["hits"]),
  File "/mnt/code/database/elasticsearch.py", line 120, in create_list_with_gazette_objects
    return [self._assemble_gazette_object(gazette) for gazette in gazette_hits]
  File "/mnt/code/database/elasticsearch.py", line 120, in <listcomp>
    return [self._assemble_gazette_object(gazette) for gazette in gazette_hits]
  File "/mnt/code/database/elasticsearch.py", line 114, in _assemble_gazette_object
    gazette["highlight"].get("source_text", []),
KeyError: 'highlight'

----------------------------------------------------------------------
Ran 31 tests in 55.032s

FAILED (errors=1, expected failures=1)
make: *** [Makefile:84: retest] Error 1

jvanz commented 3 years ago

FYI: make test-all runs the integration test which start an ES instance and run tests on it.

okfn-brasil / querido-diario-api

Return highlight text #25

Prepare application

tests without territory filter

tests with territory filter