search

radar-parlamentar / radar

Estamos de mudança para o GitLab: https://gitlab.com/radar-parlamentar/radar.
http://radarparlamentar.polignu.org
84 stars 44 forks source link

Importador não funcionando? #471

Open diraol opened 6 years ago

diraol commented 6 years ago

Subi o projeto "do zero" localmente, criei o "sueper usuário" via command line e tentei realizar a importação (conv e cmsp) pela URL de importação de dados. Aparentemente o "processo" foi disparado (no browser há indicação de que a importação foi iniciada assíncronamente), mas não há qualquer indício de que o processo tenha, de fato, sido iniciado. Nos logs do nginx há indicação de que houve um GET na respectiva URL.

nginx_1 | 172.19.0.1 - - [12/May/2018:13:07:06 +0000] "GET /importar/cmsp/ HTTP/1.1" 200 48 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:59.0) Gecko/20100101 Firefox/59.0" "-"

Nos logs do container do django há só a indicação de que o importador foi chamado (log INFO).

django_1 | [pid: 39|app: 0|req: 1/1] 172.19.0.1 () {44 vars in 811 bytes} [Sat May 12 13:07:06 2018] GET /importar/cmsp/ => generated 48 bytes in 215 msecs (HTTP/1.1 200) 3 headers in 93 bytes (1 switches on core 0) django_1 | INFO 2018-05-12 13:07:25,164 Invocando importador de conv assincronamente

Nos logs do RabbitMQtambém há uma indicação de que houve uma conexão.

rabbitmq_1 | 2018-05-12 13:07:25.198 [info] <0.566.0> accepting AMQP connection <0.566.0> (172.19.0.8:60954 -> 172.19.0.4:5672) rabbitmq_1 | 2018-05-12 13:07:25.213 [info] <0.566.0> connection <0.566.0> (172.19.0.8:60954 -> 172.19.0.4:5672): user 'guest' authenticated and granted access to vhost '/'

Mas, nos logs do celery não há nada.

@leonardofl fiz algo de errado? Esqueci de algo? Você consegue rodar localmente ai?

leonardofl commented 6 years ago

Vou ver agora.

leonardofl commented 6 years ago

Rodei aqui a importação do Senado invocada pela URL. O importador foi chamado, mas deu um erro =( Mas aí foi um pau do importador em si.

Para a conv funcionou perfeitamente.

O que eu fiz: Subi o ambiente com o script run.sh, criei o super usuário (docker-compose exec django python manage.py createsuperuser) e por fim chamei a URL http://localhost/importar/conv/ pelo navegador.

leonardofl commented 6 years ago

Como vc viu o log do Celery?

Eu vi o log com o comando docker-compose logs --tail=100 -t -f celery.

diraol commented 6 years ago

Eu editei o docker-compose.yml e comentei o "service" test. Ai rodei docker-compose up ao invés de docker-compose up django. Dessa forma, o log de todos os containers aparecem no shell. ;)

leonardofl commented 6 years ago

Outro dia aconteceu algo parecido comigo... comecei a importar a cdep (chamando via URL) a importação começou... mas de repente parou! Depois disso tentei de novo chamar outra importação e não funcionou! Acho que depois de restartar o container voltou a funcionar (mas não tenho certeza, já q no fim acabei rodando o importador pelo django shell).

leonardofl commented 6 years ago

Mas a treta parece ser com o Celery... será q ele tem algum tipo de timeout default pra execução das tasks ou algo assim? @cemsbr teria algum palpite?