brasiliapp / utils

Esse repositório contém as funções de web scrapper para manter a base do BrasiliApp com informações originais buscadas nas plataformas do governo federal
https://brasiliapp.com.br
27 stars 13 forks source link

[Discussão] pensar em forma de buscar todos os vídeos de um parlamentar. #5

Open aniltonveiga opened 10 months ago

aniltonveiga commented 10 months ago

Objetivo

Mostrar todas as falas dos deputados em eventos da câmara.

Atualmente o o script extract_speeches.py busca os vídeos em https://www2.camara.leg.br/atividade-legislativa/webcamara/arquivos/resultadoPeriodoDep?dep={nome do deputado}&dataInicio=01/01/2023&dataFim=31/12/2023

Mas esses vídeos são restritos apenas a discursos de Sessões Deliberativas, não contendo diversos outros videos e falas dos deputados em outros eventos da câmara e comissões.

Existe um endpoint /deputados/{id}/discursos (em https://dadosabertos.camara.leg.br/swagger/api.html) mas a propriedade urlVideo e urlAudio sem retorna null.

Aparentemente a única estratégia que sobre e percorrer diariamente os eventos, e extrair os vídeos de parlamentares que sejam encontrados (ex:https://www.camara.leg.br/evento-legislativo/69705) esse evento tem falas de deputados, então extrair as falas dos deputados pela web.

Aberto para discussão e sugestão.

anthonylgf commented 9 months ago

Também tentei dar uma olhada aqui sobre uma maneira de conseguir pegar os dados. Realmente os dados da API vem sem as URL's, a API de evento até retorna a descrição da fala, só que o formato não é agradável.

Acho que o jeito seria essa percorrida na página para pegar as URL's mesmo dos vídeos.