sosbrumadinho / brumadinho_crawlers

Armazenar scripts de coleta de dados relacionados à tragédia de Brumadinho.
MIT License
15 stars 4 forks source link

Location of missing people #2

Open disouzaleo opened 5 years ago

disouzaleo commented 5 years ago

A Vale está disponibilizando uma lista de pessoas desaparecidas, e tem atualizado essa lista com frequência. A ideia é consolidar esses dados em algum arquivo .csv para que ele possa ser consumido, para alguma coisa na aplicação já construída. Talvez fazer a coleta com Web scrapping (Scrapy)

Lista de pessoas desaparecidas: http://brumadinho.vale.com/listagem-pessoas-sem-contato.html

the-data-dude commented 5 years ago

A gente precisa que seja compartilhado conosco as localizações que foram fornecidas pelas operadoras dos celulares.

disouzaleo commented 5 years ago

Será que precisa disso ? Não seria melhor a gente tentar saber de parentes ou familiares qual foi a última vez que eles tiveram informações sobre o paradeiro da pessoa ? Fica mais fácil. E acredito que muitos deles devem estar usando o recurso de localização para tentar encontrar as pessoas através do celular.

the-data-dude commented 5 years ago

Tendo a última localização do celular é possível ter um ponto inicial para projetar o trajeto feito, tendo isso dá pra ter uma ideia inicial de onde todos estavam no começo do incidente. Depois, tendo velocidade média da água, velocidade do vento e direção do vento, dá para criar o trajeto de maneira bem assertiva. Eu não sei como só o nome e horário das pessoas pode ajudar nessa questão.

anapaulagomes commented 5 years ago

Não sei se as operadoras de celular vão compartilhar esses dados com civis por isso concordo com o @Lrodlima. Tornar isso mais colaborativo faz com que a ideia seja mais viável.

disouzaleo commented 5 years ago

Sei que tinha esse form aqui para ser cadastrado algumas informações a mais dos desaparecidos, vocês tem acesso a ele @vaniaon ou @dieegom ?

ricardojscruz commented 5 years ago

Pelos desenhos dos locais fisicos da Vale , mas as possiveis informaçoes de aglomeracoes de funcionarios/pessoas nao poderiamos criar uma versao com essas localizoes ? me parece que temos galpoes onde as possiveis vitimas estavam almocando, esse local é sabido, com ajuda do Google maps, podemos estimar a latitude e logintude e ter uma calculo aproximado.

vaniaon commented 5 years ago

Sei que tinha esse form aqui para ser cadastrado algumas informações a mais dos desaparecidos, vocês tem acesso a ele @vaniaon ou @dieegom ?

@Lrodlima , sei que tem esse aqui: https://docs.google.com/spreadsheets/d/120JXqEF8Mil7Ex_ty9tbdfNAYqZpYyJ7PIYu46teUJY/edit#gid=0

mas não sei se está atualizado

disouzaleo commented 5 years ago

Me parece ser uma boa ideia @ricardojscruz. Talvez se dessa lista que temos acesso soubessemos quem são moradores e quem são funcionários da Vale já ajudaria a começar. Daí conseguiriamos ter uma ideia aproximada da localização de várias pessoas. @dieegom e @vaniaon acham que é possível ?

ricardojscruz commented 5 years ago

Consegui umas fotos , estou tentando localizar no google maps https://g1.globo.com/mg/minas-gerais/noticia/2019/01/25/antes-e-depois-veja-imagens-do-rompimento-de-barragem-da-vale-em-brumadinho-mg.ghtml

ricardojscruz commented 5 years ago

Vamos entender a principio que existiam pessoas nos galpoes (ha informacoes confirmadas que o galpao do restaurante tinha inumeras pessoas almocando) , nao sabemos numeros ou nomes mas sabemos que tinha muitas pessoas nesso ponto. podemos começar por isso. descobrir a latitude e longitude do galpao restaurante da Vale, me parece que no Fantastico foi exibido um mapa , baseado no google maps, com os desenhos das localizacoes fisicas dos galpoes da Vale.

ricardojscruz commented 5 years ago

image

disouzaleo commented 5 years ago

Maravilha, vamos tentar obter a geolocalização então pelo Maps ou Google Earth, e supor que dezenas de pessoas estavam no Centro Admnistrativo e usar isso na simulação. Além disso, precisamos consolidar o nome das pessoas desparecidas (pensei em construir um web-crawler da lista da Vale, e que fosse sendo atualizada)

guilherme-kenzo commented 5 years ago

Pessoal, fiz um crawler para o site da Vale. Segue o Gist: https://gist.github.com/guilherme-kenzo/a39ce55c2ccfa9a8c78a4fa972b85168

Atualmente o script pega a data da última atualização e os nomes da lista e escreve em um csv. Fiquem a vontade para mudarem o que acharem necessário.

disouzaleo commented 5 years ago

Sensacional @guilherme-kenzo ! vou tentar já incluir aqui no repo, e fazer um PR

ricardojscruz commented 5 years ago

Consegui a localizacao no Google maps https://www.google.com/maps/place/Mina+C%C3%B3rrego+do+Feij%C3%A3o/@-20.125384,-44.1321895,4122m/data=!3m1!1e3!4m5!3m4!1s0xa6c850ab5e07b1:0xb14fbee3002b6278!8m2!3d-20.1063231!4d-44.1292876

disouzaleo commented 5 years ago

Temos também a lista de desaparecidos em uma planilha https://docs.google.com/spreadsheets/d/1M2AxPtzonn2Q4QWPdiW5UE8DeylO_tTGgoJ9Vkitf4E/edit#gid=0

ricardojscruz commented 5 years ago

A localizacao é essa mas preciso de mais pessoas confirmando isso. pq eu localizei vendo reportagens https://www.google.com/maps/place/Mina+C%C3%B3rrego+do+Feij%C3%A3o/@-20.1314949,-44.122602,1030m/data=!3m1!1e3!4m5!3m4!1s0xa6c850ab5e07b1:0xb14fbee3002b6278!8m2!3d-20.1063231!4d-44.1292876

ricardojscruz commented 5 years ago

image

aracnus commented 5 years ago

Gente, o mapeamento do OpenStreetMaps está mais atualizado que o do Google. E eles estão atualizando constantemente. São dados mais confiáveis do que o do GoogleMaps.

othiagomarinho commented 5 years ago

Segue Link da mesma localização porém no OpenStreetMaps:

https://www.openstreetmap.org/#map=14/-20.1276/-44.1287

disouzaleo commented 5 years ago

First PR about this issue https://github.com/dieegom/brumadinho_location/pull/19

endersonmaia commented 5 years ago

@vaniaon, @Lrodlima onde vcs conseguiram os links para estas planilhas ?

além destas ainda tem uma planilha em PDF fornecida pela Defesa Civil, linkada na página da Vale.

http://www.vale.com/brasil/PT/aboutvale/servicos-para-comunidade/minas-gerais/atualizacoes_brumadinho/Documents/PDFs/lista28-01-201914h15.pdf

vaniaon commented 5 years ago

Eu consegui do grupo do pessoal dos satélites. Publicaram lá ontem.

disouzaleo commented 5 years ago

Oi @endersonmaia eu peguei a lista do próprio site da Vale. http://brumadinho.vale.com/listagem-pessoas-sem-contato.html

PDF é um dado complicado de tratar, teriamos que ter essa lista em algum formato que conseguissimos processar. CSV, XLS ou ODT podem facilitar.

endersonmaia commented 5 years ago

juntamente com a lista com os nomes das pessoas, dá pra fazer alguns esforços :

cada uma destas medidas tem uma dificuldade, mas todas elas melhoram as estimativas do modelo de predição proposto por este projeto

endersonmaia commented 5 years ago

talvez cada um destes itens que listei acima poderia ser uma issue a parte

disouzaleo commented 5 years ago

Cara é isso aí @endersonmaia , cria as issues e vamos tentando melhorar. To pensando em inclusive fechar essa issue aqui.

endersonmaia commented 5 years ago

@Lrodlima antes de fechar, comenta aqui quais as issues que estão a substituindo, pra não perder a referencia do que já foi discutido aqui

joscelino commented 5 years ago

Trata-se de um ambiente caotico e portanto darei a abordagem devida. Corpos que foram distribuídos caoticamente (maioria) possuem maior chance de ser encontrados. Corpos que foram distribuídos pseudo-aleatoriamente, possuem pouca chance de serem encontrados. Corpos sobre estruturas possuem grande chance de serem encontrados agrupados devido a Teoria do Ponto Fixo. Ja aconteceu em Brumadinho nos casos do ônibus, caminhonete e micro-ônibus que foram encontrados e o Corpo de Bombeiros busca o mesmo na Pousada, conforme noticias. De forma pratica e rápida, matematicamente, eu pegaria o mapa da área afetada, aplicaria o Teorema de Pick para discretizar, calcularia a Dimensão Fractal de cada trecho, adicionando informações de localização de corpos ja encontrados e sinais de celular(se forem pós acidente), e focaria as buscas nas áreas de maior dimensão fractal. Simples de fazer e eficiente, não carecendo de informações que não estariam disponíveis ou cálculos mirabolantes. Outra forma, entendo que menos eficiente, seria aplicar a simulação de Monte Carlo. Espero ter contribuído. Email: joscelino@protonmail.com

tiagogsc commented 5 years ago

Dear all, due to the need of time and data to develop and calibrate a theoretical model based on differential equations, also due the huge number of contour variables involved in this real case, maybe an empirical approach based on statistics, probability or data science methods could lead this project to good outcomes in short time. I guess that does make sense to have this tool ready as soon as possible. A very good starting point is to get accesses to registers that locate people that has been found until now. To analyse locations distribution in time and space could help a lot to predict new places where people could be found.

disouzaleo commented 5 years ago

Dear all, due to the need of time and data to develop and calibrate a theoretical model based on differential equations, also due the huge number of contour variables involved in this real case, maybe an empirical approach based on statistics, probability or data science methods could lead this project to good outcomes in short time. I guess that does make sense to have this tool ready as soon as possible. A very good starting point is to get accesses to registers that locate people that has been found until now. To analyse locations distribution in time and space could help a lot to predict new places where people could be found.

Yeah, this is also my expertise - and I personally find less complicated then using other mathematical and high-intense calculation approachs. @tiagogsc

diegonoceli commented 5 years ago

Viram que conseguiram localizar parte de algum galpão? Se for um que temos as coordenadas iniciais da pra fazer uma ia pra detectar esse padrão de deslocamento e usar nas próximas estruturas. O que acham?

ghost commented 5 years ago

Tenho um arquivo .csv pronto, com nome das vítimas desaparecidas, encontradas vivas e mortas. Estou atualizando esses csv a cada nome atualizado

disouzaleo commented 5 years ago

Oi @MatheusHFrancisco também já fizemos esse CSV, dá uma olhada na pasta crawler. Estamos pegando os dados diretos do site da Vale. Falta só acrescentar os dados dos óbitos

endersonmaia commented 5 years ago

@MatheusHFrancisco atualiza um dos Google Docs disponíveis, ou integra isso com o crawler feito aqui no projeto, o que for mais prático pra vc

https://github.com/dieegom/brumadinho_location/tree/master/crawler

ghost commented 5 years ago

vou atualizar então com os dados de óbitos

Em ter, 29 de jan de 2019 15:11, Leonardo Rodrigues Lima de Souza Pinto < notifications@github.com escreveu:

Oi @MatheusHFrancisco https://github.com/MatheusHFrancisco também já fizemos esse CSV, dá uma olhada na pasta crawler. Estamos pegando os dados diretos do site da Vale. Falta só acrescentar os dados dos óbitos

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/dieegom/brumadinho_location/issues/8#issuecomment-458624667, or mute the thread https://github.com/notifications/unsubscribe-auth/AskPhynSjrl-QcUGgirgruEbbqxVMfLFks5vIIDIgaJpZM4aV7jX .

joaovillas commented 5 years ago

Até pra ajudar no algoritmo de previsão, está ai a imagem que o serviço geológico fez, eu fui olhar no mapa pra entender como a lama desceu e chegou na cidade, vendo não acreditei na distancia que ela percorreu, absurda!!! incidente-brumadinho-caminho-da-lama-3