ContaCGSIE / 07-Quantidade-de-Veiculos-por-UF-Municipio-Marca-e-Modelo

3 stars 5 forks source link

Arquivos com dados incompletos #4

Open Coutin-05 opened 4 months ago

Coutin-05 commented 4 months ago

Pessoal, a querry de vocês esta com problema, em todo o ano de 2024 nenhum arquivo contem nenhum dado identificado como 2024, isso impossibilidade qualquer forma de utilizar o material, são dados públicos, isso tem que ser tratado com mais atenção. desde março venho informando que estão fazendo isso errado e não só ninguem olha, como seguem fazendo errado.

image

ivanfmartinez commented 4 months ago

Realmente é estranho não ter nenhum veiculo fabricado em 2024 nesses dados de 2024, considerando que em anos anteriores mesmo em janeiro já apareciam veículos.

Mas nos dados que tenho utilizado a evolução das quantidades parece bem coerente.

Coutin-05 commented 4 months ago

mas no arquivo, na coluna de ano não tem nenhum 2024. pode olhar ai o material, baixa ele e procura a string "2024" não consta, ja rodei isso ai em python procurando string, ja importei direto pra power BI, eu naõ sei o que a extração da base de vocês tem, mas tem muito veículo por exemplo que da pra identificar que é 2024 porque é carro lançado esse ano constando como "sem informação", em teoria eu poderia considerar o sem informação como 2024, mas ai fui olhar e tem um fusca 1600 como sem informação também. Ja que ta aparecendo 2024 para vocês. abram esse arquivo de abril e me digam quantos são os véiculos com 2024 registrado no campo ano "Ano Fabricação Veículo CRV" Entendo que seja uma situação atipica, mas isso tem inviabilizado diversas analises na empresa onde trabalho. quando me perguntam e os dados de 2024, estamos em abril e eu tenho que dizer: não sei

ivanfmartinez commented 4 months ago

@Coutin-05 Concordo que existe um erro no ano de fabricação, mas dependendo do seu objetivo você não precisa disso.

Eu não gero esses dados só utilizo a alguns anos por isso consegui entender diversas coisas sobre eles que não são explicadas.

Se quer saber os dados de um mês especifico precisa fazer a diferença para o mês anterior. Esses dados mostram os registros ATIVOS em cada mês. Se quer saber quantos entraram em ABRIL precisa fazer a diferença para MARÇO.

O ano que vem nesses dados só importa se você precisa saber quantos veículos foram fabricados e vendidos no mesmo ano ou calculo de idade da frota. Em muitos casos seira importante ter o ano do modelo pois em um mesmo ano o veiculo muda ao mudar o ano modelo, mas sem mudar o ano de fabricação. Mas não temos o ano modelo nos dados.

Você não pode considerar "sem informação" como ano atual, pois sem informação são os carros que estão na base e ainda não foram registrados em alguma cidade. Eu considero esses veículos como os que ainda não foram "emplacados". Se acompanhar os dados mensalmente vai ver que tem casos onde os veículos ficam meses nessa situação. Isso eu confirmei acompanhando diversos meses e com casos onde sabia da situação de alguns veículos de baixo volume e portanto foi possível comparar.

Existem outros casos que não são possíveis de determinar pelo conjunto somente dos registros ativos.

Talvez com mais gente trabalhando em cima dos dados possamos descobrir mais sobre eles.

E espero que @DevLucasFontoura possa ajudar a manter esses dados atualizados rapidamente como parece estar acontecendo agora. Já vi períodos anteriores de mais de 5 meses para liberação dos dados de um mês.

Coutin-05 commented 4 months ago

Entendo, porém o que realmente utilizamos é o ano de fabricação do veículo, por exmeplo, quantos mecanismos rodoviário tem o ano de fabricação 2023 x 2024, hoje eu não consigo ver. durante o ano de 2023 essa informação vinha correta. entendo a questão da variação mês a mês mas o que precisamos mesmo é saber quantos veículos tem "Ano Fabricação Veículo CRV" com o registro 2024. Estou sendo muito cobrado por essas informações e a minha unica resposta possível tem sido: o governo tem públicado os dados sem identificar o que é 2024. Me ajuda a entender, se o material extrai até 2023 correto, onde poderia ser o erro? vocês estão utilizando o metodo "append" pra lançar os veículos novos no arquivo, ele não é feito uma extração completa da base do renavan todos os meses? porque julgando pelos dados nos CLRV o ano é um campo que consta em todos os veículos emplacados

Esteves1963 commented 3 months ago

Ivan, você comentou

"Esses dados mostram os registros ATIVOS em cada mês. Se quer saber quantos entraram em ABRIL precisa fazer a diferença para MARÇO."

Mas isto não resolve, pois os registros não estão na base, e as quantidades que possuem a coluna"Ano_fabr" nesta situação é alta, são mais de 2milhões de veículos nesta situação.

Considerando o que recomendou, fiz uma avaliação em modelos recentes, mas veja o resultado do modelo NIVUS da VW.

Na reportagem do site (https://www.autoo.com.br/emplacamentos/veiculos-mais-vendidos/2024/), informa que foram vendidos 20.508 unidades em 2024 e no arquivo CSV de abril temos 19.526 unidades sem ano de fabricação em 2 modelos (CL e HL).

Verifiquei as quantidades vendidas desde o ano de lançamento pelo site, que foi 2020 e comparei com as quantidades do arquivo CSV, a diferença é alta

Ano CSV Mercado 2020 - 0 5.259 2021 - 294 16.278 2022 - 43.027 36.664 2023 - 44.153 52.103 2024 - 0 20.508


Total 87,474 130.812

Se considerar os 19.526 unidades sem ano, a frota até 2023 fica com uma diferença de 3.000,

CSV - 107.000 Mercado - 110304

Então temos uma diferença de +- 20 mil unidades desde carro que não estão sendo exportados. O Coutin tem razão quando fala sobre a documentação do carro, porque não é somente alguns registros do ano de 2024, mas sim todos os veículos novos emplacados em 2024 não estão aparecendo no CSV.

Se puder verificar como está a informação na origem antes de gerar o arquivo CSV ou no programa está limitado até 2023, agradeço.

DevLucasFontoura commented 3 months ago

Prezado @ivanfmartinez,

Gostaria de informar que não faço mais parte da equipe da Renaest na Senatran, pois troquei de emprego e estou em uma nova posição. No entanto, já entrei em contato com o responsável pela equipe e eles estão cientes do problema mencionado. Também estão trabalhando para encontrar a melhor solução para resolvê-lo.

Atenciosamente, DevLucasFontoura

ivanfmartinez commented 3 months ago

Ivan, você comentou

"Esses dados mostram os registros ATIVOS em cada mês. Se quer saber quantos entraram em ABRIL precisa fazer a diferença para MARÇO."

Mas isto não resolve, pois os registros não estão na base, e as quantidades que possuem a coluna"Ano_fabr" nesta situação é alta, são mais de 2milhões de veículos nesta situação.

Considerando o que recomendou, fiz uma avaliação em modelos recentes, mas veja o resultado do modelo NIVUS da VW.

Na reportagem do site (https://www.autoo.com.br/emplacamentos/veiculos-mais-vendidos/2024/), informa que foram vendidos 20.508 unidades em 2024 e no arquivo CSV de abril temos 19.526 unidades sem ano de fabricação em 2 modelos (CL e HL).

Verifiquei as quantidades vendidas desde o ano de lançamento pelo site, que foi 2020 e comparei com as quantidades do arquivo CSV, a diferença é alta

Ano CSV Mercado 2020 - 0 5.259 2021 - 294 16.278 2022 - 43.027 36.664 2023 - 44.153 52.103 2024 - 0 20.508 ---------- ----------

Total 87,474 130.812

Se considerar os 19.526 unidades sem ano, a frota até 2023 fica com uma diferença de 3.000,

CSV - 107.000 Mercado - 110304

Então temos uma diferença de +- 20 mil unidades desde carro que não estão sendo exportados. O Coutin tem razão quando fala sobre a documentação do carro, porque não é somente alguns registros do ano de 2024, mas sim todos os veículos novos emplacados em 2024 não estão aparecendo no CSV.

Se puder verificar como está a informação na origem antes de gerar o arquivo CSV ou no programa está limitado até 2023, agradeço.

@Esteves1963 eu não sou da equipe que fornece os dados, sou somente um usuário deles.

O @Coutin-05 que detectou o problema do ano e depois explicou o motivo que para a analise dele faz diferença. No meu uso o ano de fabricação não importa muito.

Tenho certeza pelos dados que analiso que registros de veículos efetuados em 2024 estão dentro do arquivo. Mas não tenho referencia suficiente para entender se estão somente com ano errado ou se faltam mesmo os dados de veículos fabricados em 2024.

Quem pode mesmo explicar o que está errado nesses dados é o pessoal da SENATRAN.

O que eu já vi sobre unidades Sem Ano e sem cidade é que parecem ser as unidades ainda não "emplacadas/registradas", os fabricantes registram elas na base e elas já aparecem antes do registro final pelo comprador, eu até entendo não ter cidade/estado mas sempre pareceu estranho não ter ano.

Seria bom termos um detalhamento oficial da SENATRAN dos critérios desses dados para saber exatamente o que eles representam, muitas coisas descobri fazendo comparações entre meses diferentes e em casos onde veículos novos entraram na base. Tenho utilizado esses dados desde 2019 e utilizei também alguns anos anteriores.

Vi casos onde os números caíram por baixa de veículos. Isso só foi possível quando tive acesso a alguma referencia de veiculo de uma cidade especifica que deu baixa e por ser fora de linha foi fácil de observar que o número caiu de um mês para outro.

Não dá para somar os números e comparar diretamente com as vendas pois vai dar diferença por causa das baixas, não sei no sei exemplo se 3000 é ou não um percentual compatível com as baixas para esse modelo especifico, mas com certeza tem unidades nessa condição.