Campo numérico para tipo de despesa

Montanhabio commented 2 years ago

Existe um código relativo às despesas, pois no arquivo de despesas dos deputados, a despesa é uma string. Isso dificulta os filtros de busca devido aos acentos e cedilhas. Existe algum campo que possa ser usado como código da despesa ? Obrigado

cauefelipe1 commented 2 years ago

Não apenas um campo numérico, mas se possível o campo e uma com os possíves valores desse enum.

Montanhabio commented 2 years ago

O que não dá pra entender é como um campo importante como o tipo da Despesa é uma string cheia de acentos, cedilha, pontuação e espaços. Usar esse campo para pesquisa e manipulação está bem complicado. Não tem consistência nos resultados. Meu trabalho está parada por causa disso e vou ter que criar uma "gambiarra " para continuar.

Em qui., 14 de out. de 2021 22:27, Caue Carvalho @.***> escreveu:

Não apenas um campo numérico, mas se possível o campo e uma com os possíves valores desse enum.

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub https://github.com/CamaraDosDeputados/dados-abertos/issues/315#issuecomment-943905984, or unsubscribe https://github.com/notifications/unsubscribe-auth/AL63NFMU42HTTXWNJHP4QKTUG57OJANCNFSM5FQDTWWA . Triage notifications on the go with GitHub Mobile for iOS https://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675 or Android https://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub.

EquipeDadosAbertosCD commented 2 years ago

Olá, pessoal!

A classificação numérica dos tipos de despesas já está nos arquivos. São os campos numSubCota e numEspecificacaoSubCota. Talvez vocês não tenham visto aqui mesmo, em outra issue, uma tabela que descreve os campos dos arquivos, feita pela área responsável pelos dados ainda na época em que era ela a responsável pela publicação.

Os tipos de despesas cadastrados no momento, extraídos dos arquivos, são as seguintes:

numSubCota	numEspecificacaoSubCota	txtDescricao	txtDescricaoEspecificacao
1	0	MANUTENÇÃO DE ESCRITÓRIO DE APOIO À ATIVIDADE PARLAMENTAR
2	0	LOCOMOÇÃO, ALIMENTAÇÃO E HOSPEDAGEM
3	1	COMBUSTÍVEIS E LUBRIFICANTES.	Veículos Automotores
3	2	COMBUSTÍVEIS E LUBRIFICANTES.	Embarcações
3	3	COMBUSTÍVEIS E LUBRIFICANTES.	Aeronaves
3	4	COMBUSTÍVEIS E LUBRIFICANTES.	Sem especificações
4	0	CONSULTORIAS, PESQUISAS E TRABALHOS TÉCNICOS.
5	0	DIVULGAÇÃO DA ATIVIDADE PARLAMENTAR.
6	0	AQUISIÇÃO DE MATERIAL DE ESCRITÓRIO.
7	0	AQUISIÇÃO OU LOC. DE SOFTWARE	SERV. POSTAIS
8	0	SERVIÇO DE SEGURANÇA PRESTADO POR EMPRESA ESPECIALIZADA.
9	0	PASSAGEM AÉREA - REEMBOLSO
10	0	TELEFONIA
11	0	SERVIÇOS POSTAIS
12	0	ASSINATURA DE PUBLICAÇÕES
13	0	FORNECIMENTO DE ALIMENTAÇÃO DO PARLAMENTAR
14	0	HOSPEDAGEM ,EXCETO DO PARLAMENTAR NO DISTRITO FEDERAL.
15	0	LOCAÇÃO DE VEÍCULOS AUTOMOTORES OU FRETAMENTO DE EMBARCAÇÕES
119	0	LOCAÇÃO OU FRETAMENTO DE AERONAVES
120	0	LOCAÇÃO OU FRETAMENTO DE VEÍCULOS AUTOMOTORES
121	0	LOCAÇÃO OU FRETAMENTO DE EMBARCAÇÕES
122	0	SERVIÇO DE TÁXI, PEDÁGIO E ESTACIONAMENTO
123	0	PASSAGENS TERRESTRES, MARÍTIMAS OU FLUVIAIS
137	0	PARTICIPAÇÃO EM CURSO, PALESTRA OU EVENTO SIMILAR
998	0	PASSAGEM AÉREA - SIGEPA
999	0	PASSAGEM AÉREA - RPA

Até o momento, os arquivos para download dos dados sobre uso da "Cota Parlamentar" mantêm basicamente a mesma estrutura desde quando começaram a ser publicados (2011, salvo engano), com apenas as seguintes diferenças:

há cinco formatos na versão mais nova, todos em UTF-8. Os arquivos antigos, só XML em UTF-16.
agora os arquivos são divididos por ano das despesas. Antes, havia um arquivo "AnoAtual.zip" e um arquivo "AnosAnteriores.zip" de uns 130 MB que se expandia para mais ou menos 4,5 GB.

Essa estrutura ainda é definida pela própria tabela de banco de onde vêm os dados, que é mantida pela área responsável pelo sistema de registro das despesas parlamentares. Apenas para a API o serviço de Dados Abertos faz alguns ajustes, para publicação pelo endpoint /deputados/{id}/despesas. Os arquivos realmente não seguem bem os padrões adotados pelo Dados Abertos para a API e para os demais arquivos. Mas a estrutura não foi alterada para permitir que os usuários dos arquivos antigos pudessem adotar os novos mais facilmente, e também porque temos priorizado a publicação das informações sobre as atividades legislativas propriamente ditas.

Também por esta segunda razão ainda não criamos arquivos ou um endpoint da API que enumere os tipos de despesas e seus códigos. Não há uma tabela com esses dados na base a que temos acesso. Há pouco tempo passamos a ter uma base de dados própria para pequenos trabalhos de ETL, e esta tabela de referência é uma boa ideia para implementarmos em algum futuro breve.

Abraços!

Fabricio Rocha Equipe Dados Abertos - Câmara

Montanhabio commented 2 years ago

Muito obrigado Desculpe pelo incômodo Até mais

Em sex., 15 de out. de 2021 15:57, Serviço de Dados Abertos - Câmara dos Deputados @.***> escreveu:

Olá, pessoal!

A classificação numérica dos tipos de despesas já está nos arquivos. São os campos numSubCota e numEspecificacaoSubCota. Talvez vocês não tenham visto aqui mesmo, em outra issue https://github.com/CamaraDosDeputados/dados-abertos/issues/106#issuecomment-332967520, uma tabela que descreve os campos dos arquivos, feita pela área responsável pelos dados ainda na época em que era ela a responsável pela publicação.

Os tipos de despesas cadastrados no momento, extraídos dos arquivos, são as seguintes: numSubCota numEspecificacaoSubCota txtDescricao txtDescricaoEspecificacao 1 0 MANUTENÇÃO DE ESCRITÓRIO DE APOIO À ATIVIDADE PARLAMENTAR 2 0 LOCOMOÇÃO, ALIMENTAÇÃO E HOSPEDAGEM 3 1 COMBUSTÍVEIS E LUBRIFICANTES. Veículos Automotores 3 2 COMBUSTÍVEIS E LUBRIFICANTES. Embarcações 3 3 COMBUSTÍVEIS E LUBRIFICANTES. Aeronaves 3 4 COMBUSTÍVEIS E LUBRIFICANTES. Sem especificações 4 0 CONSULTORIAS, PESQUISAS E TRABALHOS TÉCNICOS. 5 0 DIVULGAÇÃO DA ATIVIDADE PARLAMENTAR. 6 0 AQUISIÇÃO DE MATERIAL DE ESCRITÓRIO. 7 0 AQUISIÇÃO OU LOC. DE SOFTWARE SERV. POSTAIS 8 0 SERVIÇO DE SEGURANÇA PRESTADO POR EMPRESA ESPECIALIZADA. 9 0 PASSAGEM AÉREA - REEMBOLSO 10 0 TELEFONIA 11 0 SERVIÇOS POSTAIS 12 0 ASSINATURA DE PUBLICAÇÕES 13 0 FORNECIMENTO DE ALIMENTAÇÃO DO PARLAMENTAR 14 0 HOSPEDAGEM ,EXCETO DO PARLAMENTAR NO DISTRITO FEDERAL. 15 0 LOCAÇÃO DE VEÍCULOS AUTOMOTORES OU FRETAMENTO DE EMBARCAÇÕES 119 0 LOCAÇÃO OU FRETAMENTO DE AERONAVES 120 0 LOCAÇÃO OU FRETAMENTO DE VEÍCULOS AUTOMOTORES 121 0 LOCAÇÃO OU FRETAMENTO DE EMBARCAÇÕES 122 0 SERVIÇO DE TÁXI, PEDÁGIO E ESTACIONAMENTO 123 0 PASSAGENS TERRESTRES, MARÍTIMAS OU FLUVIAIS 137 0 PARTICIPAÇÃO EM CURSO, PALESTRA OU EVENTO SIMILAR 998 0 PASSAGEM AÉREA - SIGEPA 999 0 PASSAGEM AÉREA - RPA

Até o momento, os arquivos para download dos dados sobre uso da "Cota Parlamentar" mantêm basicamente a mesma estrutura desde quando começaram a ser publicados (2011, salvo engano), com apenas as seguintes diferenças:

há cinco formatos na versão mais nova, todos em UTF-8. Os arquivos antigos, só XML em UTF-16.

agora os arquivos são divididos por ano das despesas. Antes, havia um arquivo "AnoAtual.zip" e um arquivo "AnosAnteriores.zip" de uns 130 MB que se expandia para mais ou menos 4,5 GB.

Essa estrutura ainda é definida pela própria tabela de banco de onde vêm os dados, que é mantida pela área responsável pelo sistema de registro das despesas parlamentares. Apenas para a API o serviço de Dados Abertos faz alguns ajustes, para publicação pelo endpoint /deputados/{id}/despesas. Os arquivos realmente não seguem bem os padrões adotados pelo Dados Abertos para a API e para os demais arquivos. Mas a estrutura não foi alterada para permitir que os usuários dos arquivos antigos pudessem adotar os novos mais facilmente, e também porque temos priorizado a publicação das informações sobre as atividades legislativas propriamente ditas.

Também por esta segunda razão ainda não criamos arquivos ou um endpoint da API que enumere os tipos de despesas e seus códigos. Não há uma tabela com esses dados na base a que temos acesso. Há pouco tempo passamos a ter uma base de dados própria para pequenos trabalhos de ETL, e esta tabela de referência é uma boa ideia para implementarmos em algum futuro breve.

Abraços!

Fabricio Rocha Equipe Dados Abertos - Câmara

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub https://github.com/CamaraDosDeputados/dados-abertos/issues/315#issuecomment-944548187, or unsubscribe https://github.com/notifications/unsubscribe-auth/AL63NFI5VN3XBPT53DJUURDUHB2SXANCNFSM5FQDTWWA . Triage notifications on the go with GitHub Mobile for iOS https://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675 or Android https://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub.

cauefelipe1 commented 2 years ago

Então, mas para quem usa os dados pela API não é possível adicionar campos que se refiram a essa tabela? Eu não consegui fazer nenhum mapeamento entre a tabela e a respoat do endpoint /deputados/{id}/despesas

Ou caso eu esteja fazendo algo errado, poderia me indicar qual é o campo no JSON de resposta doenpoint citado:

{
      "ano": 2021,
      "mes": 9,
      "tipoDespesa": "MANUTENÇÃO DE ESCRITÓRIO DE APOIO À ATIVIDADE PARLAMENTAR",
      "codDocumento": 7264336,
      "tipoDocumento": "Recibos/Outros",
      "codTipoDocumento": 1,
      "dataDocumento": "2021-10-04",
      "numDocumento": "S/N",
      "valorDocumento": 5000,
      "urlDocumento": "https://www.camara.leg.br/cota-parlamentar/documentos/publ/3308/2021/7264336.pdf",
      "nomeFornecedor": "NELY PRADO MASUKO",
      "cnpjCpfFornecedor": "42886333972",
      "valorLiquido": 5000,
      "valorGlosa": 0,
      "numRessarcimento": "",
      "codLote": 1797945,
      "parcela": 0
    }

Montanhabio commented 2 years ago

Sim. Verdade. Pra consumir a API não tem como. A única referência para o tipo de despesa é string. Infelizmente, o trabalho fica inconsistente.

Em sáb., 16 de out. de 2021 09:26, Caue Carvalho @.***> escreveu:

Então, mas para quem usa os dados pela API não é possível adicionar campos que se refiram a essa tabela? Eu não consegui fazer nenhum mapeamento entre a tabela e a respoat do endpoint /deputados/{id}/despesas

Ou caso eu esteja fazendo algo errado, poderia me indicar qual é o campo no JSON de resposta doenpoint citado:

{
  "ano": 2021,

  "mes": 9,

  "tipoDespesa": "MANUTENÇÃO DE ESCRITÓRIO DE APOIO À ATIVIDADE PARLAMENTAR",

  "codDocumento": 7264336,

  "tipoDocumento": "Recibos/Outros",

  "codTipoDocumento": 1,

  "dataDocumento": "2021-10-04",

  "numDocumento": "S/N",

  "valorDocumento": 5000,

  "urlDocumento": "https://www.camara.leg.br/cota-parlamentar/documentos/publ/3308/2021/7264336.pdf",

  "nomeFornecedor": "NELY PRADO MASUKO",

  "cnpjCpfFornecedor": "42886333972",

  "valorLiquido": 5000,

  "valorGlosa": 0,

  "numRessarcimento": "",

  "codLote": 1797945,

  "parcela": 0

}
— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub https://github.com/CamaraDosDeputados/dados-abertos/issues/315#issuecomment-944908044, or unsubscribe https://github.com/notifications/unsubscribe-auth/AL63NFJZBSRM354BN3YNX73UHFVRHANCNFSM5FQDTWWA . Triage notifications on the go with GitHub Mobile for iOS https://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675 or Android https://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub.

CamaraDosDeputados / dados-abertos

Campo numérico para tipo de despesa #315