[infra] <Possibilidade de baixar em formato parquet com o pacote R>

[brunomioto]

Sua solicitação de recurso está relacionada a um problema? Por favor descreva. Algumas tabelas da base são bem grandes e salvar em .csv pode gerar arquivos bem grandes. O formato parquet tem muitas vantagens relacionadas à velocidade e tamanho do arquivo gerado.

Exemplo CSV:

library(basedosdados)

bare_query <- "SELECT *
FROM basedosdados.br_tse_eleicoes.detalhes_votacao_secao
WHERE ano = 2022
AND sigla_uf = \'SP\'"
basedosdados::download(query = bare_query,
                       path = "./teste.csv")

Arquivo gerado: teste.csv 91.072 KB

Exemplo Parquet:

library(basedosdados)

bare_query <- "SELECT *
FROM basedosdados.br_tse_eleicoes.detalhes_votacao_secao
WHERE ano = 2022
AND sigla_uf = \'SP\'"
download_new(query = bare_query,
         path = "./teste2",
         format = "parquet")

Arquivo gerado: teste.parquet 15.334 KB

Este teste foi com uma base não tão grande. Mas com bases maiores, os ganhos podem ser ainda maiores.

Descreva a solução que você gostaria Tenho essa funcionalidade implementada na função download() do pacote R. Gostaria de saber se posso subir.

[gustavoalcantara]

@brunomioto vou inserir o @pedrocava aqui que é mantenedor do pacote. Abraço!

[pedrocava]

Quer abrir um pull request com o seu material? Não tem uma reprex, então não sei se é exatamente a mesma coisa, mas em teoria a gente aceita formatos arbitrários já. Abre o PR que aí eu posso avaliar se a funcionalidade já existe, ou então revisar o código e adicionar!