[fix] br_mercadolivre_ofertas

[laura-l-amaral]

Coleta:

• [x] Melhorar o preenchimento da coluna de preço e categoria (aumentar a quantidade de try)
• [x] Arrumar dados no BQ aparecendo null quando existe informação de preço
• [x] Preço final igual ao preço origem
• [x] Arrumar os parâmetros do schedule

Arquitetura/DBT item

• [x] Coluna data_hora quebrar em uma coluna data e outra hora
• [x] Renomear a coluna dia que só existe no BQ para data e adicionar a arquitetura
• [x] Item_id no BQ e na arquitetura id_item
• [x] Reordenação das colunas
• [x] Coluna preco_final com dados NaN ao invés de Null
• [x] Deletar dados nulos em preco_final e preco_final
• [x] Cruzar nome do vendedor com o da tabela vendedor para obter o ID
• [x] Coluna caracteristicas como json (manteve)
• [x] Teste do modelo DBT em dev

Arquitetura/DBT vendedor

• [x] Vendedor_id no BQ e na arquitetura id_vendedor
• [x] Dia no BQ e na arquitetura data_consulta
• [x] Reordenação das colunas
• [x] Quebrar a coluna opinioes
• [x] Coluna id_vendedor com dados duplicados
• [x] Dados duplicados com mudanças na opiniões
• [x] Teste do modelo DBT em dev
• [x] Arrumar questão de duplicatas

Metadado:

• [x] Remover colunas duplicadas
• [x] Ajustar o schema conforme mudanças na arquitetura
• [x] Corrigir metadados geral (nome do conjunto, imagem do conjunto, etc
• [x] Incluir update_metadata

Pipeline:

• [x] incluir update_temporal_coverage

Bloqueios:

• [x] Teste: coleta dos preços de forma assíncrona e sem ser assíncrona (sem decorador)
• [x] Teste: acrescentar classes
• [x] Buscar entender se existe mais recursos no ambiente de dev do que em prod

[laura-l-amaral]

Próximos Passos

• [x] testar usar o selenium
• [x] testar puxar todas as páginas

[laura-l-amaral]

Puxar todas as páginas

• rodou apenas para 1 categoria, vamos tentar rodar pra duas e se não der manter só com uma categoria de promoção

• [x] testar rodar para oferta_dia e oferta_relâmpago
• [x] incluir mais verificações para não subir dados errados
• [x] tirar acento da coluna de categorias

[gabrielle-carv]

• [x] mudar a class_ para colunas de categoria_principal, outras_categorias , caracteristicas, envio_nacional

[laura-l-amaral]

• [x] testar rodar para oferta_dia e oferta_relâmpago de novo
• [x] arrumar update_metadata

[laura-l-amaral]

• [x] checar incluir caracteristicas
• [x] ajustar modelo dbt
• [x] verificar dados estranhos (número estrelas, quantidade de respostas)

[gabrielle-carv]

• [x] levar dados históricos para o backup e apagar em br_mercadolivre_ofertas