Expansão do scraping

[Matheuspimentell]

Descrição

O formato atual do scraping de dados do sigaa está obtendo dados apenas da faculdade do gama. O objetivo desta issue é expandir o fluxo de scraping para que sejam obtidos dados de todos os departamentos.

Tarefas

• [x] Expandir o scraping para os demais departamentos.
• [x] Testar a expansão por meio de prints no terminal.
• [x] Testar a expansão do scraping (ver se os dados estão sendo enviados corretamente ao banco de dados.).

Critérios de aceitação

• [x] O scraping deve estar obtendo os dados de todos os departamentos.
• [x] O scraping deve ter enviado corretamente os dados ao banco de dados.
• [x] O código deve passar por revisão.

[vitorekr]

Foi detectado em uma reunião com o @mc-gomes que alguns departamentos geram erros na API. Algumas hipóteses foram criadas, porém sem certeza ainda. Amanhã nos reuniremos de novo para continuar em busca de uma solução para este problema. Por exemplo, até agora foi detectado erro no index 1 e 42.

[vitorekr]

Foi encontrado o que gerava erro no comentário acima e solucionado. O problema estava basicamente na variável global unidade, que estava recebendo None por padrão, gerando, assim, um conflito com a função criar_materia.

[mc-gomes]

Após a correção do bug, foram feitos testes para verificar o funcionamento do scraping com todos os departamentos, e o mesmo apresentou funcionamento coerente com base nos prints resultantes no terminal

[vitorekr]

Na reunião dia 21/04, junto do @oCaioOliveira @mc-gomes @AdneMoretti, com duração de 2 horas consertamos o problema das matérias no banco de dados, onde não estava sendo possível visualizar os endpoints das matérias.

[MorettiGS]

Review

Código revisado, não foram encontrados erros ou warnings na execução. Sendo assim, o PR da branch relacionada a essa issue foi realizado.