search

vitorp / matricula-web-api

5 stars 4 forks source link

Integração com crawler do matricula web #10

Open vitorp opened 6 years ago

vitorp commented 6 years ago

A alimentação do banco de dados será feita a partir de um crawler do Matricula web. Será utilizado como base o crawler https://github.com/danilodelyima/mwcrawler que será integrado dentro do projeto. Além da integração é necessário configurar um worker.

rodriggochaves commented 6 years ago

Eu tenho algumas dúvidas:

1) quais são os passos da integração? só adicionar a gema? 2) qual é o objetivo do worker?

vitorp commented 6 years ago

A integração aqui é adicionar a gema e criar um modulo que se utiliza do scrapping dela para atualizar o banco de dados. O worker deve rodar a esse modulo periodicamente (Ainda não definimos tudo).

Então a ideia é, por exemplo, ver semestralmente quais matérias estão abertas, ou seja, não precisaria rodar essa tarefa toda hora. Já pra saber durante ajuste e inscrições a quantidade de vagas numa turma ou pessoas numa lista de espera precisamos rodar essa tarefa mais frequentemente.

vitorp commented 6 years ago

O crawler ainda não está pronto pra integração então esse issue é mais a medio prazo.