Pesquisa sobre soluções alternativas web scraping - Githubissues

fga-eps-mds / 2021.2-Sigaa-Plus

O SIGAA+ têm como objetivo melhorar a experiência do aluno ao utilizar a plataforma SIGAA da Universidade de Brasília

https://fga-eps-mds.github.io/2021.2-Sigaa-Plus/

GNU General Public License v3.0

10 stars 8 forks source link

Pesquisa sobre soluções alternativas web scraping #69

Closed vitormanoel17 closed 2 years ago

vitormanoel17 commented 2 years ago

Descrição:

Realizar pesquisa relacionada a soluções alternativas, para desenvolver um meio de fazer web scraping em área logada com puppeteer (preferencialmente) ou outras bibliotecas, sem utilizar senhas do usuário.

Tarefas:

[x] levantar dados relevantes em busca de uma solução
[x] buscar ajuda em fóruns

Critérios de aceitação:

[x] encontrar solução

GabriellyAssuncao commented 2 years ago

https://adrianosantospb.medium.com/realizando-web-scraping-em-ambientes-que-necessitam-de-autentica%C3%A7%C3%A3o-15d3e5cbacf1

GabriellyAssuncao commented 2 years ago

http://kazuar.github.io/scraping-tutorial/

GabriellyAssuncao commented 2 years ago

https://github.com/adrianosantospb/webscrapingnotwiki

GabriellyAssuncao commented 2 years ago

https://github.com/pablomuro/puppeteer-cluster#examples

GabriellyAssuncao commented 2 years ago

https://github.com/pablomuro/sigaa-unb-volta-horario

vitormanoel17 commented 2 years ago

Foi decidido realizar a mineração dos dados na página do SIGAA (Área logada) por meio da manipulação do DOM utilizando JavaScript, evitando a utilização de bibliotecas de web Scraping, e assim sendo uma opção mais segura e sem necessidade de dados sensíveis pertencentes ao usuário.