Revisitação: Desenvolvimento de mecanismos para inferência e ajuste de periodicidade ao longo do tempo

MPMG-DCC-UFMG / C01

Coleta de Dados Públicos

GNU General Public License v3.0

18 stars 9 forks source link

Revisitação: Desenvolvimento de mecanismos para inferência e ajuste de periodicidade ao longo do tempo #14

Closed rafaelglater closed 3 years ago

rafaelglater commented 4 years ago

A frequência de atualização das informações de muitos sites é desconhecida. Portanto, é necessário criar mecanismos que controlem e armazenem quando uma determinada fonte sofreu alterações, de modo a descobrir a periodicidade em que os dados são atualizados, impactando diretamente na frequência de revisitação da mesma.

elvesmrodrigues commented 4 years ago

Artigos relacionados:

Junghoo Cho and Hector Garcia-Molina. 2003. Effective page refresh policies for Web crawlers. ACM Trans. Database Syst. 28, 4 (December 2003), 390–426. DOI:https://doi.org/10.1145/958942.958945
Cho, Junghoo & Garcia-molina, Hebj & Icejfix, Principaladvisei. (2001). Crawling The Web: Discovery And Maintenance Of Large-Scale Web Data.

elvesmrodrigues commented 4 years ago

Resultados preliminares para estimadores de acesso regular: https://github.com/elvesrodrigues/estimators/blob/master/main.ipynb

elvesmrodrigues commented 4 years ago

Esta issue foi dividida em outras menores, sendo:

https://github.com/MPMG-DCC-UFMG/C04/issues/236
https://github.com/MPMG-DCC-UFMG/C04/issues/237
https://github.com/MPMG-DCC-UFMG/C04/issues/238