Implementación del plugin de Scoring

jorcox commented 8 years ago

Hay que implementar el plugin que les pondra nota a los enlaces encontrados en una web. Dependiendo de el tipo de página esto se hará de una forma o de otra;

HTML: En el caso de una web HTML normal, se analizará el texto con las palabras más comunes y se asignara una nota a los enlaces de salida. Podemos tener también en cuenta el anchor de un enlace (si tiene) a la hora de poner nota.
XML: En este caso no se van a extraer enlaces del propio documento pero si se realizarán variaciones sobre el actual y se agregaran a la cola de URLs con un score alto debido a que es altamente probable descubrir información relevante.

jorcox commented 8 years ago

¿Te parece bien este procedimiento? Faltan casos pero ya irán saliendo.

fjlopez commented 8 years ago

¿Conoces los algoritmos de focused crawling para scoring? Este es uno de los más viejos: Shark Search http://www.cs.cmu.edu/~dpelleg/bin/360.html

jorcox commented 8 years ago

Si, cuando estuve documentandome encontre un documento en el que explicaba varios y uno de ellos era este. De hecho, ese documento esta en la página de la wiki de enlaces de interes.

jorcox commented 8 years ago

100b89f47f4861ab8d41c0a51f4de3476d4bd0e5 y 8d4818955f4dfd6582c754589a1f1992d4ae7de3

jorcox / GeoCrawler

Implementación del plugin de Scoring #23