matthieu637 / cpp-2a-crawler

2 stars 0 forks source link

Parser #17

Closed MatthieuDEVALLE closed 7 years ago

MatthieuDEVALLE commented 7 years ago

On doit pouvoir, à partir d'une classe Parser, parser une page web et dans un premier temps récupérer les liens, pour ensuite les transmettre au Rudder. Il faut que ce Parser s’exécute dans un thread, afin de pouvoir Parser plusieurs pages simultanément (temps d'attente lors de la récupération de la page web). Il devra construire différents TreeSet (demandé par David) contenant les informations récupérées.

david540 commented 7 years ago

Les TreeSet seraient plutôt selon moi côté Rudder pour que le gouvernail indique avec un ordre de priorité quels liens il faut parser. Une hashMap est peut être plus appropriée pour stocker le contenu des pages. J'ai du mal m'exprimer tout à l'heure.