search

matthieu637 / cpp-2a-crawler

2 stars 0 forks source link

RobotTxtRudder #29

Open matthieu637 opened 7 years ago

matthieu637 commented 7 years ago

Comme @MatthieuDEVALLE l'a proposé, il est possible d'avoir un autre type de rudder qui se base sur le fichier robot.txt d'un site.

Créer le classe cpp2017.rudder.RobotTxtRudder.