Permettre l'exécution du scraper de façon absolue

[kerphi]

Par exemple pour permettre de scripter via crontab l’exécution des scrapers. Il faudrait par exemple permettre d'exécuter le scraper depuis n'importe où ex:

kerphi@p-gully:/tmp$ ~/ezpaarse/platforms/npg/scrapers/harvester_npg.js 
fs.js:794
  return binding.mkdir(pathModule._makeLong(path),
                 ^

Error: EACCES: permission denied, mkdir '../pkb'
    at Error (native)
    at Object.fs.mkdirSync (fs.js:794:18)
    at /home/kerphi/ezpaarse/platforms/.lib/bacon_harvester.js:23:7
    at FSReqWrap.cb [as oncomplete] (fs.js:212:19)

Il serait préférable d'utiliser des chemins absolus en utilisant par exemple __dirname

Exemple ici : https://github.com/ezpaarse-project/ezpaarse-platforms/blob/master/.lib/bacon_harvester.js#L23

[nojhamster]

+1 I took a quick glance at the harvester and I think there's a little cleaning work to be done. For example :

• Use paths relative to the file instead of the working directory.
• Indent with 2 spaces instead of tabs.
• Stop execution when an error has been caught.
• Return early instead of having a big if/else.
• Don't run async functions simultaneously when the order matters (check the folder => execute the scraper).