search

mawrkus / jason-the-miner

⛏ A versatile Web scraper for Node.js
MIT License
44 stars 11 forks source link

Duda sobre descarga de imágenes #17

Closed isaaclopez77 closed 5 years ago

isaaclopez77 commented 6 years ago

Muy buenas, lo primero es darte las gracias por tu trabajo, después de un par de días de aprendizaje estoy usando tu scraper y me está siendo muy útil a mi y a mi empresa. Estoy usando una matriz de transformadores para que, a la vez que consigo los detalles de una búsqueda de productos de amazon, poder descargar sus imágenes. He conseguido ambas cosas por separado, pero estoy tratando de hacerlo en un mismo archivo json:

... "transform": [{ "download-file": { "folder": "imgs/", "namePattern": "producto-{index}", "concurrency": 2, "maxSizeInMb": 1 }, "csv-file": { "path": "resultados-productos.csv" } }] ... Éste es el código usando una matriz de transformadores. Cuando ejecuto el código desde la línea de comandos, imprime una cadena JSON con los resultados del scrapeo. Pero no crea el archivo CSV ni descarga las imágenes. ¿Que puede estar pasando? ¿Esta sintaxis es incorrecta? Muchas gracias.

mawrkus commented 6 years ago

Hola Isaac,

Con la version de Jason en master todavia no se puede utilizar una matriz de transformadores. Pero estoy trabajando en poder hacerlo en https://github.com/mawrkus/jason-the-miner/pull/14 (rama "small-fixes" :p), mira el README. Dicho esto, ya puedes utilizar la version en esta rama (es bastante estable). Solo tendras que crear una config similar a:

{
  "load": {
    "http": {
      "baseURL": "https://www.goodreads.com",
      "url": "/list/show/11.Best_Crime_Mystery_Books"
    }
  },
  "parse": {
    "html": {
      "books": [{
        "_$": ".tableList tr ? slice(0, 3)",
        "title": "td .bookTitle > span | trim",
        "cover": ".bookSmallImg < attr(src)"
      }]
    }
  },
  "transform": [{
    "csv-file": {
      "path": "demos/data/out/goodreads-list.csv",
      "csv": {
        "header": true,
        "delimiter": ";"
      }
    }
  }, {
    "download-file": {
      "parseSelector": "cover",
      "folder": "./demos/data/out/downloads",
      "concurrency": 3,
      "namePattern": "{index}-{name}"
    }
  }]
}
isaaclopez77 commented 6 years ago

Buenas de nuevo, gracias por la repuesta. Sigue sin funcionar, he copiado y pegado tu código en un archivo llamado pruebaa.json y al ejecutarlo con jason-the-miner -c pruebaa.json la salida es la que aparece en el archivo que adjunto. No crea ningún csv ni ninguna imagen en el directorio que le he indicado. ¿Dónde puede estar el problema captura ?

mawrkus commented 6 years ago

Creo que no estas utilizando la version que esta en la rama "small-fixes" pero la version instalada en global. Si has clonado la version de esta rama en tu carpeta /home/isaac/jason-the-miner, tendras que ejecutar node ./bin/jason-the-miner.js -c ./pruebaa.json

mawrkus commented 6 years ago

Todo bien? Cerramos esta issue?