The English version of this Readme can be read in here.
EventPoints es uno de los proyectos desarrollados dentro de la comunidad Open Source Weekends.
EventPoints es una agenda web de eventos tecnológicos en España que utilizando técnicas de scraping lee los eventos disponibles de diversas fuentes.
EventPoints tiene dos repositorios principales:
El repositorio tiene dos bloques fundamentales estructurados en dos carpetas distintas:
Para instalar las dependencias necesitadas del API requiere que estemos en el directorio conteniendo el API y ejecutar el comando:
npm install
Para ejecutar el API usa el comando:
npm start
Una vez lanzado puedes consultar el listado de eventos en --> http://localhost:3000/api/v1/events
La Documentación del API en swagger se encuentra en --> http://localhost:3000/api/v1/spec
Hay varios scrapers desarrollados en Python con la libreria Scrapy.
Para instalar y ejecutar los scrapers de Python necesitas:
Instrucciones:
python3 -m venv ./venv
pip3 install -r requirements.txt
pip3 install git+https://github.com/twisted/twisted.git@trunk
Para ejecutar la araña- spider o el scrapper- necesitas correr el comando scrapy crawl {spider_name} -o {json_path}
Sobre el anterior comando, remplaza para producir el resultado correcto lo siguiente:
spider_name
: El nombre de la araña,json_path
: El archivo Json donde se volcara el Scrapeado producido por la araña.Scrapy escribe al final del fichero por lo que en sucesivas ejecuciones habría que borrar el archivo JSON si ya existe.
Un ejemplo de esto es:
scrapy crawl meetup -o output/meetup.json
Para instalar R (en Linux basado en Debian):
apt install libcurl4-openssl-dev libssl-dev libxml2-dev
apt install r-base
sudo -i R
install.packages("tidyverse")
Para ejecutar desde consola uno de los spiders de R ejecutaremos el siguiente comando:
R CMD BATCH {spider_name}.R {json_path}
Siendo spider_name
el nombre de la araña y json_path
el JSON en el que se va a
volcar el scrapeo.