avdata99
commented
5 years ago Te agregué permisos en el repo para que puedas crear ramas acá nomás y sea más facil la validación.
Por ahora probe esto y me da errores. Quzás necesitemos algún readme para correr este scrpaer solo. Seguro me estoy perdiendo algo
# actualize reqs
pip install -r requirements.txt
python -m funcionarios_tribunal_de_cuentas_provincia.main
python detect-changes.py
detect-changes.py:34: FutureWarning: Sorting because non-concatenation axis is not aligned. A future version
of pandas will change to not sort by default.
To accept the future behavior, pass 'sort=False'.
To retain the current behavior and silence the warning, pass 'sort=True'.
df_comparacion = pd.concat([df_ultimo_relevamiento, df_funcionarios_actuales])
Inicio de Comparacion para la Fecha: 2019-10-06
Traceback (most recent call last):
File "detect-changes.py", line 41, in <module>
if df_tmp.iloc[0].funcionario != df_tmp.iloc[1].funcionario:
File "/home/hudson/envs/scrapyfunc/lib/python3.6/site-packages/pandas/core/indexing.py", line 1478, in __getitem__
return self._getitem_axis(maybe_callable, axis=axis)
File "/home/hudson/envs/scrapyfunc/lib/python3.6/site-packages/pandas/core/indexing.py", line 2102, in _getitem_axis
self._validate_integer(key, axis)
File "/home/hudson/envs/scrapyfunc/lib/python3.6/site-packages/pandas/core/indexing.py", line 2009, in _validate_integer
raise IndexError("single positional indexer is out-of-bounds")
IndexError: single positional indexer is out-of-bounds
pdelboca
Hice un refactor para que quede consistente con la forma en que se diseñaron los otros scrappers, sobre todo el de @nicolas471.
Ahora ambos codigos tienen la misma interfaz, esto va a facilitar nuevos tickets en el futuro como guardar en la base de datos.
@avdata99 deberia funcionar bien el daily.sh, please dale un pequeño testing! :pray: