Generar capa de número de días sin agua a partir de los reportes

iaga commented 5 years ago

Generar una capa que contenga el número de días sin agua por AGEB a partir de los reportes de faltas para el año 2017. Esta capa se utilizará como insumo para el índice de grado de protesta (issue #100)

Carpeta en la que se encuentran los datos:

\CARPETAS_TRABAJO\amedina\dias_sagua_reportes

Insumos:

Base de datos original con los reportes de fugas y faltas, proporcionadas por el SAC: "FUGAS_FALTAS Y EFICIENCIA ANIOS 2017 Y 2018.xlsx"
Capa de colonias (contiene los col_id's) de la Ciudad de México
Capa de AGEBS (contiene los ageb_id's) de la Ciudad de México

Salidas:

Archivo .csv que contiene el número de días sin agua por colonia
Capa que contiene el número de días sin agua por AGEB

Procedimiento:

[x] Generar un markdown que contenga el preprocesamiento de los datos para pasar de la base de datos de reportes a un archivo .csv que contenga los reportes por colonia, por delegación (Es necesario realizar el promedio para los reportes repetidos)
[x] Utilizar el script de python filtro_python.py y el script de R para filtrar la base depurada y asignar el col_id a cada uno de los registros
[x] Realizar el downscaling, utilizando la librería apc, para pasar de colonia a ageb (col_id a ageb_id)
[x] Generar el mapa con la salida del número de reportes por AGEB usando la escala de Weber-Fechner, 5 intervalos, utilizando la paleta de colores "inferno invertido"
[x] Verificar que los resultados obtenidos sean válidos
[ ] Generar metadatos de la capa
[ ] Verificar que los metadatos cumplan con el protocolo
[ ] Realizar la entrega del producto

iaga commented 5 years ago

Este es el issue asociado a la capa de número de días sin agua @aleestrada

AlfMedina commented 5 years ago

Procesamiento

Se siguen los pasos del código asignacion_col_id.Rmd (en \CARPETAS_TRABAJO\amedina\MEGADAPT) y se adaptan para procesar los datos del año 2017 en FUGAS_FALTAS Y EFICIENCIA ANIOS 2017 Y 2018.xlsx:

Se extraen los datos del archivo, especificando ("a mano") el rango de estos; es decir, las celdas que contienen los datos de cada delegación
Se unen los datos, conservando los registros duplicados (misma FECHA y CALLE), se crea la columna "MUNICOLO_OBS" y se calculan los días sin agua (dias_sin_agua) con base en la diferencia entre la fecha del reporte y la fecha de solución.
Se filtra con el diccionario de python (generado a partir de las palabras en los archivos col_ageb.csv, que contiene el nombre de las colonias, y delegaciones.csv, que contiene el nombre de las delegaciones, además de algunas faltas ortográficas encontradas), que genera la columna MUNICOLO_ORIG (en \CARPETAS_TRABAJO\amedina\dias_sagua_reportes\filtro_python.py)
Se hace la comparación entre las columnas MUNICOLO_ORIG y MUNICOLO y se calcula el coeficiente de similitud; se corta en un coeficiente ≥ 0.7 (sin una revisión exhaustiva se decidió que a partir de este punto los errores eran mínimos, además de que se conserva el 95.74% de los datos)

Se calcula media, mediana y número de reportes por colonia de la base depurada y se une (por COL_ID) con la capa que contiene la información geográfica de colonias (col_id, en \CARPETAS_TRABAJO\amedina\dias_sagua_reportes\insumos\colonias). Debido a que en la base original no existen registros de reportes para algunas colonias, se decidió asignarles ceros (en media, mediana y número de reportes) a estas; sin embargo, y con el fin de no conservar la información original, se creó la columna is_na que indica si los ceros en media y mediana de la colonia son asignados o provienen del procesamiento de la base.

Finalmente, se escribe la capa dias_sin_agua_2017_v3.shp con la información anterior.

Se utiliza la función apc.colonia_ageb de la librería apc para pasar los registros de colonias a AGEB's.

Salidas

Archivo faltas_dias_2017_v3.csv, que contiene la base depurada y con el col_id de cada uno de los registros.

En \CARPETAS_TRABAJO\amedina\dias_sagua_reportes\insumos

Capa dias_sin_agua_2017_v3.shp que sirve de entrada para el downscaling, la capa tiene los campos:

COL_ID: Identificador de colonia
mean_dsa: Media de días sin agua
med_dsa: Mediana de días sin agua
reportes: Número de reportes
is_na: Indica si los ceros de la fila son asignados (1) o no (0)

Capa tp_dsa_agebs_cdmx.shp que contiene el resultado del downscaling (la asignación de ageb_id's); contiene los mismos campos que la capa anterior.

En \CARPETAS_TRABAJO\amedina\dias_sagua_reportes\salida

iaga commented 5 years ago

Capa que contiene el número promedio de días sin agua por AGEB

Autores: @iaga y @aleestrada

dias_sagua_ageb

Debido a que la capa obtenida tp_dsa_agebs_cdmx.shp genera como valor máximo 521.44 días sin agua en promedio (casi el doble del máximo calculado por colonia, 294.67), se citó a una reunión de trabajo el día 28/02/2019 a las 9:30 am para ubicar las causas de la generación de dicho número.

AlfMedina commented 5 years ago

Inspección de la capa `tp_dsa_agebs_cdmx.shp`

Después de una revisión detallada de la capa se encontró que el problema de la inflación de las medias se debe a dos factores:

Hay agebs más grandes que algunas colonias
El downscaling pondera por la proporción entre el área de una ageb que intersecta con el área de una colonia y el área total de la colonia

La siguiente imagen ejemplifica dicho problema (las agebs se encuentran coloreadas y las líneas punteadas representan los límites de las colonias):

col_ageb

Se pude observar que la ageb en negro intersecta con 4 colonias (de hecho contiene dos colonias completas), por lo que la media de estas es una combinación de las medias de las 4 colonias.

Después de descubierto el problema se propusieron dos alternativas:

area_new: Cambiar ligeramente la ponderación hecha por el downscaling, usando el área total de la ageb en lugar del área de la colonia
intersect: Utilizar las funciones de Qgis para unir atributos según su localización

area_new

Se modificó ligeramente la función colonia_ageb de la librería apc con el fin de que se hiciera la ponderación por la proporción entre el área de la ageb que intersecta con el área de una colonia y el área total de la ageb (en lugar del área total de la colonia); sólo fue necesario modificar una línea de código.

El mapa generado es el siguiente:

dias_sagua_ageb_area_new

intersect

Se utilizó la herramienta de gestión de datos de Qgis "Unir atributos por localización", que combina los atributos de una capa (la media de días sin agua en este caso) con la información de localización de otra capa (de agebs en este caso).

intersect

El mapa generado es el siguiente:

dias_sagua_ageb_intersect

NOTA: Los cortes presentados en los mapas se definieron según la escala de Weber-Fechner, y usando el archivo WEBER 2.xls, en \CARPETAS_TRABAJO\amedina\dias_sagua_reportes

Las capas tp_dsa_agebs_cdmx_v3.shp (area_new) y tp_intersect_dsa_agebs_cdmx.shp (intersect) se encuentran en \CARPETAS_TRABAJO\amedina\dias_sagua_reportes\salida

Los mapas presentados se encuentran en \CARPETAS_TRABAJO\amedina\dias_sagua_reportes\salida\mapas

AlfMedina commented 5 years ago

Exploración de los datos (Nivel Colonia)

A continuación se muestran dos gráficos creados para explorar la distribución de las media de días sin agua a nivel colonia. La primera imagen muestra la distribución con los datos de la base original (hay que recordar que existen colonias que no tienen registros en dicha base). La segunda gráfica se generó a partir de la base que contiene los ceros asignados a las colonias que no se encontraban en la base original.

Base Original (Incompleta)

dias_sin_agua_colonia

Base Completa

dias_sin_agua_colonia_v2

Exploración de los datos (Nivel AGEB)

Con el fin de hacer una comparación entre los métodos empleados para pasar de nivel colonia a nivel ageb, también se generaron un par de gráficos para explorar las distribuciones de días sin agua bajo cada alternativa y comparar ambas con la distribución a nivel colonia.

area_new

dias_sin_agua_area_new

Esta alternativa parece capturar de mejor manera "las" distribuciones en los datos (las jorobas en cero y 100).

intersect

dias_sin_agua_intersect

También parece capturar las dos distribuciones presentes en los datos, pero la sub-estimación de ceros aunque extraño se parece a los datos originales (sin los ceros asignados).

Todas las gráficas se encuentran al final del script faltas_dias_2017.Rmd en \CARPETAS_TRABAJO\amedina\dias_sagua_reportes

AlfMedina commented 5 years ago

Número de reportes nivel AGEB (Comparación)

Procesamiento Edith

reportes_2017_edith

Procesamiento R/python

Debido a que el número de reportes es una frecuencia, se considera pertinente el uso del downscaling original (tal y como se encuentra en la función colonia_ageb de la librería apc).

reportes_area_old_2017

NOTA: Los cortes presentados en los mapas se definieron según la escala de Weber-Fechner.

La capa se encuentra en \CARPETAS_TRABAJO\amedina\dias_sagua_reportes\salida

iaga commented 5 years ago

Pendientes:

Generar metadatos de la capa final
Verificar que los metadatos cumplan con el protocolo
Realizar la entrega del producto

iaga commented 5 years ago

Es necesario eliminar de la capa tp_dsa_agebs_cdmx_v3.shp:

El campo número de reportes (quitarlo del script y de la capa final), ya que el campo de reportes calculado después del downscaling modificado, no coincide con la información original
Las áreas
Quitar la media, dejar el promedio

sostenibilidad-unam / SHV