Desarrollar los tests unitarios.

[ea-analisisdatos]

Desarrollar pruebas:

• [x] Pruebas unitarias con Pytest para asegurar el correcto funcionamiento del scraper.
• [x] Pruebas de Integración
• [x] Pruebas de Rendimiento
• [x] Pruebas de Seguridad
• [ ] Pruebas de Regresión

Tipos de pruebas:

Purebas unitarias (tests unitaros)

• Las pruebas unitarias son un tipo de prueba de software que verifica el correcto funcionamiento de componentes individuales de un programa, como funciones o métodos, en aislamiento. A continuación se describe el tipo de prueba que hemos hecho en cada uno de los archivos de prueba

Pruebas de Integración

• Estas pruebas aseguran que diferentes partes del sistema funcionen correctamente juntas. Por ejemplo, podrías probar que los datos extraídos mediante el scraping se almacenen correctamente en la base de datos.

Pruebas de Rendimiento

• Estas pruebas miden cómo se comporta tu sistema bajo diferentes cargas. Podrías verificar cuánto tiempo toma completar el scraping y el procesamiento de una cantidad significativa de datos.

Pruebas de Seguridad

• Aunque no son triviales de implementar, deberías considerar pruebas que aseguren que tu sistema es seguro, especialmente si está expuesto a internet. Por ejemplo, podrías verificar que los datos se almacenen de manera segura en la base de datos y que no haya vulnerabilidades evidentes.

Pruebas de Regresión

Cada vez que realices cambios en el código, deberías asegurarte de que no se rompa ninguna funcionalidad existente. Esto puede lograrse ejecutando automáticamente un conjunto de pruebas unitarias y de integración.

[ea-analisisdatos]

Tests basicos

test_data_processing.py

Este archivo contiene pruebas para verificar el correcto funcionamiento del módulo data_processing.py, que es responsable de limpiar y procesar los datos obtenidos del scraping antes de almacenarlos en la base de datos.

test_scraping.py

Este archivo contiene pruebas para verificar el correcto funcionamiento del módulo scraping.py, que es responsable de realizar el web scraping y limpiar el texto extraído.

Descripción de lo que valida cada archivo

test_data_processing.py

Fixtures sample_quotes_df y sample_authors_df:

• Crea DataFrames de ejemplo que simulan los datos obtenidos del scraping.
• sample_quotes_df: DataFrame con citas, autores y etiquetas.
• sample_authors_df: DataFrame con información de autores.

Test test_process_data:

• Verifica que la función process_data puede procesar correctamente los DataFrames de ejemplo.
• Actualmente, la prueba contiene una afirmación simple (assert True), pero se pueden agregar afirmaciones adicionales para validar la lógica específica de procesamiento de datos.

test_scraping.py

Test test_clean_text:

• Verifica que la función clean_text limpia correctamente el texto de caracteres no deseados (como saltos de línea, tabulaciones y espacios dobles).

• Test test_scrape_quotes (marcado como @pytest.mark.skip):

• Verifica que la función scrape_quotes realiza el scraping correctamente y devuelve DataFrames no vacíos con las columnas esperadas.
• La prueba está marcada como skip porque requiere conexión a internet y puede ser inestable.