📓 Revisitando el código

[MemoOlv]

🎯 Objetivos

• Buscar github de Tiare y enviar solicitud
• Revisar estado del código
• Revisar si el código corre

🖋️ Pendientes indentificados:

• Resolver el pull request
• Obtener las bases de datos crudas
• Obtener las bases de datos limpias
• Eliminar la dependencia de los datos de verdad en las pruebas
• Agregar pruebas de los scripts

[MemoOlv]

🔀 Tengo un pull request sin cerrar

• ¿Qué hace?
• ¿Lo cierro o lo descarto?

Decidí cerrar este pull request.
Los cambios se "veían" decentes. Confié en que el memo del pasado hizo lo mejor que pudo. Seguiré trabajando en resolver los otros problemas.

[MemoOlv]

🥨🧪 Dependencia de los datos en la prueba

• Las pruebas necesitan de un archivo ENIGH2016_clean.csv y ENIGH2018_clean.csv
• Yo creo que no consigné estos datos y se quedaron en mi computadora
• Hay que quitar esta dependencia
  • ¿con datos de prueba?

[MemoOlv]

🧹❓ ¿De dónde obtenemos los datos ENIGH*_clean?

• Al parecer el archivo src/data_cleaning.py limpia las bases de datos crudas
• Hay una dependencia del directorio /home/perroloco...
• Eliminar esta dependencia

[MemoOlv]

🪨❓ ¿Cómo obtenemos los datos crudos?

• Dejé instrucciones en el archivo data/DataAdquisitionManual.txt
• Seguirlas para ver si funcionan
• Otra opción es obtenerlas desde el Makefile

[MemoOlv]

🔗 Relación entre scripts in módulo

• Hay un módulo de python y tres scripts en el src
• ¿Cómo se relacionan?
• ¿Existe dependencia entre ellos?
• ¿Corren los scripts?

[MemoOlv]

❓ ¿Cuál es el flujo del análisis?

• Si quisiera reproducir los resultados ¿qué debo correr y en qué orden?
• ¿Cómo podría agregar más años de la ENIGH al análisis?

[MemoOlv]

🤔 ¿Y si hago rollback al punto inicial (donde lo dejé después de la tesis)?

Ventajas

• Estar seguro que los resultados van a ser "reproducibles"
• Quitar la complejidad del código que metí sin evaluarlo con pruebas
• Regresar al estado inicial con mayor aprendizaje de arquitectura

Desventajas

• Se irá toda la configuración del actions y del Docker
• Tal vez había buenas ideas que no voy a recuperar

Una manera segura fue crear una nueva rama main. Esto me da tiempo de reflexionar y tener una versión "estable" del repo.

[MemoOlv]

✨ Después del roll back

Ahora existe la rama main con el estado del código justo después de entregar la tesis. Los siguientes pasos (features):

• Reproducir los resultados (primero para la ENIGH 2016 y luego las posteriores)
  • data_cleaning.py
    • 2016
    • 2018
    • 2020
  • data_classification.py
    • 2016
    • 2018
    • 2020
  • network_analysis.py (Este script ya necesita el análisis de los años 2016, 2018 y 2020.
  • variable_selection.py
  • GeographicData.ipynb
• Añadir las nuevas ENIGH
  • 2022
  • 2024

En las tareas de estructura:

• Separar cada objetivo de los scripts
• Pensar en una mejor arquitectura

Reflexiones

Al parecer el siguiente paso es correr data_cleaning y data_classification para cada año de la ENIGH. Siguiendo el consejo de Kent Beck de Tidy first? trataré de simplificar el caso para un año antes de agregar el siguiente año.