Airflow es una plataforma para Python que permite la creación, programación y monitorización de flujos de tareas. Habitualmente, Airflow se utiliza en la implementación de tareas de tratamiento de datos o data pipelines, aunque su versatilidad hace que Airflow también pueda utilizarse en otros tipos de tareas. En esta plataforma los flujos de tareas se definen directamente en código Python, a diferencia de otras herramientas en las que los flujos de tareas se definen visualmente. En
habitissimo hemos estado utilizando Airflow para todas las tareas de carga y transformación de nuestros datos desde 2017 y durante este tiempo hemos aprendido todas las ventajas y desventajas de esta plataforma. En esta charla corta explicaremos cuáles son sus características más relevantes y compartiremos nuestra experiencia a través de las recomendaciones que deberíamos seguir a la hora de implementar flujos de tareas en Airflow. De esta forma, podréis decidir si esta plataforma es la que necesitáis para coordinar la ejecución de vuestras tareas.
