Flujo de aire apache

Apache Airflow  es un software de código abierto para crear, ejecutar, monitorear y orquestar flujos de trabajo de procesamiento de datos.

Desarrollado originalmente por Airbnb en octubre de 2014 [3] [4] . Se convirtió en un proyecto de Apache Incubator en marzo de 2016 y se convirtió en un proyecto de nivel superior de Apache Software Foundation en enero de 2019 en enero de 2019.

Escritos en Python , los flujos de trabajo y sus dependencias también están codificados en Python en forma de configuración como código (a diferencia de sistemas como Oozie y Azkaban que usan archivos de configuración [5] ). Los flujos de trabajo se orquestan mediante una representación de gráfico acíclico dirigido (DAG); un grupo de operaciones recogidas en un grafo puede lanzarse según un horario específico (por ejemplo, por hora o por día), o por un evento (por ejemplo, la aparición de un archivo en Hive [6] ).

Airflow es un servicio de suscripción proporcionado por muchos proveedores de nube pública , incluidos Google Cloud Platform (Cloud Composer) [7] y Amazon Web Services (desde noviembre de 2020) [8] .

Notas

1. ↑ https://github.com/apache/airflow/releases/tag/2.4.0
2. ↑ https://airflow.incubator.apache.org/license.html
3. ↑ Flujo de aire de Apache . Apache flujo de aire . Consultado el 30 de septiembre de 2019. Archivado el 12 de agosto de 2019. (indefinido)
4. ↑ Flujo de aire . Consultado el 30 de septiembre de 2019. Archivado desde el original el 6 de julio de 2019. (indefinido)
5. ↑ Propuesta de flujo de aire . Fundación de software Apache (28 de marzo de 2019). Consultado el 1 de octubre de 2019. Archivado desde el original el 7 de abril de 2022. (indefinido)
6. ↑ Trencseni, Marton Revisión de Airflow . BytePawn (16 de enero de 2016). Fecha de acceso: 1 de octubre de 2019. Archivado desde el original el 28 de febrero de 2019. (indefinido)
7. ↑ -automation-tool-for-developers/ Google lanza Cloud Composer, una nueva herramienta de automatización de flujos de trabajo para desarrolladores  . TechCrunch . Fecha de acceso: 18 de septiembre de 2019.
8. ↑ -airflow-mwaa/ Introducción a Amazon Managed Workflows para Apache Airflow (MWAA  ) . Amazon Web Services (24 de noviembre de 2020). Fecha de acceso: 17 de diciembre de 2020.