Apache Airflow Reseñas y Detalles del Producto - Página 5

Python es mi lenguaje de programación favorito, los DAGs en Airflow están escritos en Python. Hay varios operadores integrados en Airflow para ejecutar la función de Python, llamar a trabajos de Databricks y ejecutar comandos bash. Me encanta construir la canalización en Airflow. Reseña recopilada por y alojada en G2.com.

La herramienta de orquestación Airflow es un poco complicada de desarrollar en comparación con otras herramientas de pipeline. Mientras que otras herramientas tienen opciones de arrastrar y soltar, programar en Airflow lleva más tiempo. Reseña recopilada por y alojada en G2.com.

Es fácil de configurar

es fácil manejar el script a través de la interfaz de usuario

Muestra el error en la interfaz de usuario donde tu script tuvo un error

Puede ejecutar el script fácilmente Reseña recopilada por y alojada en G2.com.

Para activar múltiples archivos es un poco difícil. Reseña recopilada por y alojada en G2.com.

- programación fácil

- marco de trabajo de Python, así que fácil de aprender

- se puede dockerizar fácilmente con algunos tutoriales

- fácil de aprender incluso para principiantes.

- mejor que otras herramientas de programación Reseña recopilada por y alojada en G2.com.

- la interfaz de usuario se puede hacer más personalizable.

- la concurrencia es baja si tienes un sistema pequeño.

- la interfaz de usuario puede ser intimidante para algunas personas como las posiciones gerenciales.

- la seguridad se puede mejorar. Reseña recopilada por y alojada en G2.com.

Realmente me gusta la capacidad de ver rápidamente el fallo y el estado de cada paso en un flujo de trabajo. Me gusta que tenga la capacidad de reintentar solo lo que falla y ofrece mucho control. Reseña recopilada por y alojada en G2.com.

No me gusta que haya una buena cantidad de latencia entre el inicio de tareas con la configuración predeterminada. Podría ser capaz de reducirla, pero requerirá un esfuerzo considerable para hacerlo. Reseña recopilada por y alojada en G2.com.

Apache Airflow proporciona una interfaz de usuario muy buena y es muy fácil trabajar con esta herramienta. También ofrece varias características para la representación de pipelines. Proporciona varias etapas para el DAG como en ejecución, fallido, etc. Hay diferentes colores para diferentes etapas en esta herramienta. Reseña recopilada por y alojada en G2.com.

Cuando ejecutamos cualquier DAG en Apache Airflow, el DAG falla cuando no obtiene el archivo deseado de upstream, pero no genera registros adecuados de la etapa exitosa. Necesitamos verificar los registros en los registros de EC2 para ver si nuestros datos se cargaron correctamente o no. La mayoría de las veces, Apache Airflow muestra éxito en el DAG, pero en realidad, el trabajo falló. Reseña recopilada por y alojada en G2.com.

Es algo que muchos usan y con lo que se sienten cómodos. Ese enorme ecosistema proporciona muchos beneficios. Reseña recopilada por y alojada en G2.com.

Es fundamentalmente un diseño defectuoso. Están progresando en superar algunos de los problemas de escalabilidad, y está mejorando. Reseña recopilada por y alojada en G2.com.

Los operadores predefinidos hacen que trabajar con Airflow sea muy fácil. En lugar de reinventar la rueda, la comunidad proporciona herramientas que se pueden compartir y reutilizar para un desarrollo más rápido. Reseña recopilada por y alojada en G2.com.

Los scripts de Airflow no se pueden probar fuera del entorno de Airflow. No puedes ejecutar líneas individuales de código, lo que dificulta el seguimiento paso a paso del script. Reseña recopilada por y alojada en G2.com.

Me gustan las características de flujo de aire, como el monitoreo de dags/scripts. Incluso podemos rastrear el historial y los registros de los últimos 365 días. El operador TriggerDagrun es el mejor para la gestión de dependencias en todos los dags. Reseña recopilada por y alojada en G2.com.

Estoy perdiendo la función de conexiones a través de múltiples fuentes en Apache Airflow, lo que puede ayudarnos a gestionar el sistema ETL de principio a fin. Actualmente está tardando un poco en iniciar dag/pod, sería genial si pudieran hacerlo más rápido. Reseña recopilada por y alojada en G2.com.

Fácil de usar la herramienta. Contiene todo tipo de procesadores que soportan todos los requisitos. Soporta la aislamiento de proyectos utilizando grupos de procesadores. También ayuda a enviar o recibir datos del clúster remoto. Reseña recopilada por y alojada en G2.com.

Si tenemos menos memoria en el clúster, no admite el autoescalado. Si un procesador falla, necesitamos reiniciar todo desde cero. A veces hemos visto la corrupción del archivo de flujo. Reseña recopilada por y alojada en G2.com.

Es una plataforma de código abierto para programar, monitorear y desarrollar flujos de datos y computación de manera muy sencilla. Utiliza Python para crear flujos de trabajo y puede ejecutar cualquier cosa en el mundo. Es fácil de usar. La comunidad de código abierto es buena. Buen conjunto de operadores listos para usar. Codificación fácil con Python. Y buena interfaz gráfica de usuario. Reseña recopilada por y alojada en G2.com.

Aunque es una plataforma realmente buena para gestionar flujos de trabajo, todavía tiene algunos problemas, como que no hay una forma verdadera de monitorear la calidad de tus datos. Aprender Airflow requiere una inversión de tiempo. No hay una guía sobre las mejores prácticas para desarrollar DAGs. No hay versionado en el programador de Airflow. La depuración consume mucho tiempo. Reseña recopilada por y alojada en G2.com.