Spark Reseñas y Detalles del Producto

Spark es excelente para trabajar con grandes cantidades de datos. Puede manejar tanto trabajos por lotes como datos en streaming, y funciona con diferentes tipos de archivos y fuentes de datos. Es mucho más rápido que los sistemas antiguos porque puede procesar datos en memoria.

También me gusta que tiene herramientas integradas para consultas de datos, streaming e incluso aprendizaje automático, por lo que puedes hacer mucho sin cambiar de plataforma. Reseña recopilada por y alojada en G2.com.

Spark no es tan "fácil" como la gente piensa. Si no se configura o ajusta correctamente, puede funcionar lentamente o costar mucho operar. Un pequeño error en cómo escribes o ejecutas un trabajo puede ralentizar todo.

Depurar problemas puede llevar tiempo, y el streaming no es realmente en tiempo real; todavía funciona en pequeños lotes. Además, puede ser complicado hacer coincidir la versión correcta de Spark con otras herramientas en tu configuración. Reseña recopilada por y alojada en G2.com.

Es rápido en comparación con Hadoop ya que es un motor de procesamiento en memoria. Reseña recopilada por y alojada en G2.com.

Nada por ahora ya que es una versión avanzada de la memoria de disco de Hadoop. Reseña recopilada por y alojada en G2.com.

He utilizado Spark para el procesamiento de datos, lo que más me gusta es la velocidad, procesa una gran cantidad de datos gracias a la computación en memoria, lo cual es mucho mejor en comparación con Hadoop MapReduce. Reseña recopilada por y alojada en G2.com.

Lo que no me gusta de Spark es que el costo de infraestructura es muy alto cuando se trata de ejecutar los datos en un entorno de clúster. Reseña recopilada por y alojada en G2.com.

La velocidad de Spark

La característica de integración de Spark con software personalizado, con otras herramientas.

La facilidad de uso y adaptabilidad del usuario. Reseña recopilada por y alojada en G2.com.

No hay sistema de archivos para gestionar.

Funciones/algoritmos limitados. Reseña recopilada por y alojada en G2.com.

Me encanta la velocidad del procesamiento de datos. También el inmenso ecosistema de integración con APIs y la gran cantidad de optimización en memoria que podemos lograr a través de él. Es muy fácil de usar e implementar con enfoques versátiles de procesamiento de datos que podemos lograr a través de él y también el soporte al cliente con la ayuda de la comunidad es excelente. Reseña recopilada por y alojada en G2.com.

Requiere una curva de aprendizaje pronunciada ya que las personas no técnicas o principiantes pueden encontrarlo muy complejo.

Cuando la complejidad de los datos es enorme, es difícil depurar y encontrar errores en los grandes datos procesados.

No es adecuado para el procesamiento de datos pequeños. Reseña recopilada por y alojada en G2.com.

Integración con lenguajes de scripting potentes (Python, Scala y Java). Consumo de archivos de almacén de datos de Apache disponibles para desarrollar modelos de ML y desplegar rápidamente en producción. La integración con Knime proporcionó desarrollo sin código de pipelines ETL, y la fusión con almacenes de datos de Apache nos permitió educar rápidamente al talento tradicional (basado en SQL y Excel) para construir conocimientos de datos robustos. La integración de la plataforma Knime con Spark no requirió potencia de cómputo adicional ya que realizó todo el procesamiento en la infraestructura de Spark. Reseña recopilada por y alojada en G2.com.

Fuera de la caja, Spark tiene menos algoritmos para modelos de ML, pero podemos extender con otros lenguajes de programación lo que implica un esfuerzo adicional al implementar con Knime. Reseña recopilada por y alojada en G2.com.

1. Realmente me gusta el concepto de RDD en Spark ya que son inmutables.

2. Spark proporciona muchas UDFs del sistema (listas para usar) para trabajar.

3. Podemos depurar fácilmente un problema de Spark verificando el linaje en la interfaz de usuario de Spark. Reseña recopilada por y alojada en G2.com.

1. A veces, los errores de falta de memoria en Spark se vuelven muy frecuentes, y se invoca un comando SIGKILL sin ningún rastro de pila adecuado por parte de Spark. De esta manera, se vuelve muy difícil depurar un trabajo de Spark. Reseña recopilada por y alojada en G2.com.

Spark hace posible el procesamiento de conjuntos de datos muy grandes y también maneja estos conjuntos de datos de manera bastante rápida.

Spark parece ser un software que avanza rápidamente.

Spark es uno de los software de tendencia en los últimos tiempos.

Es un gran motor de computación para resolver lógicas complejas. Reseña recopilada por y alojada en G2.com.

Spark parece ser un poco lento con datos amplios.

Spark carece un poco en apoyar a sus usuarios.

Spark necesita alguna capacidad avanzada para entender y estructurar la modelización de grandes datos. Reseña recopilada por y alojada en G2.com.

-Incorpora lenguajes de scripting potentes.

-El procesamiento de datos es significativamente más rápido que el sistema convencional de Big Data de Hadoop debido a sus cálculos en memoria y varias otras optimizaciones. Reseña recopilada por y alojada en G2.com.

Puede haber errores de falta de memoria como resultado de cálculos en memoria. El tiempo de ejecución de la consulta es algo alto, sin embargo, es esperado, pero se puede optimizar hasta ciertos niveles. Reseña recopilada por y alojada en G2.com.

El procesamiento en memoria es algo que gusta mucho. También podemos usar dataframes directamente, lo que lo hace muy amigable para los desarrolladores. Además, la parte de streaming me gustó mucho... Reseña recopilada por y alojada en G2.com.

En mi opinión, no hay nada que pueda ser desagradable. Reseña recopilada por y alojada en G2.com.