Marcos de Big Data: Hadoop vs Spark vs Flink

Hadoop es el Framework de código abierto basado en Apache escrito en Java . Es una de las famosas herramientas de Big Data que proporciona la función de almacenamiento distribuido utilizando su sistema de archivos HDFS (Sistema de archivos distribuido de Hadoop) y el procesamiento distribuido utilizando el modelo de programación Map-Reduce. Hadoop utiliza un grupo de hardware básico para almacenar y ejecutar la aplicación. Ya que Hadoop utiliza un modelo de computación distribuida para procesar el Big Data. También proporciona muchas características que mejoran su potencia. Hadoop proporciona bajo costo, tolerancia a fallas, escalabilidad, velocidad, localidad de datos, alta disponibilidad, etc. El ecosistema de Hadoop también es muy grande y proporciona muchas otras herramientas que funcionan además de Hadoop y lo hacen muy destacado.

Spark es un motor de procesamiento de código abierto diseñado para facilitar las operaciones de análisis. Es una plataforma informática de clúster que está diseñada para ser rápida y hecha para usos generales. Spark está diseñado para cubrir varias aplicaciones por lotes, aprendizaje automático , procesamiento de datos de transmisión y consultas interactivas. Apache Spark proporciona funciones como el procesamiento en memoria, un potente motor de procesamiento que viene con un componente estrechamente integrado que lo hace eficiente. Spark Streaming tiene una biblioteca de alto nivel utilizada para el proceso de transmisión.

Flink también es un marco de procesamiento de flujo de código abierto que se encuentra bajo la licencia de Apache. Apache Flink se utiliza para aplicaciones de transmisión de datos distribuidas y de alto rendimiento. También es compatible con otros procesamientos como el procesamiento de gráficos, el procesamiento por lotes y el procesamiento iterativo en Machine Learning, etc. Pero es principalmente famoso por el procesamiento de flujo. Ahora, podríamos tener la duda de que todo este procesamiento también se puede hacer con Spark, entonces, ¿por qué necesitamos Flink? La respuesta es que se considera que Flink es el motor de procesamiento de flujo de próxima generación, que es más rápido que Spark y Hadoop en cuanto a velocidad. Si Hadoop es 2G, Spark es 3G y Flink será 4G para el procesamiento de Big Data. Flink también nos proporciona aplicaciones de baja latencia y alto rendimiento.  

A continuación se muestra una tabla de diferencias entre Hadoop, Spark y Flink:

Residencia en	apache hadoop	chispa apache	Apache Flink
Procesamiento de datos	Hadoop está diseñado principalmente para el procesamiento por lotes, que es muy eficiente en el procesamiento de grandes conjuntos de datos.	Es compatible con el procesamiento por lotes, así como con el procesamiento de secuencias.	Es compatible con el procesamiento por lotes y flujo. Flink también proporciona el tiempo de ejecución único para el procesamiento por lotes y secuencias.
Motor de flujo	Toma el conjunto de datos completo como entrada a la vez y produce la salida.	Procese flujos de datos en microlotes.	El verdadero motor de transmisión utiliza flujos para la carga de trabajo: transmisión, microlotes, SQL , lotes.
Flujo de datos	El flujo de datos no contiene bucles. admite el flujo de datos lineal.	Spark admite el flujo de datos cíclico y lo representa como un gráfico acíclico directo (DAG).	Flink utiliza un gráfico de dependencia cíclica controlada en tiempo de ejecución. que manifiestan de manera eficiente los algoritmos de ML.
modelo de cómputo	Hadoop Map-Reduce es compatible con el modelo orientado a lotes.	Es compatible con el modelo computacional de micro lotes.	Flink admite un modelo de transmisión continuo basado en operadores.
Actuación	Más lento que Spark y Flink.	Más que Hadoop menos que Flink.	El rendimiento es el más alto entre estos tres.
Gestión de la memoria	La administración de memoria configurable admite la administración dinámica o estática.	La última versión de Spark tiene gestión de memoria automática.	Admite la gestión automática de la memoria
Tolerancia a fallos	Altamente tolerante a fallas usando un mecanismo de replicación.	Spark RDD proporciona tolerancia a fallas a través del linaje .	La tolerancia a fallas se basa en instantáneas distribuidas de Chandy-Lamport que dan como resultado un alto rendimiento.
Escalabilidad	Altamente escalable y se puede escalar hasta decenas de miles de Nodes.	Altamente escalable.	También es altamente escalable.
Procesamiento iterativo	No es compatible con el procesamiento iterativo.	admite procesamiento iterativo.	admite procesamiento iterativo e itera datos con la ayuda de su arquitectura de transmisión.
Idiomas admitidos	Java , C , C ++ , Python, Perl , Groovy, Ruby , etc.	Java, Python , R , Scala.	Java, Phyton, R, Scala .
Costo	Utiliza hardware básico que es menos costoso	Necesitaba mucha RAM, por lo que el costo es relativamente alto.	Apache Flink también necesitaba mucha RAM, por lo que el costo es relativamente alto.
Abstracción	Sin abstracción en Map-Reduce.	Abstracción de Spark RDD	Flink admite la abstracción de conjuntos de datos para lotes y flujos de datos
Compatibilidad con SQL	Los usuarios pueden ejecutar consultas SQL utilizando Apache Hive.	Los usuarios pueden ejecutar consultas SQL utilizando Spark-SQL. También es compatible con Hive para SQL.	Flink admite Table-API, que es similar a la expresión SQL. Apache Foundation está planeando agregar una interfaz SQL en su versión futura.
almacenamiento en caché	Map-Reduce no puede almacenar datos en caché.	Puede almacenar datos en caché en la memoria	Flink también puede almacenar datos en caché en la memoria
Requisitos de hardware	Funciona bien en hardware básico menos costoso.	También necesitaba hardware de alto nivel.	Apache Flink también necesita hardware de alto nivel
Aprendizaje automático	Apache Mahout se utiliza para ML.	Spark es tan poderoso en la implementación de algoritmos ML con sus propias bibliotecas ML.	La biblioteca FlinkML de Flink se utiliza para la implementación de ML.
línea de código	Hadoop 2.0 tiene 1,20,000 líneas de códigos.	desarrollado en 20000 líneas de códigos.	Está desarrollado en Scala y Java por lo que no. de líneas de código es menor que Hadoop.
Alta disponibilidad	Configurable en modo de alta disponibilidad.	Configurable en modo de alta disponibilidad.	Configurable en modo de alta disponibilidad.
Conector Amazon S3	Proporciona soporte para Amazon S3 Connector.	Proporciona soporte para Amazon S3 Connector.	Proporciona soporte para Amazon S3 Connector.
Manejo de contrapresión	Hadoop maneja la contrapresión a través de la configuración manual.	Spark también maneja la contrapresión a través de la configuración manual.	Apache Flink maneja la contrapresión implícitamente a través de la arquitectura del sistema
Criterios para Windows	Hadoop no tiene ningún criterio de Windows ya que no admite la transmisión.	Spark tiene criterios de ventana basados ​​en el tiempo.	Flink tiene criterios de ventana de Flink basados ​​en registros.
Licencia Apache	Licencia apache 2.	Licencia apache 2.	Licencia apache 2.