Conociendo el funcionamiento de MapReduce en Big Data
Presentación
Mi nombre es Lorits y curso el Tech MBA de OBS Business School. Me desarrollo profesionalmente en el ámbito de la planificación y gestión estratégica pública en materias de Gestión del Riesgo de Desastres (GRD). Con este contexto presentaré el funcionamiento de MapReduce, analizando cómo este modelo de procesamiento paralelo (Map, Shuffle, Reduce) optimiza el análisis de grandes volúmenes de datos, fortaleciendo la toma de decisiones estratégicas en la GRD.
Introducción
MapReduce es un modelo de programación diseñado para facilitar el procesamiento paralelo de grandes volúmenes de información, dividiendo un problema en fragmentos más pequeños que pueden resolverse de forma simultánea en distintos nodos de un clúster. Fue concebido originalmente por Google para indexar y procesar la enorme cantidad de datos generada por sus servicios, y posteriormente se popularizó como el motor de cómputo central de Apache Hadoop. Su relevancia no radica únicamente en su capacidad técnica, sino en el cambio de paradigma que introdujo: en lugar de trasladar los datos hacia donde se ejecuta la aplicación, MapReduce ejecuta el procesamiento directamente en el nodo donde los datos ya residen, reduciendo drásticamente los tiempos de transferencia y permitiendo escalar el procesamiento a volúmenes del orden de terabytes o petabytes.
Desarrollo
El funcionamiento de MapReduce se organiza en dos funciones principales, Map y Reduce, complementadas por fases intermedias que garantizan la correcta organización de los datos entre ambas.
En la fase de “Split”, el conjunto de datos de entrada se divide en fragmentos de tamaño manejable, típicamente bloques de decenas o cientos de megabytes, que se distribuyen entre los distintos nodos del clúster. Cada fragmento es procesado de manera independiente por una función “Map”, que transforma los datos de entrada en una serie de pares clave-valor. Por ejemplo, en el caso clásico de conteo de palabras (word count), la función Map recorre un fragmento de texto y emite un par por cada palabra encontrada, donde la clave es la palabra y el valor es el número uno.
A continuación ocurre la fase de “Shuffle & Sort”, un paso intermedio, frecuentemente subestimado, en el que el sistema agrupa y ordena todos los pares clave-valor generados por los distintos mappers según su clave, redistribuyéndolos entre los nodos que ejecutarán la fase siguiente. Este reordenamiento es lo que garantiza que todas las ocurrencias de una misma clave, por ejemplo, todas las apariciones de una palabra determinada, lleguen juntas a un mismo reducer.
Finalmente, la función “Reduce” toma cada grupo de valores asociados a una clave y aplica una operación de agregación, una suma, un promedio, un conteo u otra función definida por el desarrollador, para producir el resultado consolidado. Siguiendo el ejemplo del conteo de palabras, el reducer sumaría todas las ocurrencias del valor uno asociadas a cada palabra, obteniendo así la frecuencia total de cada término en el documento. Es importante señalar que, en la implementación clásica de Hadoop, la fase Reduce no puede comenzar hasta que la fase Map haya finalizado por completo, lo que constituye una de las limitaciones que tecnologías posteriores, como Apache Spark, buscaron resolver mediante el procesamiento en memoria.
Todo este proceso es coordinado por un componente maestro, históricamente el JobTracker, y en versiones más recientes de Hadoop gestionado por YARN, responsable de programar las tareas, monitorizar su ejecución y reasignar automáticamente aquellas que fallen en algún nodo, lo que dota al modelo de una notable tolerancia a fallos sin intervención manual.
Get Lorits Hernández’s stories in your inbox
Join Medium for free to get updates from this writer.
Un ejemplo aplicado, más allá del clásico conteo de palabras, sería el cálculo de ingresos totales por producto a partir de un registro masivo de transacciones de venta: la función Map leería cada línea de compra y emitiría un par con el identificador del producto como clave y el monto de la venta como valor; la fase Reduce sumaría esos montos por cada producto, entregando el ingreso total generado por cada uno. Empresas como Walmart han utilizado esquemas de este tipo para analizar el comportamiento de compra de millones de clientes, y la NASA ha empleado Hadoop y MapReduce para el análisis de datos climáticos en su Centro de Simulación Climática.
En el ámbito de la GRD, un caso de uso análogo sería el procesamiento de reportes de daños posteriores a un evento: si se dispone de miles de registros textuales de evaluación de daños provenientes de distintas comunas, una función Map podría clasificar cada reporte según categorías predefinidas, vivienda, infraestructura vial, servicios básicos, mientras que la función Reduce consolidaría cuántos reportes corresponden a cada categoría por comuna o región, entregando en minutos una visión agregada que, procesada de forma manual, tomaría considerablemente más tiempo.
Conclusiones y utilidades de aplicación
MapReduce representó un punto de inflexión en la forma de procesar grandes volúmenes de datos, al demostrar que un problema de gran escala puede resolverse dividiéndolo en tareas simples, paralelizables y tolerantes a fallos. Aunque tecnologías más recientes, como Apache Spark, ofrecen mejoras sustanciales de velocidad al operar en memoria, MapReduce continúa siendo relevante como base conceptual del procesamiento distribuido y sigue en uso en numerosos procesos batch dentro de arquitecturas Hadoop vigentes. Para un profesional que debe evaluar cómo estructurar el análisis de grandes volúmenes de información, ya sea en un entorno corporativo o en la gestión pública, como en mi caso, comprender la lógica Map-Shuffle-Reduce resulta útil no solo para dialogar con equipos técnicos, sino también para reconocer qué tipo de problemas son naturalmente paralelizables y pueden beneficiarse de este enfoque.
Bibliografía
- Bezerra, J. (2024). “Conociendo el funcionamiento de Map Reduce en Big Data”. Medium. Recuperado de https://medium.com/@jackbezerra2205/conociendo-el-funcionamiento-de-map-reduce-en-big-data-c7335a0a810c
- Nuñez Castro, H. B. (2023). “Conociendo el funcionamiento de Map Reduce en Big Data”. Medium. Recuperado de https://medium.com/@hollman_castro/conociendo-el-funcionamiento-de-map-reduce-en-big-data-a37cf1e13eab
- Cestari, S. (2024). “Funcionamiento del MapReduce en Big Data”. Medium. Recuperado de https://medium.com/@sofiacestari/funcionamiento-del-mapreduce-en-big-data-a38fda5191df
- Garcia, K. (2025). “Conociendo el funcionamiento de MapReduce en Big Data”. Medium. Recuperado de https://medium.com/@kalemgarcia19/conociendo-el-funcionamiento-de-mapreduce-en-big-data-7778ad76d6a6
- Aprender BIG DATA. (2025). “¿Qué es Hadoop MapReduce? Introducción”. Recuperado de https://aprenderbigdata.com/hadoop-mapreduce/
- Tokio School. (s.f.). “¿Qué es Map Reduce y cómo se relaciona con Big Data?”. Recuperado de https://www.tokioschool.com/noticias/map-reduce-que-es/
