<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Bruno Masciarelli on Medium]]></title>
        <description><![CDATA[Stories by Bruno Masciarelli on Medium]]></description>
        <link>https://medium.com/@bruno.masciarelli?source=rss-7d5ecfcc630f------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*80NuAk6cxi0n5ILe</url>
            <title>Stories by Bruno Masciarelli on Medium</title>
            <link>https://medium.com/@bruno.masciarelli?source=rss-7d5ecfcc630f------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 18:11:53 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@bruno.masciarelli/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Calidad de datos: una guía práctica]]></title>
            <link>https://medium.com/lovelytcslatam/calidad-de-datos-una-gu%C3%ADa-pr%C3%A1ctica-e77558d73d53?source=rss-7d5ecfcc630f------2</link>
            <guid isPermaLink="false">https://medium.com/p/e77558d73d53</guid>
            <category><![CDATA[data-quality]]></category>
            <category><![CDATA[gobierno-de-datos]]></category>
            <category><![CDATA[calidad-de-datos]]></category>
            <dc:creator><![CDATA[Bruno Masciarelli]]></dc:creator>
            <pubDate>Mon, 25 Mar 2024 19:21:25 GMT</pubDate>
            <atom:updated>2024-03-26T13:02:49.410Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eb8WnzRftY8rqz3SWIQUUQ.jpeg" /></figure><p>Mucho se ha dicho y escrito acerca de la importancia cada vez más crítica de los datos en las organizaciones, el escenario hace algunos años nos mostraba que los proyectos de datos, en general avocados a la construcción de Data Warehouses, eran tratados como cuestiones secundarias y cuyo máximo valor final era alimentar una serie de reportes que, en el mejor de los casos, daban soporte a la toma de decisiones de alguno de los niveles gerenciales.</p><p>La realidad es que, si existía algún problema con los datos en esos Data Warehouses, ya sea por mala calidad, procesos que fallaban o simplemente por una mala interpretación del negocio, las consecuencias no eran tan terribles. Seguro existían usuarios enojados 😠 tratando de obtener respuestas, pero no se veía afectado ningún proceso crítico de la organización.</p><p>De un tiempo a esta parte, esto cambió en forma drástica y <strong>hoy existe un consenso de que los datos y todo lo que se construye alrededor de ellos pasaron a ser activos de las organizaciones</strong> y gran parte de estos productos forman parte de la operatoria misma de las empresas y en muchas ocasiones es diferencial de valor con respecto a sus competidoras.</p><blockquote><strong>Esta criticidad vuelve imprescindible poner en práctica una serie de definiciones y acciones que en su conjunto conforman lo que se conoce como Gobierno del Dato</strong>.</blockquote><p>Entre una de las tantas aristas que incluye Gobierno, hoy vamos a centrarnos en calidad de datos, vamos a hacer un doble click desde la perspectiva de la ingeniería de datos y cómo podemos hacer para que lo que sea que construyamos tenga la calidad necesaria para que el dato como activo alcance el valor potencial que puede tener.</p><h3>A qué llamamos calidad del dato</h3><p>En primer lugar, tenemos que definir qué es un dato en sí mismo, podríamos decir que es una representación simbólica (puede ser un número, pero también una descripción) de algo que ocurrió, por ejemplo, un evento como una tormenta o un hecho como una transacción bancaria, o de una entidad, como por ejemplo un automóvil.</p><p>En cada uno de los ejemplos mencionados podríamos encontrar infinidad de datos como cantidad de agua precipitada, monto transferido y color de la pintura. Los datos entonces describen una realidad <strong>observable 🧐 y medible</strong>, por ende, podemos usarlos para: comprender esa realidad describiéndola, tratando de anticipar lo que puede ocurrir en el futuro e inclusive intervenirla para tomar acciones en pos de un objetivo definido.</p><p>Luego de haber hecho una muy breve introducción, ahora si intentemos definir calidad: si un dato es una representación de una observación o medición, vamos a tener disponibles atributos cuantitativos y cualitativos asociados a estos hechos y entidades que mencionábamos, entonces para decir que un dato es de calidad, podemos definir algunas cuestiones que esperamos de él:</p><p><strong>• Precisión.</strong></p><p><strong>• Consistencia.</strong></p><p><strong>• Completitud.</strong></p><p><strong>• Actualidad.</strong></p><p>Tomemos de nuevo uno de los ejemplos anteriores para entender mejor a qué nos referimos con cada una, supongamos que queremos saber la magnitud de una tormenta 🌩 tomando en cuenta sólo la cantidad de agua precipitada:</p><p>• <strong>Precisión</strong>: no es lo mismo que lluevan 10 milímetros que 100, un simple 0 de más hace que la interpretación sea distinta.</p><p>• <strong>Completitud</strong>: si tenemos el dato de una sola tormenta, y no tenemos registro de otras históricas, será muy complicado determinar si el dato para la tormenta que queremos analizar. Otro aspecto muy importante, sobre todo cuando analizamos hechos o eventos es la <strong>temporalidad, </strong>si no contamos con el dato acerca del momento en que se realizó la medición, lo que tenemos no sirve para nada.</p><p>• <strong>Actualidad</strong>: según el objetivo que perseguimos, es evidente que no es lo mismo contar con el dato de precipitación al momento de la tormenta que tenerlo disponible una semana más tarde.</p><p>• <strong>Consistencia</strong>: de seguro el dato de precipitación lo obtenemos de un equipo que registra la medición en algún lado, si tenemos más de un equipo que utilizan distintas unidades de medida, si no contemplamos esto, vamos a tener que lidiar con un problema de calidad de datos en breve.</p><blockquote><strong>Entonces en una primera medida, si tenemos una serie de características deseables, podemos establecer que el grado de calidad de un dato está asociado a qué tan cerca está del ideal que esperamos de él para cada una de estas características, inclusive es posible ponderar alguna por sobre otra.</strong></blockquote><h3>Por dónde empezar</h3><p>Ya que les gustó el ejemplo de la tormenta, vamos a seguir utilizándolo, pero sumemos algunos condimentos: nuestra misión como ingenieros de datos es llevar a un Data Lake los datos de medición de una serie de estaciones meteorológicas para alimentar un proceso de alertas tempranas para prevenir situaciones de riesgo, todo esto a partir de un modelo de Machine Learning que se ejecutará cada 30 minutos.</p><p>Para simplificar el escenario, asumamos que tenemos dos estaciones y que los datos se obtienen de archivos de texto csv:</p><p><strong>Estación A</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/921/1*WLHMHpA4pngw4QHR6Jye9g.png" /><figcaption>Datos meteorológicos para la estación A</figcaption></figure><p><strong>Estación B</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/921/1*AIEJGRGFLxPl7lBdM_tmrA.png" /><figcaption>Datos meteorológicos para la estación B</figcaption></figure><p>Tenemos los datos disponibles, si descartamos que el problema de negocio a resolver ya está claro ¿por dónde empezamos?</p><p>· Desarrollamos un script que descargue de forma automática los csv. <strong>NO ❌</strong></p><p>· Creamos<strong> </strong>las tablas en el Data Lake donde se guardarán los datos.<strong> NO ❌</strong></p><p>· Hablamos con el equipo de ciencia de datos para definir cómo debemos dejar los datos para el modelo.<strong> NO ❌</strong></p><p>Lo primero y fundamental es realizar un <strong>análisis exploratorio de datos </strong>🔎, es decir, en primer lugar, entender la realidad que están describiendo estos datos en forma general, por ejemplo, para nuestro caso asimilar entre otras cosas que: las mediciones son cada 10 minutos, que por meteorología nos vamos a referir a lluvia, humedad y temperatura.</p><p>Luego, tenemos que comprender la naturaleza propia de estos datos, si bien obviamente para el desarrollo vamos a trabajar con un muestreo, es importante que entendamos cómo se comportan en cuanto a variabilidad, faltantes, magnitudes, entre otras cosas. Esto podemos hacerlo con estadística básica y no es necesario que sea un análisis exhaustivo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/921/1*q-_zjq_bfuNwFfmdQoS8mA.png" /><figcaption>Gráfico de líneas de comparación de temperaturas</figcaption></figure><p>Con este simple gráfico ya intuimos que la temperatura en ambas estaciones se registra con unidades de medida diferentes, esto no es un problema en sí mismo, siempre y cuando se contemple que, para analizarlas en conjunto, uno de los dos datos necesita conversión.</p><p>Ahora observemos la <strong>distribución de los datos</strong> (al ser pocos no es significativo el análisis, pero sirve a modo de ejemplo), esto podemos hacerlo de forma visual con diagramas de cajas y bigotes:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/921/1*3NrDn_SMcwmymmTiMeqJwQ.png" /><figcaption>Diagrama caja de bigotes estación A</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/921/1*S4hbxUezxA6v_VNHTf9aqw.png" /><figcaption>Diagrama caja de bigotes estación B</figcaption></figure><p>Acá vemos en forma clara un valor anómalo en la estación A, hay que confirmar con el responsable de generar estos datos si es un dato real o quizás hubo un problema de que faltó el punto decimal y tenemos 1512 en vez de 15,12.</p><p>Quitando el valor anómalo, comparemos las estaciones. En este caso no se observan problemas de unidades, pero si, aunque no es tan sencillo de ver, que los valores de la estación B siempre se redondean a un número entero.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/921/1*ZMhHKr005RkWUsQAMMbo_A.png" /><figcaption>Gráfico de barras precipitación por estación</figcaption></figure><h3>Prevenir es mejor que curar</h3><p>Si bien podríamos hacer mucho más extensivo el análisis inicial de los datos, avancemos para ver qué otras acciones tomar para tener datos de calidad.</p><p>Habiendo entendido los datos con los que contamos, retomemos las cuestiones que definimos como características asociadas a la calidad de los datos y establezcamos algunas reglas de ejemplo para validar cada una de ellas:</p><p>• <strong>Precisión</strong> y consistencia: como estamos trabajando con variables numéricas que sabemos los valores normales que pueden tomar, para cada una se puede establecer un rango de validez.</p><p>Para Temperatura, asumimos que las estaciones no están en lugares con temperaturas extremas:</p><p>Estación A: -20 a 50 (recordemos que son ºC).</p><p>Estación B: -4 a 122 (recordemos que son ºF).</p><p>• <strong>Completitud</strong>: en este caso la regla es sencilla, no queremos datos nulos o NaN (Not a Number), el problema es que en los datos de ejemplo ya detectamos esto, por ende, la regla podría tener asociado un umbral de tolerancia, por ejemplo, un máximo de 10% de registros nulos sobre el total.</p><p>• <strong>Actualidad</strong>: aquí vamos a validar que en cada ejecución que hagamos tengamos datos recientes, entonces tiene sentido controlar el campo de fecha y hora para validar que el último registro corresponda con lo que se espera del productor de los datos, por ejemplo, si afirma que se actualizan cada 10 minutos, podemos chequear que la diferencia entre la fecha y hora de ejecución y la fecha hora máxima que obtengamos del archivo no sea mayor a ese valor de 10.</p><h3>La integridad referencial</h3><p>Compliquemos un poco más las cosas. Incorporemos una dimensión al análisis que no contemplamos hasta ahora, la geografía, es decir, dónde se están midiendo las variables meteorológicas.</p><p>Supongamos que tenemos el código postal de dónde está ubicada cada estación y además conseguimos un archivo con los datos geográficos asociados a cada código:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/921/1*6VRKj6-TJeB9ecfmX5OW2Q.png" /><figcaption>Datos de códigos postales</figcaption></figure><p>En esta instancia debemos validar dos cosas:</p><p>1. Que el código que tenemos para cada estación tenga su correspondiente en nuestro nuevo archivo, de lo contrario no vamos a poder obtener los datos geográficos.</p><p>2. Que no haya códigos duplicados en el archivo. Si bien es algo que no debería pasar, puede haber un error o alguna situación particular donde ocurra. Si no controlamos esto, lo que va a terminar pasando es que una misma estación tendrá dos ubicaciones diferentes. Esto según el análisis que hagamos puede llevarnos a incurrir en errores graves, por ejemplo, si queremos saber el total de precipitaciones para una determinada estación, si cruzamos contra códigos postales duplicados, vamos a obtener un valor incorrecto, 16 vs 8 en la imagen que sigue:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/921/1*kx-WGLOJtUgLv57RjidjQw.png" /><figcaption>Cruce de datos meteorológicos y códigos postales</figcaption></figure><h3>Calidad everywhere</h3><p>Hagamos fast forward ⏩ y asumamos que ya se desarrollaron los pipelines necesarios para alimentar la tabla que estará utilizando el modelo de machine learning. Simplifiquemos en un escenario donde el modelo necesita el promedio por hora (cerrada, es decir no móvil) de temperatura y total de precipitaciones junto con las coordenadas de la estación:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/921/1*1O4Z6vI_M_mH2prHFvBfxQ.png" /><figcaption>Datos meteorológicos por hora</figcaption></figure><p>Se preguntarán si aquí también debemos hacer controles de calidad, bueno <strong>la respuesta es sí, acá también</strong> 😉. Si bien el control de las fuentes de datos nos ahorra muchos dolores de cabeza, la realidad es que nuestros pipelines, transforman y enriquecen esos datos originales, por lo tanto, el resultado final, la tabla de promedios por hora en este caso, no está exenta de contener errores introducidos en el proceso de ingeniería de datos, algunos ejemplos:</p><p>1. Una de las estaciones registraba la temperatura en grados Fahrenheit, si realizamos mal la conversión, la tabla final contendrá datos erróneos.</p><p>2. El cálculo de las métricas puede estar mal hecho, ya sea por una cuestión técnica o funcional, para nuestro caso pareciera ser trivial, pero en la vida real puede ser algo mucho más complejo.</p><p>Si seguimos entonces con estos ejemplos, en este punto podemos definir dos reglas:</p><p>1. Chequear que la columna de temperatura promedio esté dentro de los mismos rangos que definimos cuando validamos la fuente de datos.</p><p>2. Para el caso de las precipitaciones totales, no podemos usar el mismo rango definido para la fuente por cuestiones obvias, ahora estamos sumando las mediciones, de todos modos, se puede establecer un rango más amplio o si queremos algo más preciso se podría comparar el valor de la tabla final contra la suma de los valores individuales de la tabla origen.</p><h3>Cuánto es suficiente</h3><p>Ya analizamos los datos, establecimos reglas de calidad tanto para el origen de datos como para las tablas que se generaron en el proceso de ingeniería, y ahora surge una pregunta existencial: <strong>¿cuántas reglas son suficientes?</strong></p><p>Como habrán notado, la cantidad y elección de reglas que vimos es más bien arbitraria y bastante subjetiva, seguro a ustedes se les ocurrieron otras cosas para validar o inclusive les parezca que algo de lo que se definió no tenga mucho sentido.</p><blockquote><strong>Entre los dos extremos de no validar nada y validar absolutamente todo lo que se nos ocurra, es necesario encontrar un equilibrio, porque si bien la segunda opción suena tentadora, generaría varios problemas:</strong></blockquote><p><strong>1. Siempre los recursos disponibles son escasos</strong>: primero las personas que van a estar desarrollando y estableciendo reglas, luego el tiempo. Cada regla adicional requiere tiempo de definición y prueba y por último, y no menos importante, la ejecución de cada regla implica recursos computacionales: a mayor cantidad de validaciones mayor tiempo de proceso (puede darse el caso de que validar tarde más que el proceso de transformación en sí) y mayor costo 💸 asociado.</p><p><strong>2. Si hay demasiadas reglas, lo más probable es que nos encontremos con varias de ellas que van a fallar pero que van a terminar siendo ignoradas por diferentes cuestiones</strong>: incapacidad de poder lidiar con los problemas por falta de equipo, reglas que dejan de tener sentido por la naturaleza viva de los datos, validaciones no críticas que no necesitan corrección inmediata.</p><h3>Consideraciones finales</h3><p>Recién mencionábamos que establecer demasiadas reglas podría llevar a que muchas sean ignoradas, esto tiene que ver con una cuestión fundamental que no vimos hasta ahora y es cómo vamos a <strong>accionar 👩‍🔧</strong>sobre estas reglas.</p><p>Cómo hacer efectivo el proceso completo de calidad de datos tiene varias implicancias, sobre todo asociadas a lo cultural, como vimos en otras iniciativas de datos como <a href="https://medium.com/datalytics/data-mesh-qu%C3%A9-y-por-qu%C3%A9-a85fd6178b94">Data Mesh</a>, la primera barrera tiene que ver con procesos organizacionales y visión, <strong>no hay calidad de datos posibles sin un alineamiento de todas las partes implicadas</strong>. Estas son cuestiones que no deben faltar para que el intento de establecer calidad de datos no quede en la nada misma:</p><p><strong>· Embeber el proceso de calidad dentro del proceso de desarrollo</strong>: si bien es posible, definir las reglas de calidad una vez que está todo el pipeline de datos desarrollado no es lo ideal, preocuparnos por la calidad de datos debe ser algo para considerar desde el inicio, inclusive deberían ser tareas <strong>obligatorias </strong>para todos los ingenieros de datos.</p><p><strong>· Entender la criticidad de cada regla</strong>: no todos los problemas de calidad tienen el mismo impacto, es fundamental asociar un nivel de criticidad para cada uno y obviamente priorizar y comenzar por lo más crítico.</p><p><strong>· Definir responsables.</strong></p><p>a. Para los orígenes de datos, por ejemplo, en nuestro caso sería la empresa encargada de generar y disponibilizar los datos de las estaciones meteorológicas. En la vida real, donde consumimos datos de: sistemas transaccionales, ERPs, CRMs, hay equipos trabajando con estas herramientas que son los que entienden y generan estos datos. Si seguimos buenas prácticas de ingeniería de datos, estas personas habrán sido parte del desarrollo desde el momento inicial, inclusive las reglas que se definieron sobre las fuentes de datos deberían estar asociadas a definiciones de negocio establecidas por estos equipos.</p><p>b. Sobre las tablas generadas en el proceso de ingeniería, en este caso tiene sentido definir un equipo de soporte que pueda rastrear y solucionar los problemas que puedan darse.</p><p><strong>· Identificar implicados</strong>: los problemas de calidad de datos deberían estar afectando a personas, equipos u otros procesos que dependen de estos para tomar decisiones, realizar alguna acción</p><p><strong>· Tener un mecanismo de alertado ⚠</strong>: si tenemos definidos responsables e implicados, a cada uno de ellos debería llegarle un mensaje (email, Slack, lo que sea) donde esté claro el problema de calidad encontrado y la acción que se debe tomar, inclusive para un mismo incidente puede haber distintas acciones según el receptor.</p><p><strong>· Establecer un proceso de revisión</strong>: es imposible que las reglas que se definieron una vez sean válidas para siempre, habrá reglas que dejen de tener sentido y otras nuevas necesarias. <strong>Es importante poner el foco en reglas que fallan todo el tiempo, pero nadie las arregla. No debemos tener miedo en eliminar reglas que solo meten ruido al proceso</strong>.</p><p><strong>· Registrar los resultados de las validaciones</strong>: este punto es crucial para poder monitorear la calidad de los datos a lo largo del tiempo y ganar en Observabilidad.</p><p>Una última recomendación de implementación es la utilización de algún <strong>framework o herramienta que permita hacer todo esto de manera sistémica</strong>, si bien las soluciones <em>hágalo usted mismo</em> pueden ser útiles en un principio, en algún momento dejan de escalar.</p><p>Para no quedarnos en la teoría, en un próximo artículo, veremos cómo llevar adelante muchas de las cuestiones de forma práctica y con una herramienta específica.</p><p>Hasta entonces.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e77558d73d53" width="1" height="1" alt=""><hr><p><a href="https://medium.com/lovelytcslatam/calidad-de-datos-una-gu%C3%ADa-pr%C3%A1ctica-e77558d73d53">Calidad de datos: una guía práctica</a> was originally published in <a href="https://medium.com/lovelytcslatam">Lovelytics LATAM</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Data Mesh, ¿qué y por qué?]]></title>
            <link>https://medium.com/lovelytcslatam/data-mesh-qu%C3%A9-y-por-qu%C3%A9-a85fd6178b94?source=rss-7d5ecfcc630f------2</link>
            <guid isPermaLink="false">https://medium.com/p/a85fd6178b94</guid>
            <category><![CDATA[product-data]]></category>
            <category><![CDATA[data-mesh]]></category>
            <dc:creator><![CDATA[Bruno Masciarelli]]></dc:creator>
            <pubDate>Tue, 06 Sep 2022 13:41:11 GMT</pubDate>
            <atom:updated>2023-01-09T14:11:57.547Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tVogMPt8rLeFKbHwikeaRg.jpeg" /></figure><h4><strong>Data Mesh es principalmente una propuesta para cambiar la forma en que se gestionan los proyectos de datos</strong> dentro de las organizaciones. Por sobre todas las cosas es un <strong>cambio cultural.</strong></h4><p>Ya nos había ocurrido esto mismo cuando vimos <a href="https://medium.com/datalytics/dataops-primeros-pasos-c%C3%B3mo-debe-ser-el-pipeline-de-datos-a2b70ab11621">DataOps</a>. Por lo tanto, en este artículo no vamos a ver ninguna cuestión técnica, si bien obviamente para poder llevar a cabo este paradigma, tenemos que tener el soporte tecnológico correspondiente.</p><h3>Algo estamos haciendo mal</h3><p>No es casual que, números más, números menos, <a href="https://designingforanalytics.com/resources/failure-rates-for-analytics-bi-iot-and-big-data-projects-85-yikes/">la mayoría de los proyectos de datos fallen</a> 😣. Las <a href="https://blogs.gartner.com/andrew_white/2019/01/03/our-top-data-and-analytics-predicts-for-2019/">predicciones</a> para este 2022, señalaban qué <strong>sólo el 20% de los proyectos iban a generar algún tipo de accionable para el negocio</strong> y que el 80% serían proyectos aislados que sólo podrían entender y gestionar los equipos de ingeniería o de ciencia de datos que los llevaron a cabo.</p><p>Si bien podríamos enumerar un sinfín de causas técnicas — por ejemplo, la mala calidad de datos o los pipelines de datos no robustos — y no técnicas — como podría ser no resolver el problema indicado — , lo que nos indica la realidad es que <strong>la génesis de los fracasos es la desconexión 🔌 que existe entre las áreas de datos y las de negocio</strong>. El problema es tan profundo que, podemos encontrar <a href="https://www.aible.com/press/challenge/">concursos</a> de machine learning en los que estudiantes de secundaria llegan a mejores resultados que profesionales de datos😲.</p><p>Desde hace ya más de 30 años, cuando surge el Data Warehouse, las organizaciones ejecutan sus proyectos de datos con un área que los centraliza actuando como un hub que ofrece servicios al resto de la organización.</p><blockquote>Si bien esto no tiene nada de malo, hoy en día cuando decimos que los <a href="https://www.economist.com/leaders/2017/05/06/the-worlds-most-valuable-resource-is-no-longer-oil-but-data">datos son el nuevo petróleo</a>, dado que su valor y utilidad los convierten en un activo crítico, <strong>no podemos esperar que esa forma de trabajar pueda dar respuesta a los nuevos desafíos con los que nos encontramos</strong>.</blockquote><p>Los datos atraviesan cada una de las operaciones de cualquier compañía y son indispensables para tomar mejores decisiones y obtener ventajas competitivas. Sobran <a href="https://digital.hbs.edu/platform-digit/submission/big-mac-to-big-data-why-mcdonalds-is-betting-its-future-on-digital-innovation/">ejemplos de empresas</a> que están reinventándose para organizarse en torno a una cultura <a href="https://hbr.org/2020/02/10-steps-to-creating-a-data-driven-culture?language=es"><strong>data-driven</strong></a><strong> </strong>📈.</p><h3>La malla de datos como propuesta de solución</h3><p>En este contexto dinámico y complejo, Data Mesh aparece en 2018 desde una consultora llamada <a href="https://thoughtworks.com/">ThoughtWorks</a>. <strong>Su autora, </strong><a href="https://www.thoughtworks.com/profiles/z/zhamak-dehghani"><strong>Zhamak Dehghani</strong></a><strong>, lo propone como una respuesta a las problemáticas recurrentes en proyectos de datos asociados a la desconexión</strong> que mencionamos. Entre las más destacadas podemos listar:</p><ul><li>La centralización de los desarrollos en un equipo de datos, independiente del resto de la organización, a la larga lleva a que sean un <strong>cuello de botella</strong> y el problema en la cadena de entrega de valor.</li><li>El <strong>conocimiento</strong> sobre los dominios (más sobre esto a continuación) queda en manos de ingenieros e ingenieras de datos que luego pasarán a trabajar sobre otro dominio.</li><li>Relacionado a lo anterior, le estamos pidiendo a un/a ingeniero/a de datos, que, mientras pasa de proyecto en proyecto, aprenda los pormenores de cada área de la organización, convirtiéndose en <strong>especialista en todo y nada</strong> al mismo tiempo 😕.</li><li>Mega plataformas analíticas en las cuales se vuelca el conocimiento de toda la compañía, con multiplicidad de equipos y áreas utilizando los mismos recursos al mismo tiempo. Esto da lugar a <strong>ineficiencias</strong> en las que problemas puntuales pueden terminar en problemas generales.</li><li><strong>Falta de agilidad</strong> asociada a soluciones monolíticas, no sólo en cuanto a arquitectura sino más que nada asociado a la rigidez de los procesos que se tienen que llevar adelante para que los consumidores de los datos tengan información disponible en el tiempo y lugar exactos.</li><li>Una <strong>brecha</strong> muy grande <strong>entre el plano operacional y analítico</strong> de los datos. Mientras que los datos que se generan al operar un negocio están bajo control y conocimiento del área que los opera, el plano analítico depende de actores externos al área dando lugar a situaciones como la mala interpretación del negocio o suposiciones incorrectas, por mencionar algunas.</li><li><strong>Múltiples copias de los mismos datos</strong>, en el mejor escenario con coherencia entre las mismas, en el peor, con diferencias conceptuales y cuantitativas de cosas que deberían significar lo mismo.</li><li><strong>Datos no utilizables </strong>por problemas de calidad o por pérdida de oportunidad, es decir, el dato está disponible mucho tiempo después de cuando más valor tenía. Bien sabemos que <strong>el valor del dato decrece a medida que crece su antigüedad ⏱</strong>.</li><li><strong>Oscuridad de datos</strong>, esto lo observamos cuando existe un impedimento a la hora de navegar o descubrir lo que hay disponible por falta de metadata.</li><li>Imposibilidad de llegar al ideal en el que los usuarios finales que necesitan los datos para tomar mejores acciones y decisiones puedan hacerlo de manera autónoma (la utopía del <a href="https://www.gartner.com/en/information-technology/glossary/self-service-analytics">self-service</a>).</li></ul><h3>Sobre dominios y productos de datos</h3><p>Para entender la Data Mesh, tenemos que ahondar en estos dos conceptos.</p><p>Los <strong>dominios</strong> representan una unidad en una compañía asociada a una temática en particular. Por ejemplo, en su <a href="https://www.amazon.com/-/es/Zhamak-Dehghani/dp/1492092398">libro</a>, la autora plantea el caso de una empresa de streaming digital. En la que podríamos encontrar áreas como producto y finanzas que, a su vez, podrían estar conformadas por dominios como <em>Podcasts</em> y <em>Artistas </em>la primera, o <em>Pagos </em>y <em>Suscripciones </em>la segunda.</p><p>La propuesta es que estos dominios trabajen sobre sus datos de manera autónoma, independiente a los otros, con su propio equipo de datos que formará parte del área, respondiendo a los responsables de ésta.</p><blockquote>El justificativo detrás de esto es que <strong>las personas que están más cerca de donde se genera y trabaja con el dato, son las que mejor van a poder entenderlos, interpretarlos y decidir qué tipo de analítica ejecutar sobre ellos.</strong></blockquote><p>Luego, para conformar la malla, los dominios se comunicarán entre sí mediante <strong>productos de datos</strong>. Son unidades atómicas y funcionalmente cohesivas, resultado del trabajo de un equipo dentro de un dominio en particular para resolver una problemática. Siguiendo el ejemplo, el dominio <em>Podcasts</em>, podría hacer uso de los datos demográficos de las personas que los escuchan para poner a disposición una tabla en la cual figure información que indique las temáticas más populares por grupo etario. Es importante tener en cuenta que, si bien lo que el dominio va a compartir para consumo de otros dominios es esta tabla, todos los componentes necesarios para llegar al resultado final, también forman parte del producto: código (ETL y orquestación), datos utilizados para el desarrollo junto con sus pruebas de calidad, infraestructura y políticas de acceso.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*8MziUYQApih3qeEIrLHIWg.png" /><figcaption>Imagen de <a href="https://www.thoughtworks.com/profiles/z/zhamak-dehghani">Zhamak Dehghani</a> en <a href="https://martinfowler.com/articles/data-mesh-principles.html">martinfowler.com</a></figcaption></figure><p>Otros ejemplos de producto podrían ser un modelo de machine learning o una API. Más allá del activo definido, lo fundamental es pensarlos como productos, de manera tal que tendrán asociado un ciclo de vida y que <strong>su construcción esté siempre enfocada en otorgar una mejor experiencia para el usuario final, tal como pasa en cualquier industria con los productos que elabora.</strong></p><p>Para lograr este objetivo, podemos contemplar que los productos cumplan con determinadas <a href="https://martinfowler.com/articles/data-monolith-to-mesh.html#DomainDataAsAProduct">características</a>:</p><ul><li><strong>Autodescribible</strong>: toda la metadata asociada al producto debe poder definirlo claramente, sin ambigüedades para que el consumidor entienda exactamente en qué consiste.</li><li><strong>Direccionable</strong>: identificación que indique desde dónde y de qué manera se consume el producto.</li><li><strong>Descubrible</strong>: debe formar parte de un catálogo en el que los usuarios puedan encontrarlo con facilidad 🔎.</li><li><strong>Seguro</strong>: el acceso debe estar gobernado y auditado. Si contiene información personal o sensible debe estar claramente identificado.</li><li><strong>Confiable</strong>: tiene que haber métricas cuantificables para determinar la confiabilidad, y los valores tienen que estar publicados. Por ejemplo, podemos establecer que los datos se actualizan diariamente y, en caso de que haya alguna demora, en el catálogo debe figurar la cantidad de días desde la última actualización.</li><li><strong>Interoperable</strong>: para poder compartir información entre dominios, tiene que haber una manera estandarizada de hacerlo, por ende, los productos deben cumplir con esto.</li></ul><p>Una última cuestión fundamental asociada a dominios y productos es la del <strong>adueñamiento</strong>. Tradicionalmente, el responsable final y fuente de consulta sobre un activo de datos ha sido el área de datos, o en última instancia, el ingeniero o la ingeniera que trabajó en su construcción. Al trabajar orientados a dominios y con productos bien definidos, eso debe cambiar a un enfoque en el que cada producto tenga asociado un <strong>dueño o dueña</strong>, con conocimiento del dominio y de las decisiones que se tomaron para llegar al producto final.</p><h3>¿Hay algo más?</h3><p>Sí, además de los dominios y productos de datos, Data Mesh se basa en dos principios adicionales:</p><ul><li><strong>Infraestructura de datos como plataforma</strong>, lo que se busca es que los dominios puedan consumir una infraestructura estandarizada en modo self-service para facilitar el despliegue de las herramientas que conforman una plataforma analítica. De esta manera, además de agilizar las implementaciones, se evitan diferencias en el stack tecnológico de cada área, lo que muchas veces lleva a que no sea posible compartir información porque las herramientas no pueden “hablar entre sí”.</li><li><strong>Gobernanza federada computacional</strong>, para entender esto tenemos que hacer foco en cada uno de los términos que componen el principio:</li><li><em>Gobernanza</em>: hace referencia a tener control de los datos desde distintas aristas. Por un lado, la <strong>seguridad</strong> para garantizar que sólo las personas autorizadas tengan acceso según se haya definido. Luego se debe asegurar que se cumplan con las normativas legales y organizacionales, esto cobra especial relevancia con las regulaciones como <a href="https://ec.europa.eu/info/law/law-topic/data-protection_es">GDPR</a>. También forma parte del gobierno el verificar que se cumplan las políticas que aplican a cada una de las características de los data products que mencionamos anteriormente.</li><li><em>Federación</em>: si bien la descentralización del trabajo por dominios suena muy linda, es fácil imaginar cómo todo puede transformarse en <strong>caos</strong> en 3️⃣2️⃣1️⃣. <strong>Para que el gobierno sea posible sin caer en el extremo de una centralización total, se propone federar algunas cuestiones y centralizar otras</strong>. Entonces, para las políticas que comentamos en el punto anterior, seguramente tenga sentido que se definan y auditen de manera centralizada, al igual que cuestiones tales como la gestión de los accesos o la definición de los protocolos que van a permitir la interoperabilidad de los data products. Luego, se puede delegar en los dominios la manera en cómo llegar a cumplir con todas las políticas centrales, aquí es donde pueden surgir roles tales como el de <a href="https://en.wikipedia.org/wiki/Data_steward">Data Steward</a>.</li><li><em>Computacional</em>: para que lo anterior funcione de la manera más fluida posible, será fundamental poder automatizar la mayor cantidad de tareas asociadas a todo lo que detallamos. Por ejemplo, si se define como norma que no pueden publicarse productos con datos sensibles, debería haber algún proceso basado en machine learning que pueda identificar productos que no cumplan con esto sin necesidad de una revisión humana.</li></ul><h3>En conclusión</h3><blockquote>Como vimos, <strong>Data Mesh no es algo que vayamos a tomar e implementar sin más, tal como haríamos con una arquitectura de datos, es una invitación a realizar una introspección profunda en torno a cómo trabajamos y cuál es nuestro norte como profesionales de datos.</strong></blockquote><p>Si tomamos conciencia de que hoy no estamos aprovechando todo el potencial que tienen los datos, entonces la discusión no será “Data Mesh sí, Data Mesh no”, sino que tendrá que ver con <strong>identificar qué es lo que nos impide entregar valor al negocio en tiempo y forma para luego actuar en consecuencia.</strong></p><p>Puede que un cambio de paradigma como el que nos propone Data Mesh, en el que el trabajo se organice de forma descentralizada nos resulte una alternativa interesante para resolver nuestros puntos de dolor, de ser así, <strong>lo importante será desandar ese camino teniendo claro el por qué y a dónde queremos llegar.</strong></p><p>Dado que hablamos principalmente de un cambio cultural, es probable que lo mejor sea dar pasos 👣 pequeños, involucrando en un principio a algunas áreas y actores de la organización para ir escalando en forma incremental e iterativa, ajustando y adaptando lo que sea que hayamos pensado y planificado a lo que observemos en la vida real.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a85fd6178b94" width="1" height="1" alt=""><hr><p><a href="https://medium.com/lovelytcslatam/data-mesh-qu%C3%A9-y-por-qu%C3%A9-a85fd6178b94">Data Mesh, ¿qué y por qué?</a> was originally published in <a href="https://medium.com/lovelytcslatam">Lovelytics LATAM</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Desmitificando el Modern Data Stack]]></title>
            <link>https://medium.com/lovelytcslatam/desmitificando-el-modern-data-stack-443804feeede?source=rss-7d5ecfcc630f------2</link>
            <guid isPermaLink="false">https://medium.com/p/443804feeede</guid>
            <category><![CDATA[etl]]></category>
            <category><![CDATA[data-warehouse]]></category>
            <category><![CDATA[procesamiento-de-datos]]></category>
            <category><![CDATA[arquitecturas-de-datos]]></category>
            <category><![CDATA[modern-data-stack]]></category>
            <dc:creator><![CDATA[Bruno Masciarelli]]></dc:creator>
            <pubDate>Mon, 18 Jul 2022 12:49:54 GMT</pubDate>
            <atom:updated>2022-07-18T12:49:54.625Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HsxbiQn5fEp7-2utYOF0QA.jpeg" /><figcaption>Modern Data Stack</figcaption></figure><p>De un tiempo a esta parte venimos escuchando y leyendo mucho acerca del Modern Data Stack (MDS de ahora en más 😊), a tal punto que una de las empresas más preponderantes en el mundo de los datos (sino la más), Databricks, está <a href="https://databricks.com/the-future-of-the-modern-data-stack">impulsando</a> el concepto junto con otros vendors. El término se popularizó — y deformó — hasta un punto en el que incluso se llega a hablar del <a href="https://home.mlops.community/public/events/the-post-modern-stack-2022-06-01">post MDS</a><strong>.</strong></p><p>Para evitar entrar en un espiral infinito de blog posts o búsquedas en Google, trataremos de alejarnos un poco de la moda para poner foco en entender<strong> en qué consiste un stack de datos moderno</strong> y, sobre todo, repasar los beneficios que nos puede otorgar implementarlo.</p><h3>¿Qué hay de nuevo viejo 🐰?</h3><p>Es importante comenzar aclarando que la implementación de un stack de este estilo está fundamentada en tres pilares de los que ya hemos <a href="https://www.datalytics.com/aws-data-stack/">hablado</a>:</p><ol><li><strong>Adopción de servicios en la nube</strong> para aprovechar todas sus ventajas: flexibilidad, pago por uso y escalabilidad para mencionar las más importantes. Por otra parte, nos vamos a encontrar con una oferta grande de servicios de propósito específico que implementaremos según necesidad.</li><li><strong>Separación de la arquitectura en capas</strong> de manera tal que podamos construirla y validarla de forma iterativa y modular, evitando soluciones monolíticas que no escalan.</li><li><strong>Cambio del paradigma ETL a EL-T</strong>, es decir, dejamos atrás los buenos viejos tiempos 🕰 donde una herramienta se encargaba de extraer los datos de origen, procesarlos y cargarlos a nuestro destino final, un Data Warehouse. La propuesta ahora es cargar nuestros datos tal como están en el origen a un repositorio central (Data Lake, Data Warehouse — sigue vigente — o <a href="https://www.datalytics.com/introduccion-databricks/">Lakehouse</a>) para luego transformarlos, así haremos uso de las bondades del almacenamiento y procesamiento distribuido de datos.</li></ol><p>El hecho que los tres puntos mencionados se hayan establecido en la industria como una especie de estándar, hizo que, sobre esa base, se de una evolución evidenciada en el surgimiento de nuevas empresas abocadas a construir herramientas de propósito <strong>hiper</strong> <strong>específico</strong>. La novedad 🆕 entonces, es que nos encontramos sobre la mesa con una gran cantidad de herramientas para dar solución a problemas muy puntuales en la construcción de una arquitectura moderna de datos.</p><p>Para bajar esto a tierra, repasemos las distintas capas de estas arquitecturas. Para cada una veremos:</p><ul><li>Las características deseables en las que fijarnos.</li><li>Algunas herramientas disponibles.</li><li>Beneficios que podemos obtener.</li></ul><h3>Almacenamiento y cómputo</h3><p>Tal como mencionamos, las arquitecturas modernas de datos cuentan con un repositorio central donde guardaremos nuestros datos, ya sea en su versión original (datos crudos) o en un estadio posterior, luego de aplicar transformaciones o lógica de negocio. Es por esto último que, además del almacenamiento, la tecnología que implementemos nos debe proveer del cómputo necesario para acceder a los datos de manera eficiente.</p><p>Sea cual sea la herramienta que elijamos, tengamos en cuenta que esta capa será el centro 🎯 de la arquitectura y, por ende, la que más influencia tendrá sobre el resto.</p><p>En cuanto a las características deseables en las que nos deberíamos fijar podemos listar:</p><ul><li><strong>Separación de almacenamiento y cómputo</strong>: es fundamental que podamos escalarlos por separado según necesidad, el sólo hecho de ingestar más datos no es motivo para tener que adquirir más capacidad de cómputo, lo mismo para el caso contrario.</li><li><strong>Pago por uso</strong>: una de las características más destacadas de operar en la nube. Lo que paguemos tiene que estar directamente relacionado con el uso que le demos a los datos, sin necesidad de hacer inversiones anticipadas.</li><li><strong>Integración</strong>: si esta herramienta será el centro de la arquitectura, de más está decir que debe integrarse con, al menos:</li><li>Herramientas ELT</li><li>Herramientas de visualización.</li><li>Formatos abiertos: es cada vez mayor la adopción de formatos de datos abiertos, ya sea tradicionales, como Parquet o JSON, como las evoluciones que permiten operaciones tipo base de datos (<a href="https://databricks.com/glossary/acid-transactions">transacciones con características ACID</a>), como <a href="https://delta.io/">Delta Lake</a> o <a href="https://iceberg.apache.org/">Apache Iceberg</a>. Por esto es fundamental que podamos consumir estos tipos de archivos sin quedar atados a un formato propietario que genere <a href="https://es.wikipedia.org/wiki/Dependencia_del_proveedor"><em>vendor lock-in</em></a>.</li><li><strong>Seguridad</strong>: si vamos a almacenar todos nuestros datos, de más está decir que la seguridad juega un rol clave. Entre otras cosas la herramienta tiene que permitir:</li><li>Acceso granular: cada usuario accederá sólo a los datos sobre los que tenga permisos, con la posibilidad de aplicarlos hasta un nivel de fila y columna.</li><li>Encriptación.</li><li>Aislamiento: de requerirlo, podríamos configurar el entorno de manera tal que el intercambio de datos se de dentro de los recursos que estamos usando sin pasar por Internet.</li><li><strong>Rendimiento.</strong></li></ul><p>Las herramientas más populares en esta capa son:</p><ul><li><a href="https://www.datalytics.com/aws-redshift-service-delivery/">Amazon Redshift</a></li><li><a href="https://www.snowflake.com/?lang=es">Snowflake</a></li><li><a href="https://cloud.google.com/bigquery?hl=es">BigQuery</a></li><li><a href="https://databricks.com/partner/datalytics">Databricks</a></li><li><a href="https://azure.microsoft.com/es-es/services/synapse-analytics/">Azure Synapse</a></li></ul><p>Con respecto a los beneficios de implementar estas herramientas tenemos:</p><ul><li><strong>Costo eficiencia</strong> asociado al pago por uso.</li><li><strong>Escalabilidad </strong>ya que podemos aumentar la capacidad de almacenamiento y/o cómputo a demanda y de manera sencilla.</li><li><strong>Disponibilidad </strong>de los datos al momento de cargarlos.</li><li><strong>Repositorio </strong>de datos <strong>unificado </strong>evitando silos de información.</li></ul><p>De aquí en adelante nos referiremos a esta capa como el Data Warehouse (DW).</p><h3>Ingestión</h3><p>En esta capa nos encargaremos de alimentar la herramienta que vayamos a utilizar en la capa de almacenamiento y cómputo. Es decir, vamos a traer datos de distintas fuentes para luego utilizarlos de diversas maneras.</p><p>Dentro del ámbito del MDS, lo que más nos va a interesar encontrar es:</p><ul><li><strong>Zero Coding</strong>: para no dedicar recursos de ingenieros/as de datos en tareas que podemos tener resueltas por la herramienta.</li><li><strong>Variedad de conectores:</strong> la forma en la que interactuaremos con estas herramientas es mediante el uso de conectores que configuraremos en una interfaz visual.</li><li>Origen: cualquier aplicación o producto que genere datos, desde un CRM hasta herramientas de tracking.</li><li>Destino: DW.</li></ul><p>Algunas herramientas disponibles:</p><ul><li>Open Source:</li><li><a href="https://airbyte.com/">Airbyte</a>.</li><li><a href="https://meltano.com/">Meltano</a>.</li><li>Pagas:</li><li><a href="https://www.fivetran.com/">Fivetran</a>.</li><li><a href="https://www.stitchdata.com/">Stitch</a>.</li><li><a href="https://www.matillion.com/products/data-loader/">Matillion</a>.</li></ul><p>Los beneficios de utilizar estas herramientas: foco en el qué, no en el cómo. Es decir:</p><ul><li>Más datos en <strong>menos tiempo </strong>🚄.</li><li>Enfoque en aportar <strong>valor</strong> al negocio ya que el ahorro en recursos y en tiempo de desarrollo de integraciones lo podemos dedicar a tareas que aporten valor.</li><li>Robustez.</li><li>Escalabilidad.</li></ul><h3>Transformación</h3><p>Los datos que ingestemos por sí solos no van a generar ningún valor, es necesario limpiarlos, enriquecerlos, cruzarlos entre sí y, por último, generar datasets que puedan ser explotados luego, ya sea por usuarios o por aplicaciones.</p><p>¿Qué características nos interesan en esta capa?</p><ul><li>Uso del <strong>DW</strong> como motor de <strong>procesamiento.</strong></li><li>Poder delegar en la herramienta tareas que no aportan valor.</li><li><strong>Validaciones</strong> automáticas.</li><li>Documentación de <strong>metadatos: </strong>como estamos construyendo datasets que serán utilizados por otras personas, es importante — por no decir imprescindible — contemplar la documentación de los metadatos 📖 para que el uso y el descubrimiento sea más accesible.</li><li><strong>Data as Code </strong>para acercarnos a la adopción de <a href="https://medium.com/datalytics/dataops-primeros-pasos-c%C3%B3mo-debe-ser-el-pipeline-de-datos-a2b70ab11621">DataOps</a>, por eso necesitamos que la herramienta soporte:</li><li>Reusabilidad.</li><li>Versionado.</li><li>CI/CD.</li></ul><p>La herramienta estrella en esta capa es <a href="https://www.getdbt.com/">dbt</a> que en los últimos dos años se ha consolidado casi como la única opción.</p><p>Los beneficios que obtendremos en este caso son:</p><ul><li><strong>Menores tiempos</strong> de desarrollo.</li><li>Mejoras en la <strong>calidad</strong> y disponibilidad de los <strong>datos. 📈</strong></li><li>Código <strong>mantenible</strong> y limpio.</li><li>Comprensión aumentada a través de la documentación y <strong>linaje</strong> de datos.</li></ul><h3>Explotación</h3><p>De nada nos servirá tener una arquitectura de datos si, a fin de cuentas, no usamos los datos que generamos.</p><p>Si bien hay muchas maneras de explotarlos, las más comunes son:</p><ul><li>Visualización.</li><li>Machine Learning.</li><li>Operacionalización (es más fácil hacerlo que decirlo 😵): esto también se conoce como <em>reverse ETL</em>, básicamente es accionar con los datos de forma directa retroalimentando las herramientas operativas. Por ejemplo, podríamos enviarle a los contactos del CRM un campo calculado en el DW.</li></ul><p>La característica principal que hay que tener en cuenta es la capacidad de estas herramientas para conectarse y operar directamente con el DW. Si construimos nuestra arquitectura de datos alrededor de este repositorio unificado de información, lo más razonable es pensar nuestros procesos y desarrollos para utilizarlo, en la medida de lo posible, como la <strong>única</strong> fuente de explotación de datos.</p><p>En cuanto a la disponibilidad de herramientas, en visualización es donde más alternativas encontraremos, principalmente dentro del mundo del Business Intelligence tradicional (<a href="https://app.powerbi.com/">Power BI</a>, <a href="https://www.tableau.com/">Tableau</a>, <a href="https://superset.apache.org/">Superset</a>, <a href="https://www.metabase.com/">Metabase</a> por nombrar algunas pagas y gratuitas). Vale la pena mencionar que es cada vez más fuerte la tendencia a <strong>desacoplar la capa semántica</strong> de estas herramientas para gestionarla por separado, esto lo encontraremos generalmente con el nombre de <a href="https://basecase.vc/blog/headless-bi"><strong>Headless BI</strong></a>. En pocas palabras, la definición de cómo se cruzan las tablas de nuestro modelo de datos y dónde encontrar métricas y dimensiones, o cómo se calculan los <a href="https://www.tableau.com/es-mx/learn/articles/how-to-create-kpis">KPIs</a>, se define en una herramienta para luego consumirla desde otro lado.<strong> La evolución y adopción de este paradigma, creemos, es el mejor camino para lograr el ideal de self service BI.</strong></p><p>Con respecto a Machine Learning, si bien comienzan a surgir herramientas bajo el paraguas del MDS como <a href="https://continual.ai/">Continual</a> o <a href="https://neptune.ai/blog/modern-data-stack">Neptune</a>, el progreso más importante es el reconocimiento de la falta de procesos y el caos que reina en el desarrollo e implementación (si es que tenemos suerte) de modelos. Para mejorar esta situación, los equipos comienzan a incorporar la práctica de <strong>MLOps </strong>que, como explicamos en <a href="https://medium.com/datalytics/evoluci%C3%B3n-y-estado-actual-de-la-anal%C3%ADtica-aplicada-en-las-organizaciones-mlops-d661fea7974c">este artículo</a>, se trata más de una cuestión cultural que de las herramientas a utilizar, aunque seguramente surgirán nuevas tecnologías que, al igual que en las otras capas, nos permitan entregar valor mucho más rápido al solucionar cuestiones que hoy debemos resolver de forma manual.</p><p>Por último, mencionamos reverse ETL y cómo nos permite intervenir directamente en la operación del negocio. Las herramientas más populares hoy en día son: <a href="https://www.grouparoo.com/">Grouparoo</a> (Open Source), <a href="https://www.getcensus.com/">Census</a> y <a href="https://hightouch.com/">Hightouch</a> (pagas).</p><h3>Orquestación</h3><p>La capa final y la que aglutina todo nuestro stack.</p><p>Si los conectores son importantes en las otras capas, en esta se vuelven cruciales ya que la herramienta deberá comunicarse con cada una de las capas que detallamos.</p><p>También es importante aquí poder escribir nuestros pipelines como código para lograr reusabilidad, versionado y el resto de las características que ya mencionamos.</p><p>Otras dos características fundamentales en esta capa son:</p><ul><li><a href="https://www.montecarlodata.com/blog-data-observability-how-to-prevent-your-data-pipelines-from-breaking/">Observabilidad</a>: tenemos que medir y monitorear cada paso de nuestro pipeline para anticipar errores y corregirlos preventivamente.</li><li><a href="https://airflow-tutorial.readthedocs.io/en/latest/airflow-intro.html#idempotency">Idempotencia</a>: nuestro código tiene que estar preparado para que, en caso que haya necesidad de un reproceso (quien diga que no le pasó, miente 🤥), si ejecutamos con el mismo set de parámetros de entrada, obtengamos exactamente el mismo resultado.</li></ul><p>La herramienta con mayor adopción hoy en día es <a href="https://airflow.apache.org/">Apache Airflow</a>, con dos nuevos contendientes que fueron desarrollados con la promesa de resolver o mejorar problemas que podemos encontrar al utilizar Airflow: <a href="https://dagster.io/">Dagster</a> y <a href="https://www.prefect.io/">Prefect</a>.</p><h3>Mito o realidad 🤔</h3><p>Ya recorridas cada una de las capas de un MDS, como corolario veamos algunos de los mitos que suelen aparecer:</p><p><strong><em>“Si incorporo las herramientas del MDS, modernizo mi arquitectura”.</em></strong></p><p>Por un lado sí, pero la realidad es que debemos incorporarlas teniendo en cuenta las características y beneficios que queremos obtener. Si sumamos herramientas sin criterio, el remedio será peor que la enfermedad.</p><p><strong><em>“Si no utilizo las herramientas del MDS, mi stack es obsoleto” .</em></strong></p><p>A la inversa del mito anterior, la respuesta no dependerá de las herramientas que use, sino de qué tan rígida es mi arquitectura y, por sobre todo, qué tan rápido le estoy entregando valor al negocio.</p><p><strong><em>“Hay una única manera de implementar el MDS”.</em></strong></p><p>Por supuesto que no. Tenemos infinidad de alternativas, no sólo en herramientas (cada una con sus pros y sus contras) sino también en función del estado de madurez o incluso de la composición del equipo. Estas cuestiones pueden influir en que sea necesario prescindir de alguna capa.</p><p><strong><em>“Con un MDS resuelvo todos mis casos de uso”.</em></strong></p><p>Quizás sí, pero lo más probable es que queden afuera cuestiones como el procesamiento de datos en <strong>tiempo real</strong> o machine learning sobre <strong>datos no estructurados</strong>.</p><p><strong><em>“El MDS es costoso”.</em></strong></p><p>La ventaja de trabajar con servicios en la nube y de pensar la arquitectura de forma modular es que podemos enchufar y desenchufar herramientas según conveniencia y además pagar por lo que usamos. Tranquilamente podemos comenzar con un stack que requiera una inversión de menos de 100 dólares mensuales.</p><p><strong><em>“El MDS es complejo”.</em></strong></p><p>Puede ser todo lo complejo que queramos hacerlo, pero como siempre preferimos en Datalytics, mejor <a href="https://es.wikipedia.org/wiki/Principio_KISS">Keep It Simple Stupid</a> 😝.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=443804feeede" width="1" height="1" alt=""><hr><p><a href="https://medium.com/lovelytcslatam/desmitificando-el-modern-data-stack-443804feeede">Desmitificando el Modern Data Stack</a> was originally published in <a href="https://medium.com/lovelytcslatam">Lovelytics LATAM</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[CI/CD on Databricks is possible and we show you how we did it]]></title>
            <link>https://medium.com/@bruno.masciarelli/ci-cd-on-databricks-is-possible-and-we-show-you-how-we-did-it-4e88b57841bf?source=rss-7d5ecfcc630f------2</link>
            <guid isPermaLink="false">https://medium.com/p/4e88b57841bf</guid>
            <category><![CDATA[databricks]]></category>
            <category><![CDATA[dataops]]></category>
            <category><![CDATA[azure-devops]]></category>
            <category><![CDATA[data-quality]]></category>
            <category><![CDATA[english]]></category>
            <dc:creator><![CDATA[Bruno Masciarelli]]></dc:creator>
            <pubDate>Wed, 27 Oct 2021 21:10:19 GMT</pubDate>
            <atom:updated>2021-10-27T21:10:19.198Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0Eb1VZdGYnfTC0Z-2o-43w.jpeg" /></figure><p>If we consider data as the company’s most valuable asset 🤑, it is crucial to have the necessary strategies and procedures to provide accurate data, at the right time. The disparity, diversity and amount of data sources that the company can access, makes it essential to have a systematic data pipeline to standardize the development, validation, and deployment of data extraction, loading, and transformation processes. Lately, approaches such as <a href="https://dataopsmanifesto.org/es/">DataOps</a> have begun to gain strength providing a theoretical and methodological framework to the need of improving the way in which data teams work on their projects.</p><p>DataOps <a href="https://medium.com/data-ops/why-do-dataops-8d4542eec3e5">intends to implement practices</a> related to traditional DevOps, Agile Development and Statistical Process Controls. The first step to adopt these practices is to define how they are going to be implemented. Thus, in this sense and based on our experience, a pipeline must include the following characteristics:</p><p>1. All devices must be versioned using a <a href="https://git-scm.com/book/en/v2/Getting-Started-About-Version-Control">Version</a> Control System (VCS). If we version our code, we can work in a collaborative way, avoiding problems when more than one data engineer is working on the same feature. Moreover, a detailed control of changes can be kept allowing tracking thereof and, if necessary, going back to a certain point in time.</p><p>2. Work should be organized in short sprints, providing new functionalities at the end of each one. A clear backlog with atomic tasks without ambiguities is a must.</p><p>3. You have to assure the quality of:</p><p>a. <em>Code</em>: scripts must fulfill predefined syntax and security rules.</p><p>b. <em>Data</em>: it is fundamental that in each stage that data moves through the dataflow, rules should be defined to assure its quality in all the aspects considered necessary: completeness, type, number of registers, among others.</p><p>4. It is necessary to separate environments, with at least one development, testing, and production environments.</p><p>5. Development must follow these practices:</p><p><strong>a. Continuous Integration (CI)</strong>: it is a practice that consists of frequently integrating code changes to a software project in a unique repository. Moreover, such code will be automatically tested to verify its integrity.</p><p><strong>b. Continuous Delivery (CD)</strong>: in this case, changes and tests are automated in a testing environment (QA). It is important that data, in terms of quantity and quality, represents the production environment.</p><p><strong>c. Continuous Deploying (CD)</strong>: all validated changes in the testing environment are deployed automatically in production, <em>without human intervention</em>.</p><p>6. The dependence and precedence of execution for each artifact needs to be clearly defined and documented.</p><p>7. There has to be a centralized execution log to enable auditing and debugging processes.</p><h3>So, what shall we do? 🤔</h3><p>Today more than ever, it is vital to consider data solutions, since its inception, completely oriented to provide reliable and accurate solutions to business issues.</p><p>Next, we will show a practical deployment of a totally automated pipeline with continuous integration, delivery, and deployment.</p><p>To begin with, we are going to use:</p><p>· <strong>Databricks</strong>: as development and execution platform for transforming data.</p><p>· <strong>Azure DevOp</strong>s: Microsoft service that provides an end-to-end DataOps solution.</p><p>· <a href="https://greatexpectations.io/"><strong>Great Expectations</strong></a>: an open-source library written in Python to implement data validation.</p><p>· <a href="https://github.com/microsoft/nutter/"><strong>Nutter</strong></a>: testing framework developed by Microsoft to easily test notebooks on Databricks.</p><p>· <a href="https://docs.sonarqube.org/latest/"><strong>SonarQube</strong></a>: tool used to automatize the detection of quality and security issues in our code.</p><h3>Scenario</h3><p>Let’s suppose that the finance team of the company ABC Inc. needs access to sales data by customer. So, the data team needs to ingest customer and invoicing database from their transactional systems. They choose to make data available following a <a href="https://databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html">Lakehouse</a> architecture, including a customer type 2 dimensions table and a sales fact table.</p><h3>Let CI/CD happen! ⛏</h3><p>To configure the work environment, we need to integrate all the tools and define a structured way to make use of them. Let’s go step by step.</p><h3>First, continuous integration on Azure DevOps and Databricks</h3><p>Our development interface will include Databricks notebooks and, to simplify, only one Workspace will be used. Though, the following is easily applicable to multi-Workspace and/or multi cluster environments.</p><p>We’ll use Azure DevOps in conjunction with <a href="https://docs.microsoft.com/en-us/azure/databricks/repos">Databricks Repos</a> as code repository.</p><p>In particular, for Azure DevOps we have to create a <a href="https://docs.microsoft.com/en-us/azure/devops/organizations/accounts/use-personal-access-tokens-to-authenticate?view=azure-devops&amp;tabs=preview-page">personal access token</a> with “Full access”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/614/1*BkKRjug77b4vNuwvX6lY3g.png" /><figcaption>Azure DevOps PAT</figcaption></figure><p>Once Repos are enabled on Databricks, we create a <em>prod</em> folder for the production environment. Such folder is associated with the <strong>master</strong> branch of the Azure DevOps Repository.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/275/1*J2umo6pLjNS_hdNM3Oi8oA.png" /><figcaption>Databricks Repos folders</figcaption></figure><p>Each data engineer will use its personal folder pointing to a cloned branch from the master, with the following nomenclature: <em>features/name_of_feature</em>.</p><blockquote><strong>This way of working is not a whim, it follows the best practices in versioned environments. All is based on these </strong><a href="https://githubflow.github.io/"><strong>GitHub</strong></a><strong>’s and </strong><a href="https://docs.microsoft.com/en-us/azure/databricks/repos#--best-practices-for-integrating-repos-with-cicd-workflows"><strong>Databricks</strong></a><strong>’ approaches. Moreover, you can find a more detailed explanation of the use of branches in the </strong><a href="https://www.atlassian.com/es/git/tutorials/comparing-workflows/feature-branch-workflow"><strong>following article</strong></a><strong>.</strong></blockquote><p>Furthermore, in order to simplify developers work, and taking advantage of SparkSQL capabilities, we choose SQL as our development language, in particular, using <a href="https://docs.microsoft.com/en-us/azure/databricks/data/tables#--managed-and-unmanaged-tables">external</a> tables (or unmanaged) to work with data. We create different schemas, each one with a development (dev), testing (qa) and production (prod) version.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/716/1*BzNM_392_b3QPfH3BUdFCQ.png" /><figcaption>Databricks Schemas</figcaption></figure><p><strong>Second, automated controls with Databricks, Nutter &amp; Great Expectations</strong> 💣</p><p><em>In data projects, it is crucial to assure its quality. So, we’ll use both mentioned libraries: Great Expectations and Nutter.</em></p><p>Both can be installed from <a href="https://docs.databricks.com/libraries/workspace-libraries.html#pypi-libraries">install PyPi</a> libraries option on the cluster.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/587/1*VE1vUa58J76TwCZL6oFmug.png" /><figcaption>Databricks PyPi</figcaption></figure><p>Then, to be able to interact with Databricks from Azure DevOps pipelines, we install <a href="https://marketplace.visualstudio.com/items?itemName=riserrad.azdo-databricks">these tasks</a> from the Marketplace:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/589/1*f-v_tR7clQx_vNWmNczpkw.png" /><figcaption>Azure DevOps Databricks tasks</figcaption></figure><h3>Third and last, we integrate Azure DevOps and SonarQube 📡 to assure code quality</h3><p>SonarQube is based on a server and a client (<a href="https://docs.sonarqube.org/latest/analysis/scan/sonarscanner/">scanner</a>) that analyzes code and sends a report to the server. Both have different available options: cloud, framework oriented, etc.</p><p>In our case, we are using the free Server Community Edition.</p><p>We are going to incorporate it to our flow in such a way that, when making a <a href="https://www.freecodecamp.org/news/git-commit-command-explained/">commit</a>&amp;<a href="https://www.freecodecamp.org/news/the-git-push-command-explained/">push</a>, an automate scan on repository artifacts is executed.</p><p>In the Azure DevOps Marketplace, there are <a href="https://marketplace.visualstudio.com/items?itemName=SonarSource.sonarqube">tasks</a> to execute these analyses. We’ll install them.</p><p>Then, following this <a href="https://docs.sonarqube.org/latest/analysis/azuredevops-integration/#header-3">guide</a>, we configure the Service Endpoint on Azure DevOps.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*C-Z5611bxdP2Uz6oh7lHtw.png" /><figcaption>Azure DevOps SonarQube connection</figcaption></figure><h3>Finally… Our first automated data pipeline is ready 😎</h3><p>We start by adding DevOps repository to Databricks<strong> prod</strong> folder:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/563/1*HIWnIVl6lt92ViopZ5Cepw.png" /><figcaption>Databricks Azure Repo</figcaption></figure><p>To make things easier, the complete repository example is available on <a href="https://github.com/datalytics-ar/databricks-azure-devops">GitHub</a> which includes the following folders:</p><p>· <strong>notebooks</strong>: this folder includes the complete source code necessary to feed data models including other folders such as:</p><p>· <strong>common</strong>: notebooks with common functions: schema creation, variables setting, etc.</p><p>· <strong>staging</strong>: raw data transformation. In our example, customer and sales data is ready to be consumed.</p><p>· <strong>dw</strong>: where necessary logic is executed to load Lakehouse tables.</p><p>· <strong>pipeline</strong>: from where complete data pipeline is triggered.</p><p>· <strong>tests</strong>: in this folder necessary notebooks are created to assure data quality.</p><p>Also, the repository root includes two yml.files. Each one defines a <a href="https://docs.microsoft.com/es-es/azure/devops/pipelines/get-started/what-is-azure-pipelines?view=azure-devops">Azure Devops</a> Pipeline:</p><p>· <strong>azure-pipelines-ci</strong> enables continuous integration and delivery.</p><p>· <strong>azure-pipelines-cd</strong> enables continuous deployment.</p><p>Later we will see how each one works.</p><p>Once the master branch is ready, a <a href="https://docs.microsoft.com/en-us/azure/devops/repos/git/branch-policies?view=azure-devops"><strong>Policy Branch</strong></a><strong> is set up to </strong>protect it. Only changes from a Pull Request are allowed by enabling the Build Validation option:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1019/1*MHYscn_m4QELNHzBEJ9Gxg.png" /><figcaption>Azure DevOps Build Validation</figcaption></figure><p><strong>We are ready to develop, test and deliver 💪</strong></p><p>As everything is set up, we’ll start developing customer dimension.</p><p>In the first place, following previously mentioned steps, we create a new Branch and link it to the developer’s folder on Databricks:</p><p>Inside <strong>dw </strong>folder, we create the notebook that corresponds to customers dimension. With the following code, the need to have a customers master table is fulfilled:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/4921274c1ce7a9ccc98a976fc3f20dc8/href">https://medium.com/media/4921274c1ce7a9ccc98a976fc3f20dc8/href</a></iframe><p>Based on available data in <strong>staging.stg_customers table</strong>, which could be data provided by a CRM, code inserts new versions of a customer if the <strong>address or country</strong> attributes change. In this way, a historical record of address and country of origin of each customer is kept and, also each sale can be linked to the address and country that the customer had at the time of the purchase.</p><p><strong>Data quality</strong></p><p>The first dataset is ready to execute a series of tests 😃.</p><blockquote><strong>Data quality assurance is not a minor issue, any problem that the final user comes into, results in at least, a loss of trust and, in extreme cases, economic losses for the companies.</strong></blockquote><p>To standardize and automatize the data validation process, it is fundamental to have tools that help us make our work easier. So in this sense, and as we do not want to reinvent the wheel 💡, the best choice is to trust on libraries such as Great Expectations, <a href="https://github.com/awslabs/deequ">Deequ</a> or <a href="https://griffin.apache.org/">Apache Griffin</a>, among others. All these libraries are optimized to execute in distributed environments and also include dozens of predefined validations.</p><p>In our case, we are going to use two of the many <a href="https://docs.greatexpectations.io/en/latest/reference/glossary_of_expectations.html">expectations</a> available in Great Expectations library on the <em>customerid field</em>:</p><p>· <strong>expect_column_values_to_be_unique: this will assure that each customer’s id is unique</strong>.</p><p>· <strong>expect_column_values_to_not_be_null: customers without id are not allowed.</strong></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/cfe49386216c055df1062ffafdb4220d/href">https://medium.com/media/cfe49386216c055df1062ffafdb4220d/href</a></iframe><p>To incorporate testing to the CI flow, we combine Great Expectations tests with Nutter. This library facilitates the process of testing notebooks on Databricks, because only one additional notebook needs to be created with testing logic where <a href="https://github.com/microsoft/nutter#test-cases">Nutter Test Cases</a> are defined. In addition, integration with Azure DevOps is provided, so we can observe test results there.</p><p>In particular, we are going to use the result of <strong><em>validate </em></strong>from Great Expectations in a Nutter <strong><em>assertion.</em> </strong>If any test is not a <strong><em>success</em></strong>, a <strong><em>False assert</em></strong> is triggered.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/cfe49386216c055df1062ffafdb4220d/href">https://medium.com/media/cfe49386216c055df1062ffafdb4220d/href</a></iframe><h3>Code Quality</h3><p>As Martin Fowler <a href="https://www.martinfowler.com/distributedComputing/refactoring.pdf">quotes</a>:</p><blockquote><strong>“Any fool can write code that a computer can understand. Good programmers write code that humans can understand”.</strong></blockquote><p>When we refer to code quality, focus is put on legibility, robustness, and maintenance. Including, among others:</p><p>· Adopt nomenclature and format standards.</p><p>· Apply better patterns and practices.</p><p>· Include comments.</p><p>Another important point is to assure code <strong>safeness</strong>, in other words, that it is not vulnerable.</p><p>SonarQube is used to anticipate problems related to previous points. This tool is integrated to the pipeline, so each commit&amp;push made by any developer is going to trigger an automatic quality analysis of SQL or Python code present in the repository.</p><p>In order to do so, you need to modify <em>sonar-project.properties</em> file located in the repository root and change projectKey value for the corresponding one to your SonarQube project.</p><h3>First commit</h3><p>Continuous integration will happen when the developer sends code to the repository with a commit&amp;push.</p><p>When the commit over the branch triggers an Azure Pipeline defined in <strong>azure-pipelines-ci</strong>, two Jobs are executed: one regarding data quality and the other for code quality.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/965/1*kPxOpnmFjxzB7fHCu2Gyxg.png" /><figcaption>Azure DevOps CI Pipeline</figcaption></figure><p>The first job includes the following steps:</p><p>1. Execution environment is established: QA if trigger comes from a pull request, DEV in any other case. This is configured using <a href="https://docs.microsoft.com/en-us/azure/devops/pipelines/process/conditions">Conditions</a>.</p><p>2. <a href="https://docs.microsoft.com/en-us/azure/databricks/dev-tools/cli/">Databricks CLI</a> is installed and configured.</p><p>3. The <strong>notebooks </strong>folder is deployed<strong> </strong>in a generic folder in the <em>Workspace.</em></p><p>4. <em>Nutter </em>is installed and executed pointing to <strong>tests</strong> folder<strong>.</strong></p><p>5. The unit test results are published in Azure DevOps.</p><p>In the test result, we can find failures ❌ with data quality or tests definition:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/965/1*kPxOpnmFjxzB7fHCu2Gyxg.png" /><figcaption>Azure DevOps Pipeline fail</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LlY0f51bkbGea7nANHGAbQ.png" /><figcaption>Azure DevOps Nutter fail</figcaption></figure><p>Additionally, in the second job, all notebooks (which are simply sql and py files) were analyzed by SonarScanner and sent to Sonar server. Some considerations are shown, such as a <strong>code smell</strong> indicating that we may use UNION ALL instead of UNION:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/931/1*1tHj-MX-XUQ3LrFpXjki_w.png" /><figcaption>SonarQube Code Smell</figcaption></figure><p><strong>Continuous delivery</strong></p><p>After validating commits, the developer generates a <a href="https://www.atlassian.com/git/tutorials/making-a-pull-request">Pull Request</a> related to a sprint task. So, code can be checked by a peer or an approver who can also comment or change code.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/877/1*vE7QSQafuh0kZEidAaexcw.png" /><figcaption>Azure DevOps Pull Request</figcaption></figure><p>When the Pull Request is Completed, the CI pipeline is again automatically triggered, but this time, the execution environment is QA, as shown.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9SSoT2FxxdRZSld78ywNsQ.png" /><figcaption>Azure DevOps QA</figcaption></figure><p><strong>Continuous deployment</strong></p><p>When adopting this practice, it is assumed that code that was tested in QA and approved by a person is ready to go to production, <strong><em>without human intervention</em></strong><em>. So,</em> by using CD pipeline defined by <strong>azure-pipelines-cd.yml</strong>, that will be triggered when the <strong>master branch is merged</strong>, <a href="https://docs.microsoft.com/en-us/azure/databricks/repos#set-up-git-automation-to-update-repos-on-merge">Databricks Repo is going to be synchronized with this branch</a>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/974/1*9Fnf25pHeYoxcxJUSv1oyA.png" /><figcaption>Azure DevOps Continuos Deployment</figcaption></figure><p>Thus, automated development, testing and deployment are completed end-to-end. And, moreover, <a href="https://www.atlassian.com/continuous-delivery/principles/continuous-integration-vs-delivery-vs-deployment">best practices</a> of traditional software development are adopted and adapted to data pipelines.</p><h3>DataOps is about culture, not technology 🤯</h3><p>There is not only one way to put DataOps into practice.</p><p>Although this article shows an example on <strong>how to do it</strong>, <strong>the truth is that ironically the actual challenge is not technological but cultural.</strong></p><p>Achieving that the team thoroughly adopts these methods, involves a cultural transformation process which takes time and depends on the team’s maturity and their current difficulties.</p><p>Meanwhile, reality shows that, sooner or later, by reason or need, the pressure to deploy data products expeditiously and efficiently will result in one way or another, that teams include any type of methodology related to DataOps. So, the recommendation is to anticipate and start this process of change as soon as possible⏳.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4e88b57841bf" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Implementar CI/CD en Databricks, es posible y te explicamos cómo hacerlo]]></title>
            <link>https://medium.com/lovelytcslatam/implementar-ci-cd-en-databricks-es-posible-y-te-explicamos-c%C3%B3mo-hacerlo-2fa1860d2007?source=rss-7d5ecfcc630f------2</link>
            <guid isPermaLink="false">https://medium.com/p/2fa1860d2007</guid>
            <category><![CDATA[data-quality]]></category>
            <category><![CDATA[devops]]></category>
            <category><![CDATA[continuous-integration]]></category>
            <category><![CDATA[databricks]]></category>
            <category><![CDATA[azure-devops]]></category>
            <dc:creator><![CDATA[Bruno Masciarelli]]></dc:creator>
            <pubDate>Sun, 05 Sep 2021 11:10:30 GMT</pubDate>
            <atom:updated>2021-09-23T19:45:37.405Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZCrMLLU2q6_Rf7zbO827yQ.png" /></figure><p>Como lo prometido es deuda, retomamos <a href="https://medium.com/datalytics/dataops-primeros-pasos-c%C3%B3mo-debe-ser-el-pipeline-de-datos-a2b70ab11621">el post anterior</a> para mostrar una implementación práctica de un pipeline completamente automatizado de punta a punta con integración, entrega y despliegue continuos.</p><p>Para empezar vamos a usar:</p><ul><li><strong>Databricks</strong>: como plataforma de desarrollo y ejecución de las transformaciones de datos correspondientes.</li><li><strong>Azure DevOp</strong>s: servicio de Microsoft para manejar el ciclo completo de DataOps.</li><li><a href="https://greatexpectations.io/"><strong>Great Expectations</strong></a>: para implementar validaciones sobre los datos, es una librería open source escrita en Python con gran adopción.</li><li><a href="https://github.com/microsoft/nutter/"><strong>Nutter</strong></a>: framework de testing desarrollado por Microsoft para facilitar el testeo de notebooks en Databricks.</li><li><a href="https://docs.sonarqube.org/latest/"><strong>SonarQube</strong></a>: es una herramienta que permite automatizar la detección de problemas de calidad y seguridad en nuestro código.</li></ul><h3>Escenario</h3><p>Supongamos que el equipo de finanzas de la empresa ABC Inc. necesita tener disponible los datos de ventas por cliente. Para ello, el equipo de datos necesita ingestar la base de clientes y la facturación desde sus sistemas transaccionales. Optaron por disponibilizar los datos con una arquitectura <a href="https://databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html">Lakehouse</a>, que constará de una tabla de <a href="https://en.wikipedia.org/wiki/Slowly_changing_dimension#Type_2:_add_new_row">dimensiones</a> de clientes de tipo 2 y una tabla de hechos de ventas.</p><h3>Manos a la obra ⛏</h3><p>Para configurar el entorno de trabajo, vamos a integrar todas las herramientas y definir una mecánica general de trabajo. Vamos por etapas.</p><h4>Primero, integración continua con Azure DevOps y Databricks</h4><p>Nuestra interfaz de desarrollo serán notebooks de Databricks, para simplificar, vamos a hacer uso de un sólo Workspace, aunque lo que sigue es fácilmente aplicable a un entorno multi Workspace y/o multi cluster.</p><p>Como repositorio de código, vamos a utilizar Azure DevOps con <a href="https://docs.microsoft.com/en-us/azure/databricks/repos">Databricks Repos</a>.</p><p>En particular, para Azure DevOps debemos generar un <a href="https://docs.microsoft.com/en-us/azure/devops/organizations/accounts/use-personal-access-tokens-to-authenticate?view=azure-devops&amp;tabs=preview-page">personal access token</a> con permisos “Full access”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/614/1*BkKRjug77b4vNuwvX6lY3g.png" /></figure><p>Una vez habilitados los “Repos” en Databricks, creamos una carpeta <strong><em>prod</em></strong> para el ambiente productivo. Esta carpeta estará asociada a la rama <strong>master</strong> del repositorio de Azure DevOps.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/275/1*J2umo6pLjNS_hdNM3Oi8oA.png" /><figcaption>Databricks Repos folders</figcaption></figure><p>Para desarrollar, cada usuario utilizará su carpeta personal apuntando a una rama clonada de la master, con la siguiente nomenclatura: <em>features/name_of_feature</em>.</p><blockquote><strong>Esta forma de trabajo no es un capricho, sigue las buenas prácticas del trabajo en entornos versionados. En particular nos basamos en la </strong><a href="https://githubflow.github.io/"><strong>propuesta de GitHub</strong></a><strong> y de </strong><a href="https://docs.microsoft.com/en-us/azure/databricks/repos#--best-practices-for-integrating-repos-with-cicd-workflows"><strong>Databricks</strong></a><strong>. También, en </strong><a href="https://www.atlassian.com/es/git/tutorials/comparing-workflows/feature-branch-workflow"><strong>este otro artículo</strong></a><strong>, encontrarán una explicación más detallada del uso de las ramas.</strong></blockquote><p>Por otra parte, para simplificar el proceso de desarrollo aprovechando la capacidad de SparkSQL, vamos a utilizar lenguaje SQL con <a href="https://docs.microsoft.com/en-us/azure/databricks/data/tables#--managed-and-unmanaged-tables">tablas externas</a> (o unmanaged). Crearemos distintos esquemas, cada uno de los cuales tendrá una versión de desarrollo (dev), testing (qa) y producción (prod).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/716/1*BzNM_392_b3QPfH3BUdFCQ.png" /><figcaption>Databricks Schemas</figcaption></figure><h4>Segundo, controles automáticos con Databricks, Nutter &amp; Great Expectations 💣</h4><p><strong><em>En un proyecto de datos, es crucial asegurar su calidad. Para ello vamos a utilizar las dos librerías mencionadas: Great Expectations y Nutter.</em></strong></p><p>Ambas pueden instalarse desde la opción de <a href="https://docs.databricks.com/libraries/workspace-libraries.html#pypi-libraries">instalar librerías PyPi</a> en el cluster.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/587/1*VE1vUa58J76TwCZL6oFmug.png" /><figcaption>Databricks PyPi</figcaption></figure><p>Luego, para poder interactuar con Databricks desde los pipelines de Azure DevOps, instalamos estas <a href="https://marketplace.visualstudio.com/items?itemName=riserrad.azdo-databricks">tareas</a> desde el Marketplace:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/589/1*f-v_tR7clQx_vNWmNczpkw.png" /><figcaption>Azure DevOps Databricks tasks</figcaption></figure><h4>Tercero y último, integramos Azure DevOps y SonarQube 📡 para asegurar calidad de código</h4><p>SonarQube consiste en un servidor y un cliente (<a href="https://docs.sonarqube.org/latest/analysis/scan/sonarscanner/">scanner</a>) que analiza el código y envía un reporte al servidor. Tanto el servidor como el cliente tienen diferentes opciones disponibles: cloud, framework oriented, etc.</p><p>En nuestro caso, a modo de demostración utilizaremos un Server Community Edition.</p><p>Lo vamos a incorporar a nuestro flujo de manera tal que, al realizar un <a href="https://www.freecodecamp.org/espanol/news/el-comando-git-commit-explicado/">commit</a>&amp;<a href="https://www.freecodecamp.org/espanol/news/el-comando-git-push-explicado/">push</a>, se ejecute automáticamente un scaneo sobre los artefactos del repositorio.</p><p>En el Marketplace de Azure DevOps, encontraremos <a href="https://marketplace.visualstudio.com/items?itemName=SonarSource.sonarqube">tareas</a> para ejecutar estos análisis, los vamos a instalar.</p><p>Luego, siguiendo los pasos de esta <a href="https://docs.sonarqube.org/latest/analysis/azuredevops-integration/#header-3">guía</a>, configuramos el Service Endpoint en Azure DevOps.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*C-Z5611bxdP2Uz6oh7lHtw.png" /><figcaption>Azure DevOps SonarQube connection</figcaption></figure><h4>Finalmente… Nuestro primer pipeline de datos automatizado 😎</h4><p>Comenzamos por agregar el repositorio de DevOps en la carpeta <strong>prod</strong> de Databricks:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/563/1*HIWnIVl6lt92ViopZ5Cepw.png" /><figcaption>Databricks Azure Repo</figcaption></figure><p>Para facilitar las cosas, el repositorio completo del ejemplo está disponible en <a href="https://github.com/datalytics-mejorcondatos/databricks-azure-devops">GitHub</a> y consiste en las siguientes carpetas:</p><ul><li><strong>notebooks</strong>: esta carpeta contendrá todo el código fuente necesario para alimentar el modelo de datos, dentro de la misma tenemos otras carpetas:</li><li><strong>common</strong>: notebooks con funciones comunes: creación de esquemas, seteo de variables, etc.</li><li><strong>staging</strong>: transformaciones de datos crudos, para nuestro ejemplo tendremos los datos de clientes y ventas ya listos.</li><li><strong>dw</strong>: donde ejecutaremos la lógica necesaria para cargar las tablas del Lakehouse.</li><li><strong>pipeline</strong>: desde aquí se disparará el pipeline de datos completo.</li><li><strong>tests</strong>: en esta carpeta crearemos las notebooks necesarias para garantizar la calidad de los datos.</li></ul><p>Además, en el root del repositorio, tenemos dos archivos yml. Cada uno define un <a href="https://docs.microsoft.com/es-es/azure/devops/pipelines/get-started/what-is-azure-pipelines?view=azure-devops">Pipeline de Azure Devops</a>.</p><p>El <strong>azure-pipelines-ci</strong> es el que posibilita la integración y entrega continua.</p><p>Con <strong>azure-pipelines-cd</strong> implementamos el despliegue continuo.</p><p>Veremos cómo funciona cada uno más adelante.</p><p>Una vez que tenemos nuestra rama master, la protegeremos con una <a href="https://docs.microsoft.com/en-us/azure/devops/repos/git/branch-policies?view=azure-devops"><strong>Policy Branch</strong></a>. Sólo permitiremos cambios que vengan de un Pull Request habilitando la opción de Build Validation:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1019/1*MHYscn_m4QELNHzBEJ9Gxg.png" /><figcaption>Azure DevOps Build Validation</figcaption></figure><h4>Ahora sí, a desarrollar, testear y entregar</h4><p>Ya con todo listo, comenzaremos con el desarrollo de la dimensión clientes.</p><p>En primer lugar, y siguiendo las directivas mencionadas, creamos una nueva Branch y la asociamos a la carpeta del desarrollador en Databricks:</p><p>Dentro de la carpeta <strong>dw</strong>, creamos la notebook que corresponde a la dimensión customers. Con el siguiente código, resolvemos la necesidad planteada de contar con una tabla o maestro de clientes:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/4921274c1ce7a9ccc98a976fc3f20dc8/href">https://medium.com/media/4921274c1ce7a9ccc98a976fc3f20dc8/href</a></iframe><p>Con base a los datos disponibles en la tabla <strong>staging.stg_customers</strong>, que bien podrían ser los datos provenientes de un CRM, el código inserta versiones nuevas de un cliente si cambia su atributo de <strong>address o country</strong>. De esta manera, tenemos un registro histórico de la dirección y país de origen de cada cliente, y, además podemos asociar cada venta a la dirección y país que tenía el cliente al momento de la compra.</p><h4>Calidad de Datos</h4><p>Ya tenemos el primer dataset sobre el que podemos ejecutar una serie de tests 😃.</p><blockquote><strong>Asegurar la calidad de los datos no es un tema menor, cualquier problema que llegue al usuario final, implicará, de mínima una </strong><a href="https://tdwi.org/articles/2020/01/30/diq-all-executives-lack-confidence-in-data-quality.aspx"><strong>pérdida de confianza</strong></a><strong>, y en casos más extremos puede derivar en </strong><a href="https://www.gartner.com/smarterwithgartner/how-to-stop-data-quality-undermining-your-business/"><strong>pérdidas económicas</strong></a><strong> para las empresas.</strong></blockquote><p>Es fundamental que, para estandarizar y automatizar el proceso de validación de datos, contemos con herramientas que faciliten el trabajo. En este sentido, y como no buscamos reinventar la rueda 💡, lo mejor es apoyarse en librerías como Great Expectations, <a href="https://github.com/awslabs/deequ">Deequ</a> o <a href="https://griffin.apache.org/">Apache Griffin</a> por mencionar algunas. Todas estas librerías están optimizadas para ejecución en entornos distribuidos y, además, cuentan con decenas de validaciones predefinidas.</p><p>En nuestro caso, vamos a utilizar dos de los muchísimos <a href="https://docs.greatexpectations.io/en/latest/reference/glossary_of_expectations.html">expectations</a> disponibles en la librería Great Expectations sobre el campo <em>customerid</em>:</p><p>· <strong>expect_column_values_to_be_unique: </strong>de esta manera aseguramos que el id de cada cliente sea único.</p><p>· <strong>expect_column_values_to_not_be_null: </strong>no permitiremos clientes sin id.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/cfe49386216c055df1062ffafdb4220d/href">https://medium.com/media/cfe49386216c055df1062ffafdb4220d/href</a></iframe><p>Para incorporar el test al flujo de CI, vamos a combinar los tests de Great Expectations con Nutter. Esta librería facilita la tarea de testear notebooks de Databricks, ya que sólo necesitamos crear una notebook adicional con la lógica de testeo donde se definen los <a href="https://github.com/microsoft/nutter#test-cases">Nutter Test Cases</a>. Además, provee integración con Azure DevOps, por lo que podremos ver reflejado allí el resultado de los tests.</p><p>En particular, lo que haremos es utilizar el resultado del <strong><em>validate()</em></strong> de Great Expectations en el <strong><em>assertion</em></strong> de Nutter, si algún test no es <strong><em>success</em></strong>, se dispara un <strong><em>False assert</em></strong>.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6ac4d378a5254759c0f2b1af9c91a174/href">https://medium.com/media/6ac4d378a5254759c0f2b1af9c91a174/href</a></iframe><h4>Calidad de código</h4><p>Como <a href="https://www.martinfowler.com/distributedComputing/refactoring.pdf">menciona</a> Martin Fowler:</p><blockquote><strong><em>“Cualquier tonto puede escribir código que una computadora pueda entender, el truco es escribir código que un humano pueda entender”.</em></strong></blockquote><p>Cuando nos referimos a calidad de código, hablamos de poner foco en su legibilidad, robustez y mantenimiento. Esto implica, entre otras cosas:</p><p>· Adoptar estándares de nomenclatura y formateo.</p><p>· Aplicar mejores prácticas y patrones.</p><p>· Inclusión de comentarios.</p><p>Otro aspecto importante es asegurarse que el código sea <strong><em>seguro</em></strong>, es decir que no esté afectado por alguna vulnerabilidad.</p><p>Para anticipar problemas relacionados a los puntos anteriores, usaremos SonarQube. Vamos a integrar esta herramienta al pipeline, para que se ejecute automáticamente con cada commit&amp;push que haga un desarrollador, de manera tal que analice automáticamente la calidad del código SQL o Python que exista en el repositorio.</p><p>Para hacerlo, la única configuración que tenemos que hacer previamente, es modificar el archivo <em>sonar-project.properties</em> ubicado en el root del repositorio. Cambiar el valor de projectKey por el correspondiente al proyecto creado en SonarQube.</p><h4>El primer commit</h4><p>Para que empiece a girar la rueda de la integración continua, el desarrollador enviará el código escrito al repositorio con un commit&amp;push.</p><p>El commit sobre la Branch hace que se dispare el Azure Pipeline definido en <strong>azure-pipelines-ci</strong>, se ejecutan dos Jobs: uno para calidad de datos y el otro para calidad de código.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/965/1*kPxOpnmFjxzB7fHCu2Gyxg.png" /><figcaption>Azure DevOps CI Pipeline</figcaption></figure><p>El primer job consta de los siguientes pasos:</p><p>1. Se establece el ambiente de ejecución: QA si el trigger viene de un pull request, DEV en cualquier otro caso. Esto se configura usando <a href="https://docs.microsoft.com/en-us/azure/devops/pipelines/process/conditions">Conditions</a>.</p><p>2. Se instala y configura la <a href="https://docs.microsoft.com/en-us/azure/databricks/dev-tools/cli/">Databricks CLI</a>.</p><p>3. La carpeta de <strong>notebooks </strong>se despliega en una carpeta genérica dentro de <em>Workspace.</em></p><p>4. Se instala y ejecuta <em>nutter</em> apuntando a la carpeta <strong>tests</strong>.</p><p>5. Se publica el resultado de las pruebas unitarias en Azure DevOps.</p><p>En el resultado de los tests, podemos observar si tenemos problemas ❌ con la calidad de los datos o con la definición de los tests:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/934/1*QbT5apEYl4EMTOKsFF2P3Q.png" /><figcaption>Azure DevOps Pipeline fail</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LlY0f51bkbGea7nANHGAbQ.png" /><figcaption>Azure DevOps Nutter fail</figcaption></figure><p>Por otra parte, en el segundo job, todas las notebooks (que no son más que archivos sql y py) fueron analizadas por el SonarScanner y enviadas al server de Sonar. Allí vemos algunas posibles mejoras, por ejemplo podríamos usar un UNION ALL en lugar de UNION:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/931/1*1tHj-MX-XUQ3LrFpXjki_w.png" /><figcaption>SonarQube Code Smell</figcaption></figure><h4>Entrega continua</h4><p>Luego de haber validado sus commit, el desarrollador debe generar un <a href="https://www.atlassian.com/es/git/tutorials/making-a-pull-request">Pull Request</a> asociado a una tarea del sprint. De esta manera, el código puede ser revisado por un par o un supervisor, que incluso puede comentar o cambiar algo en el código.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/877/1*vE7QSQafuh0kZEidAaexcw.png" /><figcaption>Azure DevOps Pull Request</figcaption></figure><p>Al hacerlo, automáticamente se vuelve a disparar el pipeline de CI, aunque esta vez, como vimos, el entorno de ejecución será QA.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9SSoT2FxxdRZSld78ywNsQ.png" /><figcaption>Azure DevOps QA</figcaption></figure><h4>Despliegue continuo</h4><p>Para implementar esta práctica, se asume que, el código que pasó los tests correspondientes en QA y fue aprobado por una persona, está listo para pasar a producción, <strong><em>sin intervención humana. </em></strong>Entonces, utilizando el pipeline de CD definido en <strong>azure-pipelines-cd.yml</strong>, que se disparará cuando haya un <strong><em>merge sobre la rama master</em></strong>, se <a href="https://docs.microsoft.com/en-us/azure/databricks/repos#set-up-git-automation-to-update-repos-on-merge">sincronizará el Repo de Databricks con esta rama</a>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/974/1*9Fnf25pHeYoxcxJUSv1oyA.png" /><figcaption>Azure DevOps Continuos Deployment</figcaption></figure><p>De esta manera, completamos el desarrollo, test y despliegue automático punta a punta. Y, más importante, estamos adoptando <a href="https://www.atlassian.com/continuous-delivery/principles/continuous-integration-vs-delivery-vs-deployment">mejores prácticas</a> del desarrollo de software tradicional, y adaptándolas a pipelines de datos.</p><h3>DataOps es un cambio de cultura, no tecnológico 🤯</h3><p>No hay una única forma de llevar a la práctica las mecánicas de trabajo de DataOps.</p><p>Si bien el objetivo de este artículo y el anterior es ejemplificar <strong>cómo implementar en la práctica</strong> todo esto, lo cierto es que, irónicamente, <strong>el desafío real no es tecnológico sino cultural</strong>.</p><p>Lograr que el equipo de trabajo adopte a conciencia estos métodos es un proceso de transformación cultural, que llevará tiempo y dependerá del estadio de madurez del equipo y sus problemáticas actuales.</p><p>Ahora bien, la realidad es que más temprano que tarde, por la razón o por la necesidad, la presión por implementar productos de datos con mayor celeridad y eficiencia con seguridad harán que de una forma u otra, estos equipos empiecen a adoptar algún tipo de metodología asociada a DataOps. Por lo que, la recomendación es anticiparse e iniciar el proceso de cambio cuanto antes ⏳.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2fa1860d2007" width="1" height="1" alt=""><hr><p><a href="https://medium.com/lovelytcslatam/implementar-ci-cd-en-databricks-es-posible-y-te-explicamos-c%C3%B3mo-hacerlo-2fa1860d2007">Implementar CI/CD en Databricks, es posible y te explicamos cómo hacerlo</a> was originally published in <a href="https://medium.com/lovelytcslatam">Lovelytics LATAM</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[DataOps primeros pasos, ¿cómo debe ser el pipeline de datos?]]></title>
            <link>https://medium.com/lovelytcslatam/dataops-primeros-pasos-c%C3%B3mo-debe-ser-el-pipeline-de-datos-a2b70ab11621?source=rss-7d5ecfcc630f------2</link>
            <guid isPermaLink="false">https://medium.com/p/a2b70ab11621</guid>
            <category><![CDATA[dataops]]></category>
            <category><![CDATA[ci-cd-pipeline]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[data-architecture]]></category>
            <dc:creator><![CDATA[Bruno Masciarelli]]></dc:creator>
            <pubDate>Fri, 27 Aug 2021 13:26:24 GMT</pubDate>
            <atom:updated>2021-09-06T14:43:19.168Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*g76_u8K-yysOqvq6aKqcEw.png" /></figure><p>Vivimos en una época donde se generan datos a una velocidad nunca antes imaginada. Para poder tomar mejores decisiones y tener una ventaja competitiva, las empresas necesitan contar con la mayor cantidad de datos posibles en un ambiente centralizado, gobernado y de fácil acceso.</p><p>Como respuesta a esto, las arquitecturas clásicas de datos basadas en Data Warehousing evolucionaron para dar respuesta a las limitaciones inherentes a estas arquitecturas monolíticas, de esta manera, surgieron nuevas tecnologías:</p><p><strong>· Data Lake</strong>: repositorios de objetos que permiten almacenar grandes volúmenes de datos a bajo costo. De esta manera se resuelven dos grandes problemas de los Data Warehouses: la imposibilidad de almacenar información no estructurada (por ejemplo, imágenes) y se reducen los costos debido a la posibilidad que ofrecen de escalar en volúmenes de datos.</p><p><strong>· Lakehouse</strong>: evolución del Data Lake, este paradigma incorpora tecnologías que les otorgan capacidades de comportarse como una base de datos (transacciones, updates, etc.) y garantizan mejoras en los tiempos de respuestas al realizar consultas SQL sobre los mismos.</p><blockquote>P<strong>or otra parte, el reto <em>🧗‍♀️</em> no es sólo tecnológico, la decisión de adoptar una cultura data-driven, ya sea en grandes corporaciones o pequeñas startups, conlleva la aparición de problemas que están más asociados a procesos deficientes o, incluso, inexistentes</strong>:</blockquote><p>· Falta de gobierno de los datos.</p><p>· Proliferación de stacks tecnológicos incompatibles entre sí.</p><p>· Silos de información.</p><p>· Mala o nula capacidad de compartir datos entre áreas.</p><p>· Imposibilidad de saber a ciencia cierta qué datos están disponibles, su significado y si son confiables o no.</p><p>Estas cuestiones motivan el surgimiento de nuevos paradigmas como Data Fabric o Data Mesh, que en un próximo artículo estaremos discutiendo.</p><h3>La importancia de la sistematización</h3><p>Si consideramos a los datos como el activo más valioso 🤑 de una empresa, será fundamental contar con las estrategias y procesos necesarios para entregarlos en tiempo y forma al negocio. La disparidad, diversidad y gran cantidad de fuentes de datos a los que puede acceder una empresa, hacen que sea fundamental contar con un pipeline de datos sistemático que permita estandarizar el desarrollo, validación e implementación de procesos de extracción, carga y transformación de los datos.</p><p>Tradicionalmente, estos pipelines eran desarrollados con herramientas de ETL visuales que corrían en modo cliente-servidor (Informatica, Talend, Pentaho, etc.) El desarrollo visual, si bien facilitaba el desarrollo al disminuir la complejidad, limitaba en algún punto la flexibilidad y capacidad de estas herramientas.</p><p>Con la explosión en volumen de datos y, en respuesta a esto, la llegada de los sistemas distribuidos, en un primer momento Hadoop 🐘, ahora Apache Spark; las bases de datos MPP (masivamente paralelas), y las nuevas arquitecturas de datos mencionadas, hicieron que esa forma tradicional de construir pipelines haya mutado a un modelo de desarrollo basado en scripting (pySpark, python, SQL) sobre servicios en la nube.</p><blockquote><strong>El escenario se reconfiguró al punto tal que hasta el acrónimo ETL cambió a ELT <em>🙃</em>: extraer de origen para cargar y transformar los datos en destino y aprovechar la capacidad de cómputo disponible.</strong></blockquote><p>Si bien este nuevo escenario brinda grandes beneficios respecto a la capacidad y flexibilidad de trabajo, también plantea grandes desafíos de cara al equipo de desarrollo. Es decir, la contención, estructura y método de trabajo que antes era impuesto por las herramientas de ETL tradicionales, desaparece por completo. Esto puede generar, muy fácilmente, grandes problemas a futuro sino es encarado siguiendo un esquema metodológico: cada ingeniero de datos tendrá su propio criterio a la hora de desarrollar un script, cómo implementarlo y, peor 😲, como mantenerlo.</p><p>Es por esto que se torna fundamental heredar y comenzar a adoptar buenas prácticas del desarrollo de software tradicional: modularización, integración y entrega continua, adopción de mecánicas de trabajo ágiles, etc.</p><h3>DatOps al rescate💪</h3><p>En el último tiempo, han tomado fuerza enfoques como <a href="https://dataopsmanifesto.org/es/">DataOps</a> que le dan un marco teórico y metodológico a esta necesidad de mejorar la manera en la que los equipos de datos trabajan en sus proyectos.</p><p>DataOps <a href="https://medium.com/data-ops/why-do-dataops-8d4542eec3e5">propone adoptar prácticas</a> asociadas a: DevOps tradicional, Agile Development y Statistical Process Controls. El primer paso para poder adoptar estas prácticas es definir cómo implementarlas, en este sentido, y en base a la experiencia, consideramos que un pipeline debe cumplir con las siguientes características:</p><p>1. Todos los artefactos tienen que estar versionados utilizando un <a href="https://git-scm.com/book/en/v2/Getting-Started-About-Version-Control">Sistema de Control de Versionado</a> (VCS). De esta manera podremos trabajar de forma colaborativa, evitando problemas cuando más de un ingeniero de datos esté trabajando sobre el mismo concepto. Además, es posible llevar un control de cambios detallado, lo que asegura la trazabilidad y, en el caso de ser necesario, volver a un determinado estado en el tiempo.</p><p>2. El trabajo tiene que organizarse en sprints cortos que busquen la entrega de nuevas funcionalidades al final de cada uno. Se debe tener un backlog claro con tareas atómicas sin ambigüedades.</p><p>3. Se debe asegurar la calidad de:</p><p>a. <em>Código</em>: los scripts deben cumplir con reglas de sintaxis y seguridad predefinidas.</p><p>b. <em>Datos</em>: es fundamental que en cada estadio por el que atraviesa un dato a lo largo del flujo, se cuente con reglas que aseguren la calidad del mismo en todos los aspectos que se considere necesario: completitud, tipo, cantidad de registros, entre otros.</p><p>4. Es necesario que haya separación de ambientes, con al menos un ambiente de desarrollo, testing y otro productivo.</p><p>5. El desarrollo debe darse bajo un esquema de:</p><p><strong>a. Integración continua (CI)</strong>: esta práctica consiste en integrar de manera frecuente, a un único repositorio, los cambios desarrollados sobre el código de un proyecto de software. Además, dicho código debe pasar por una serie de pruebas automáticas que verifiquen su integridad.</p><p><strong>b. Entrega continua (CD)</strong>: en este caso, los cambios y pruebas se ejecutan en forma automática en un ambiente de testing (QA) que, en términos de volumen y calidad de datos, debe reflejar el ambiente productivo.</p><p><strong>c. Despliegue continuo (CD)</strong>: todos los cambios que hayan pasado las validaciones correspondientes en el ambiente de testing, se despliegan de manera automática en producción, <em>sin intervención humana</em>.</p><p>6. La dependencia y precedencia de ejecución de cada artefacto debe estar definida y documentada en forma clara.</p><p>7. Tiene que existir un registro de ejecución centralizado que facilite el proceso de auditoría y debugging.</p><h3>Entonces, ¿qué hacemos? 🤔</h3><p>Hoy más que nunca, es fundamental pensar las soluciones de datos, desde sus comienzos, orientadas a dar respuesta a las problemáticas de negocio de forma confiable y en el momento indicado.</p><blockquote><strong>El objetivo principal debe ser que, cualquier tomador de decisiones de la empresa, pueda hacerlo basado en datos fiables y actualizados. Además, se debe asegurar la democratización, facilitando tanto el acceso y descubrimiento, como la posibilidad de compartir datos entre individuos o áreas, todo esto sin perder nunca de vista el gobierno y la seguridad.</strong></blockquote><p>Para lograr estos objetivos, más allá de la arquitectura o tecnología a utilizar, lo más importante es definir una estrategia que reconozca la importancia de implementar una mecánica de trabajo centrada en aportar valor, que permita anticipar y reducir problemas de datos en base a metodologías bien establecidas.</p><p>En <a href="https://medium.com/datalytics/implementar-ci-cd-en-databricks-es-posible-y-te-explicamos-c%C3%B3mo-hacerlo-2fa1860d2007">este artículo</a> pueden leer una demostración práctica en la cual explicamos cómo implementar CI/CD en Databricks.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a2b70ab11621" width="1" height="1" alt=""><hr><p><a href="https://medium.com/lovelytcslatam/dataops-primeros-pasos-c%C3%B3mo-debe-ser-el-pipeline-de-datos-a2b70ab11621">DataOps primeros pasos, ¿cómo debe ser el pipeline de datos?</a> was originally published in <a href="https://medium.com/lovelytcslatam">Lovelytics LATAM</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>