<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Jose Maria Hidalgo Garcia on Medium]]></title>
        <description><![CDATA[Stories by Jose Maria Hidalgo Garcia on Medium]]></description>
        <link>https://medium.com/@jhidalgo3?source=rss-bbf4ed04c50c------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/2*gCTGOhlz1DAGpKxZxCpy2w.png</url>
            <title>Stories by Jose Maria Hidalgo Garcia on Medium</title>
            <link>https://medium.com/@jhidalgo3?source=rss-bbf4ed04c50c------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 16:14:28 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@jhidalgo3/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Lecciones aprendidas con Kafka desde el punto de vista de la infraestructura]]></title>
            <link>https://jhidalgo3.medium.com/lecciones-aprendidas-con-kafka-desde-el-punto-de-vista-de-la-infraestructura-1998d7bcbfc?source=rss-bbf4ed04c50c------2</link>
            <guid isPermaLink="false">https://medium.com/p/1998d7bcbfc</guid>
            <category><![CDATA[infrastructure]]></category>
            <category><![CDATA[kafka]]></category>
            <dc:creator><![CDATA[Jose Maria Hidalgo Garcia]]></dc:creator>
            <pubDate>Sun, 22 May 2022 15:28:02 GMT</pubDate>
            <atom:updated>2022-05-22T17:27:21.776Z</atom:updated>
            <content:encoded><![CDATA[<p>En Enero del 2022, cumplí 4 años administrando y ayudando a implantar cluster de Kafka en Producción para diferentes clientes de Marketing Research, Retail, Banca y Seguros. Durante este tiempo, he tenido la oportunidad de configurar y operar Kafka en varios de los sabores:</p><ul><li>Kafka opensource instalado en maquinas AWS EC2.</li><li>Confluent Cloud Platform sobre infraestructura propia.</li><li>Uso del Strimzi Operator para la configuración de un cluster en Azure Kubernetes (AKS).</li><li>Implantación de la solución SaaS de Confluent sobre AWS en modo privado.</li></ul><p>Dejando a un lado la automatización del gobierno del cluster: Topics, Acls, Connects ..) que será objeto de otra entrada. El objetivo de este articulo es tratar de enumerar un par de tips que bajo mi experiencia son claves para disponer de un cluster de Kafka optimizado y con alto desempeño.</p><p>Los agruparé en los siguientes apartados:</p><ul><li>Requisitos hardware</li><li>Configuración de los brokers</li><li>Configuración para productores Kafka</li><li>Capacidad del cluster</li><li>Seguridad del cluster</li><li>Monitorización y alertado</li><li>Consumer Lag</li><li>Configuración Disaster recovery para un cluster Kafka</li><li>Conclusiones</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*Ov9eGT6GHaTPymqDYOipqg.png" /></figure><h3>Requisitos Hardware</h3><h4>CPU</h4><p>El consumo de CPU en los brokers de Kafka suele ser ligera. Pero se puede ver afectado y sufrir un incremento en las siguientes circunstancias:</p><ul><li>Si la comunicación SSL esta activada los requisitos de CPU puede ser algo superiores. Dependiendo directamente del tipo de CPU y de la implementación de JVM que se use.</li><li>Un número alto de “replication factor” en los topics consumirá mas espacio en disco y CPU para poder manejar peticiones adicionales.</li><li>Es importante siempre tener en cuenta el tamaño de los mensajes.</li><li>Si se está usando compresión los productores y consumidores consumiran mas ciclos de CPU por compresión y descompresion de la información. Disponer de más Cores llevan a un incremento en la paralelización de las tareas.</li></ul><h4>Memoria</h4><p>Los Kafka Brokers usan JVM heap y el OS Page cache.</p><p><em>JVM Heap</em>, se usa para la replicacion de particiones y para Log Compaction. Es recomendable asegurar que los consumidores lean desde memoria.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/560/0*BOTuQ7SaOS-Fo_0n.png" /></figure><p>La cantidad de memoria que se requiere en los brokers depende de la velocidad con la que se escriben los datos y de como de rápido se quiera que se consuman esos datos por los consumidores.</p><p>Por ejemplo, si se escribe 20Gb hora/broker y se permite que los brokers puedan retrasarse 2 horas en un escenario normal. El sistema debe estar preparado para disponer 40Gb en disco para el cache del SO. En los casos donde los consumidores se vean forzados a leer desde el disco el rendimiento del cluster bajara considerablemente.</p><p>En muchos de los escenarios de uso, Kafka puede funcionar perfectamente con 6Gb de RAM de Heap Space. Pero para entornos productivos con una alta carga se recomiendan usar brokers con 32Gb o mas. Este extra de RAM será usado para reforzar la cache de pagina del SO mejorando el rendimiento de los clientes del cluster.</p><p>Como he comentado los cluster de Kafka pueden funcionar con menos memoria pero la capacidad para poder gestionar picos de carga se ve directamente afectado por falta de memoria.</p><blockquote><strong>Se deben aprovisionar los brokers del cluster con suficiente memoria para evitar tener que leer de disco.</strong></blockquote><p>De esta forma los datos de las particiones son servidas directamente desde el sistema de cache de ficheros del SO siempre que sea posible. Para ayudar al buen desempeño del cluster se debe asegurar que los consumidores esten siempre al día. Porque el temido retraso (lag) en un consumidor al consumir de un topic podría provocar lecturas de disco afectando al rendimiento del cluster.</p><h3>Configuración del Broker</h3><h4>Configuración de los topics en Kafka</h4><p>La configuración de los topics tiene un impacto directo el rendimiento de un cluster de Kafka. Pero las configuraciones como elfactor de replicación y el número de particiones de un topic siempre es todo un reto configurarlo correctamente. Disponer de entornos de pruebas para poder “tunear” estos valores es vital.</p><p>Como recomendación, siempre se debe usar un factor de replicación de 3 prestando atención al manejo de mensajes grandes. Sobre el número de particiones de un topic se tratará en detalle en los siguientes apartados.</p><p>Destacar que toda entrada en la configuración del topic tiene un valor por defecto pero Kafka ofrece la posibilidad de personalizarlo en cualquier topic para que tenga un valor optimizado para el caso de uso que se le vaya a dar a ese topic.</p><p>Importante para tener un cluster saneado y bajo control:</p><ul><li>Desactivar la creación automática de topic.</li><li>Establecer una política de limpieza de topics que se encuentren sin uso.</li></ul><h4>Aprovechar el procesamiento paralelo</h4><p><strong>Topic/partición es la unidad de paralelismo en Kafka</strong> por como esta diseñado el producto. El número de particiones para un topic, afecta a la paralelización y rendimiendo, pero a un mayor número de particiones significa mas latencia de replicación, rebalanceos y número de archivos abiertos en el servidor.</p><p>Encontrar el número de particiones es “sencillo” basta con calcular throughput que se necesita para el sistema y realizar unas sencillas cuentas.</p><p>Vamos a cálcular el throughput a manejar:</p><p>Por ejemplo, se producen 800 mensajes por segundo de 500 bytes por lo tanto el throughput que tendria este sistema sería:</p><ol><li><strong>P</strong> = Throughput desde el productor a una unica partición.</li><li><strong><em>C</em></strong> = Throughput para el consumidor consumiendo de una partición.</li><li><strong><em>T</em></strong> = Throughput objetivo.</li><li><strong><em>Max (T/P, T/C)</em></strong> = Número de particiones necesario.</li></ol><pre><strong>Partitions = Desired Throughput / Partition Speed</strong></pre><p><strong>¿Como se calcula el throughput a manejar?</strong></p><p>Supongamos que el sistema genera 500 mensajes por segundo de un tamaño médio de 750 Bytes. La formula a aplicar para obtener los Mb/s de transferencia sería la siguiente:</p><p>500×750÷(1024×1024) = ~0,35 MB/s</p><p>Si el topic tiene 3 replicas y se particiona entre 3 brokers, se debe asegurar una tasa de transferencia por broker para ese topic de:</p><p>0,35 / (3*3) = ~0,4Mb/s</p><p><strong>Recomendaciones para producción</strong></p><p>Hay mucha literatura respecto a cual es el número de particiones de un topic recomendado, pero si que hay que tener en cuenta que este número afecta al rendimiento del cluster. Para un cluster medio estar por encima de ~10000 particiones le puede provocar constantes rebalanceos y errores a la hora de producir y consumir eventos de los topics.</p><p>Más particiones incrementan la latencia. Para Kafka esta latencia se define como el tiempo que transcurre entre que el mensaje es publicado por el productor y este está listo para ser leido por los consumidores. Kafka solo expone el mensaje a un consumidor después que este ha sido comiteado a todas sus replicas.</p><p>Por ejemplo, cuando un mensaje es replicado a todas sus replicas (in-sync replica, ISR=3). Replicar ~1000 particiones de un broker a otro puede llevar ~15ms, este valor podría <strong>no ser optimo</strong> <strong>para</strong> un caso de uso que necesite <strong>real-time</strong>. Para tratar de mitigar este problema tanto productores como consumidores disponen de una configuración para poder realizar acciones en batch. Esta configuración nos requerirá más memoria de los productores y consumidores para poder trabajar con los lotes de mensajes.</p><blockquote><strong>El número de particiones de un topic puede ser modificado después de su creación pero esta acción se debe realizar con cuidado porque podría impactar en los consumidores. Es altamente recomendable estudiar bien el impacto en el sistema si no se quiere tener problemas en producción.</strong></blockquote><h4>Número de replicas</h4><p>En un escenario de producción estandar, el número de replicas suele ser 3 para proteger al sistema de la caída de hasta dos brokers del cluster en el mismo intervalo de tiempo. Pero como se ha comentado anteriormente hay situaciones que se debe priorizar mayor rendimiento y una baja latencia que la disponibilidad, para estos casos el factor de replicacion puede establecerse a un valor mas pequeño.</p><h4>Densidad de particiones por broker</h4><p>Kafka puede manejar miles de particiones por broker. Pero a mayor densidad de particiones el rendimiento del cluster podría verse afectado por el incremento en la latencia si se llega a situaciones de sobrecarga de I/O en las operaciones con el disco. Estos problemas podrían provocar que incluso el topic no este disponible.</p><p>La caída de un broker sin un apagado ordenado, provoca al sistema que otros brokers deban asumir más cantidad de particiones de las que era lider el broker caido. Esta operación puede llevar varios segundos que durante ese tiempo el rendimiento del cluster se verá seriamente afectado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*tE69k0xjOMwxOS_O" /></figure><h3>Configuración para un productor en Kafka</h3><h4>Productor requiere ACKs</h4><p>Un productor Kafka puede ser configurado para requerir acks de confirmación para que la partición leader considere la escritura del evento completada. Esta configuración se usa en aquellos casos de uso que requieran garantizar que no hay perdida de datos.</p><p>Los valores que puede tomar esta configuración en el productor son: 0,1, -1.</p><ul><li><strong>ack=-1 (all):</strong> garantiza que el leader de la partición espera que todas las in-sync replicas (ISR) han confirmado el mensaje, antes de enviar la confirmación al productor. Por ejemplo, tenemos configurado el “min.insync.replicas=1” del topic. En este caso el leader de la partición enviará el ack de confirmación si al menos 1 replica confirmó la recepción del mensaje. Si la confirmación recibida es &lt; al valor ISR la entrega se marcará como fallida y se informará al productor.</li><li><strong>ack=1:</strong> Solo garantiza que el leader ha recibido el mensaje.</li><li><strong>ack=0:</strong> en el otro extremo, el productor configura acks=0, este significa que la petición será marcada como completa sin esperar ningún tipo de confirmación por parte de las particiones replicadas.</li></ul><p>Una configuración de ack=-1 garantiza que no se produciran perdidas de datos, pero a la vez provocará una alta latencia y un bajo throughput.</p><p>Os paso un link a otro articulo donde explican con más detalle para entender mejor la configuración del ack.</p><blockquote><a href="https://betterprogramming.pub/kafka-acks-explained-c0515b3b707e">Kafka Acks Explained</a></blockquote><h4>Uso de Batch Size para conseguir productores con alto throughput</h4><p>Cada productor de Kafka envía registros a una única partición. Incrementar el tamaño del lote de mensajes a enviar podría conseguir que el productor alcanzara un alto throughput. Pero en escenarios de poca carga se tendría un efecto contrario que aumentaría la latencia porque el productor necesita esperar a completar el lote para poder enviarlo.</p><p>Como ya se ha comentado, es importante hacer fine tunning de este batch size para que el rendimiento y la latencia estén en unos niveles optimos.</p><h4>Compresión</h4><p>La configuración de un productor de Kafka permite configurar el valor de “compression.type” para especificar que tipo de compresión se usará para comprimir los mensajes antes de ser enviados a los brokers.</p><p>Usar un mecanismo de compresión impacta directamente en el uso de disco en los brokers y la CPU necesaria para manejar los mensajes por los productores. A continuación una tabla con los codes soportados y el impacto de cada uno.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6Vxk5YzAs3nt_HNpGfGwHQ.png" /></figure><p>En el siguiente articulo, se puede encontrar explicado mucho de lo comentado en esta entrada. Además que está ilustrado con test y gráficas que muestran el impacto de las diferentes configuraciones en los productores.</p><blockquote><a href="http://www.pattersonconsultingtn.com/blog/throughput_testing_kafka.html">Effects of Batch Size, Acknowledgments, and Compression on Kafka Throughput</a></blockquote><p>Por señalar alguna de las pruebas del artículo:</p><p>Gráfica que muestra el efecto de la configuración del <strong><em>Batch Size</em></strong> y su impacto en el througthput que consigue el productor:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*WUg-vPY0ZQONyLnP.png" /></figure><p>Grafica que muestra el impacto, al configurar el<strong><em> valor de ack</em></strong> en el productor y el impacto en el througthput:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*DCMraQdFWjT8-6w_.png" /></figure><p>Por último, el efecto de cada tipo de <strong><em>compresión</em></strong> y su impacto en el througthput del productor</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*TT2A0v_pSYklco8O.png" /></figure><p>Hay mucha literatura al respecto de cómo optimizar la configuración de los productores Kafka y no existe una receta mágica. Hay que estudiar nuestro sistema y conocerlo en detalle para poder afinar esta configuración.</p><h3>Seguridad del cluster</h3><p>Securizar un cluster penaliza un poco su rendimiento, pero asegura un mejor control del tráfico y acceso al cluster. Se divide en tres componentes:</p><ul><li><strong>Encriptación en transito (SSL / TLS): </strong>Permite que la información viaje encriptada entre productores y consumidores.</li><li><strong>Autenticación usando SSL o SASL:</strong> Permite autenticar a los productores y consumidores para que verifiquen su identidad, imprescindible para poder aplicar correctamente la autorización.</li><li><strong>Autorización usando ACLs:</strong> Una vez que disponemos de los clientes del cluster autenticados, se pueden establecer políticas de control de acceso (ACLs) que determinan sobre que topics puede realizar acciones de lectura o escritura.</li></ul><h3>Capacidad del cluster</h3><p>Kafka almacena la información en un log, y estos logs son divididos a su vez en segmentos. Kafka calcula el tamaño de la información a nivel de topic y de segmento para los periodos de retención.</p><p>Para calcular correctamente el sizing del cluster se deben tener en cuenta las siguientes configuraciones:</p><ul><li>Periodo de retención por topic</li><li>Factor de replicación</li><li>Tamaño medio del mensaje</li><li>Cantidad de mensajes esperados por el sistema</li></ul><p>La configuración para la retención de la información es particularmente importante porque los mensajes de los topics ocuparán tamaño en disco y ese espacio no será liberado hasta alcanzar el limite de almacenamiento configurado por topic o se ha alcanzado el tiempo máximo de retención, aunque los mensajes se hubieran consumido permanecen en disco.</p><p>Si el período de retención es demasiado bajo, podría ocurrir que la información no se consuma antes que esa información fuera eliminado.</p><p>A continuación una calculadora que nos puede ayudar en el sizing de nuestro cluster de Kafka:</p><p><a href="https://eventsizer.io/">https://eventsizer.io/</a></p><h3>Monitorización y alertado</h3><h4>Consumer Lag</h4><p>Distancia entre los consumidores y los productores en un topic.</p><p>Refresquemos algunos conceptos sobre esto, con una imagen:</p><ul><li><strong><em>Append time:</em></strong><em> </em>es cuando el broker escribe el nuevo mensaje en el topic</li><li><strong><em>Commit time:</em></strong><em> </em>es el timestamp escrito por el consumidor despues de ser procesado el mensaje y confirmado.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*5XNSuw_Uimfp2gym.png" /></figure><blockquote><strong>Commit Lag:</strong> <em>es la diferencia entre el Append Time y el Commit time de un mensaje consumido. Representa cuanto tiempo transcurre desde que el mensaje se encuentra en el cluster y un consumidor lo procesa.</em></blockquote><blockquote><strong>Append Lag:<em> </em></strong><em>es la diferencia entre el Append Time del ultimo mensaje producido y el Append time del ultimo mensaje commiteado. En la imagen por ejemplo es de 9 segundos.</em></blockquote><p>En definitiva, es importante definir alertas para esto y evitar situaciones donde la distancia entre consumidores y productores sea elevada.</p><h3>Configuración Disaster recovery para un cluster Kafka</h3><p>Disponer de un plan de Disaster recovery es crítico y para Kafka no es una excepción. La opción para Kafka pasa por configurar un MirrorMaker para que copie la información entre el cluster principal y otro para ser usado en caso de desastre. En esta situación, tanto consumidores como productores pasaran al cluster de respaldo al estar caído el cluster principal.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/975/0*bllHgcFlfpGHWRId.png" /><figcaption><a href="https://www.confluent.io/blog/disaster-recovery-multi-datacenter-apache-kafka-deployments/">https://www.confluent.io/blog/disaster-recovery-multi-datacenter-apache-kafka-deployments/</a></figcaption></figure><h3>Conclusiones</h3><ul><li>Kafka esta diseñado que hace posible tenga de un buen rendimiento para la mayoría de los casos sobre una infraestructura con unos requisitos bastante modestos y un coste aceptable.</li><li>En escenarios que requieran un alto throughput es importante aprovisionar los brokers con bastante memoria para evitar lectura desde disco.</li><li>El número de particiones proporciona la paralelización en las operaciones e incrementando el throughput pero lo que se gana ahi podría verse penalizado porque también aumentan la latencia en la replicación, rebalanceos y se incrementa el número de ficheros abiertos en los brokers.</li><li>El factor de replicación para la mayoría de los entornos de producción es 3.</li><li>Es vital prestar atención y monitorizar la métrica de consumer lag.</li></ul><h3>Referencias</h3><ul><li><a href="https://newrelic.com/blog/best-practices/new-relic-kafkapocalypse">https://newrelic.com/blog/best-practices/new-relic-kafkapocalypse</a></li><li><a href="https://inder-devops.medium.com/kafka-best-practices-lessons-learned-by-inder-431dc5fafd3b">https://inder-devops.medium.com/kafka-best-practices-lessons-learned-by-inder-431dc5fafd3b</a></li><li><a href="http://www.pattersonconsultingtn.com/blog/throughput_testing_kafka.html">http://www.pattersonconsultingtn.com/blog/throughput_testing_kafka.html</a></li><li><a href="https://betterprogramming.pub/kafka-acks-explained-c0515b3b707e">https://betterprogramming.pub/kafka-acks-explained-c0515b3b707e</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1998d7bcbfc" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Métricas de DevOps Research and Assessment (DORA) para mejorar los procesos de desarrollo.]]></title>
            <link>https://jhidalgo3.medium.com/m%C3%A9tricas-de-devops-research-and-assessment-dora-para-mejorar-los-procesos-de-desarrollo-5fba17f5af17?source=rss-bbf4ed04c50c------2</link>
            <guid isPermaLink="false">https://medium.com/p/5fba17f5af17</guid>
            <category><![CDATA[devops]]></category>
            <category><![CDATA[dora]]></category>
            <category><![CDATA[metrics]]></category>
            <dc:creator><![CDATA[Jose Maria Hidalgo Garcia]]></dc:creator>
            <pubDate>Sun, 03 Oct 2021 10:19:51 GMT</pubDate>
            <atom:updated>2021-10-03T10:19:51.158Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*W2baJoABOhHJNcBXXcdb8g.png" /></figure><h3>¿Que es DORA?</h3><p>Un buen punto de partida para comenzar a medir y mejorar los flujos de desarrollo de una organización es a partir de los resultados del estudio de DevOps Research and Assessment mas comunmente conocido como DORA (<a href="https://www.devops-research.com/research.html">https://www.devops-research.com/research.html</a>) realizado por Google. DORA es un estudio realizado durante mas de 6 años donde han participado miles de DevOps engineers y Leaders.</p><p>El resultado es que DORA propone 4 metricas principales para medir una organización:</p><ol><li><strong>Deployment Frequency:</strong> Con que frecuencia una organizacion despliega releases a produccion con éxito.</li><li><strong>Mean Lead Time for Changes: </strong>Cuanto tiempo pasa para que un cambio de código (commit) llegue a producción.</li><li><strong>Mean Time to Recovery (MTTR): </strong>Porcentaje de despliegues que fallan en producción.</li><li><strong>Change Failure Rate: </strong>Cuanto tiempo transcurre para recuperar producción de un fallo.</li></ol><p>Las<strong> dos primeras métricas</strong> (Deployment Frequency, Mean Lead Time for Changes) <strong>miden la velocidad del equipo de desarrollo</strong>, mientras que MTTR y Change Failure Rate son una media de la calidad y estabilidad de un proyecto de desarrollo. Las 4 metricas pueden ser extraidas de las herramientas que se estén utilizando para manejar el proceso de desarrollo: Jira, Git, Jenkins, entre otras.</p><p>Estas 4 metricas propuestas por DORA están diseñadas para permitir a los Software Developers alinear su trabajo con los objetivos de negocio. Son un standard para que CTOs y VPs of Engineering puedan tener un overview de alto nivel de como sus organizaciones estan trabajando.</p><p>Al disponer de las metricas de DORA y centrando los esfuerzos en mejorarlas. Los equipos de desarrollo son conscientes que estan haciendo lo correcto para desarrollar sus proyectos y para mejorar su negocio.</p><p>Antes de comenzar es importante explicar a la organizacion que miden realmente estas métricas y que significan para que sean útiles al interpretarlas para la toma de decisiones.</p><h3><strong>Deployment Frequency</strong></h3><p>Mide el numero de veces que el código es desplegado en producción. Generalmente se mide por “Deployments Per Day”.</p><p>Producción puede significar cosas diferentes dependiento la compañía. Para una compañia con un producto SaaS, significa desplegar código sobre la plataforma de producción que usan sus clientes y para otras compañías puede significar desplegar una vesion para ser usada por los usuarios.</p><h4>¿Por que es importante “Deployment Frequency”?</h4><p>Incrementar la frecuencia de despliegue es indicio de eficiencia y confianza de los equipos en sus procesos de desarrollo. Un equipo que es capaz de desplegar con más frecuencia está siendo más rápido y eficiente en todas las etapas de desarrollo.</p><h4>¿Como se calcula “Deployment Frequency”?</h4><p>Cuenta el número total de despliegues de una organización durante un sólo día. La definición de un “deployment” puede variar según la organización pero esto no afecta.</p><p>Esta métrica suele ser obtenida si la organización tiene un Continuous Integration/Continuous Delivery(CI/CD) platform que tenga un API para poder extraer este valor.</p><h4>¿Como se mejora “Deployment Frequency”?</h4><p>Para mejorar la frecuencia de despliegue es importante invertir en mejorar:</p><ul><li>Integrar herramientas CI/CD en todo el ciclo de desarrollo</li><li>Automatización para la cobertura de test</li><li>Automatizar la fase de validación de una release y creación de la misma</li><li>Implentar procesos de Rollback para reducir los tiempos de recuperación ante un error en producción tras una release.</li></ul><h3>Mean Lead Time for Changes</h3><p>Es el tiempo medio que tarda desde que se entrega código hasta que se despliega en producción.</p><p>Algunas organizaciones miden este valor desde que se realiza el commit hasta el merge (fusión) del código en la rama principal que será desplegada en producción.</p><h4>¿Por que es importante “Mean Lead Time for Changes”?</h4><p>Un valor bajo en Mean Lead Time for Changes significa que los equipos son eficientes al codificar, desplegar sus proyectos y añadiendo valor a su producto.</p><p>Intentar reducir este tiempo de promedio de entrega obliga a los equipos a dividir adecuadamente el trabajo, revisar mineciosamente su código y asi disponer de un desarrollo de más calidad además de rápido.</p><h4>¿Como se calcula “Mean Lead Time for Changes”?</h4><p>Cada desarrollo / proyecto se mide de principio a fin y se calcula un promedio de esos tiempos.</p><h4>¿Como se mejora “Mean Lead Time for Changes”?</h4><p>Esta metrica puede ser mejorada por:</p><ul><li>Automatizar los procesos de despliegue</li><li>Asegurar que los procesos en la plataforma de CI/CD son lo mas eficientes posibles.</li><li>Romper los desarrollos en trozos más pequeños y manejables</li><li>Crear procesos de “Code Review” eficientes para reducir el tiempo de entrega.</li></ul><h3>Mean Time to Recovery (MTTR)</h3><p>Esta metrica mide el tiempo medio que necesita un equipo para recuperar el sistema desde que se produce un fallo.</p><p>“Fallo” puede significar cualquier cosa, desde un bug en producción, hasta que el sistema de producción esté sin servicio (outage).</p><h4>¿Por que es importante “Mean Time to Recovery”?</h4><p>Es evidente que un tiempo sin servicio no es bueno, y cuanto mas rápido vuelva a prestar servicio mejor.</p><p>Teniendo en mente el tiempo de recuperación en etapa diseño e implementación dará como resultado sistemas más robustos y resilientes.</p><p>Tiempos de recuperación rápidos, indican que los equipos son eficientes en el diagnóstico de los problemas y su corrección.</p><p>Medir este tiempo tiene un efecto en los equipos que acen que sean mas cuidadosos y preocupados por la calidad durante todo el proceso de desarrollo.</p><h4>¿Como se calcula “Mean Time to Recovery”?</h4><p>Esta métrcia es trackeada midiendo el tiempo medio entra que se reporta un incidente en producción y hasta que es resuelto.</p><h4>¿Como se mejora “Mean Time to Recovery”?</h4><p>La métrica MTTR puede ser mejorada:</p><ul><li>Asegurando procesos para recuperación automatizados para ser ejecutados de forma inmediata en caso de error.</li><li>Disponer de un sistema completamente monitorizado</li><li>Disponer de una plataforma AIOPS, implementando procesos de predicción de un comportamiento anómalo de los sistemas en el futuro.</li><li>Reduciendo los tiempos de despliegue para aplicar parches.</li><li>Priorizar la recuperación del sistema sobre cualquier tarea de los equipos.</li></ul><h3>Change Failure Rate</h3><p>Mide con que frecuencia un cambio de código provoca un fallo en producción. Cambios que producen rollback, que el sistema falle en producción o que se detecte un bug provocado por los últimos cambios.</p><h4>¿Por que es importante “Change Failure Rate”?</h4><p>Esta métrica es importante porque todo el tiempo dedicado a resolver un problema es tiempo que no se está usando en liberar nuevas funcionalidades que aporten valor al negocio. Siempre es deseable reducir el número de problemas en los desarrollos.</p><h4>¿Como se calcula “Change Failure Rate”?</h4><p>Normalmente, esta métrica se calcula contando el numero de veces que un despliegue acaba en un error y divido por el numero total de despliegues para obtener un valor medio. Un valor medio bajo será siempre bueno.</p><h4>¿Como se mejora “Change Failure Rate”?</h4><p>Change Failure Rate puede verse reducido si se mejora:</p><ul><li>Asegurar que todo el codigo esta cubierto por test automatizados.</li><li>Mejorando los procesos de CI para incorporar y ejecutar los test implementados.</li><li>Realizando revisiones de código exhaustivas y completas para ayudar a evitar que se produzcan errores en producción.</li><li>Análisis de dependencias y sistemas sensibles a ser afectados por un cambio.</li></ul><h3>Conclusion</h3><p>Si se consigue medir con las metricas propuestas por DORA proporcionará a la organización una información muy valiosa para tomar mejores decisiones sobre donde y como mejorar sus procesos de desarrollo. Estas métricas suelen revelar cuellos de botella en los que el proceso de desarrollo suele atascarse.</p><p>El seguimiento de las metricas de DORA puede ayudar a poner el foco de los equipos de desarrollo y negocio en las cosas que realmente proporcionan valor al negocio. Las decisiones que se tomen basadas en estas métricas serán medibles. Acabando asi con las tomadas que no se puede medir su impacto de mejora.</p><p>DORA mide el valor que ofrece los equipos, si las metricas son buenas una organización puede estar segura que se está aportando valor en las entregas y asegurando su calidad para evitar errores que provoquen perder el foco de lo realmente importante que es aegurar la continuidad del negocio y aportando valor en cada entrega.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5fba17f5af17" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Configurando un cluster de AWS EKS usando nodos spot y con autoescalado]]></title>
            <link>https://jhidalgo3.medium.com/configurando-un-cluster-de-aws-eks-usando-nodos-spot-y-con-autoescalado-9bb25807667a?source=rss-bbf4ed04c50c------2</link>
            <guid isPermaLink="false">https://medium.com/p/9bb25807667a</guid>
            <category><![CDATA[aws-eks]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[kubernetes]]></category>
            <dc:creator><![CDATA[Jose Maria Hidalgo Garcia]]></dc:creator>
            <pubDate>Tue, 24 Aug 2021 16:55:42 GMT</pubDate>
            <atom:updated>2021-08-24T16:59:11.299Z</atom:updated>
            <content:encoded><![CDATA[<p>Las instancias Amazon EC2 Spot nos ofrece aprovechar la capacidad las instancias EC2 con un descuento en el precio que puede ser del 70% al compararlo con el precio de las instancias EC2 On-Demand. Para hacer uso de este tipo de instancias Spot se debe configurar estrategias de asignación sobre los servicios EC2 Auto Scaling o EC2 Fleet para que la solicitud de creación de una nueva maquina EC2 se realice la petición para que sea de tipo Spot.</p><h3>Prerequisitos:</h3><p>A continuación las herramientas y prerequisitos que deben estar listos para poder seguir esta entrada:</p><ul><li>Instalar eksctl. <a href="https://docs.aws.amazon.com/eks/latest/userguide/eksctl.html">https://docs.aws.amazon.com/eks/latest/userguide/eksctl.html</a></li><li>Instalar Kubectl.</li><li>Instalar aws-cli y configurar la conexion de la cuenta de AWS.</li><li>Clonar el repositorio donde se encuentran todo el código fuente:</li></ul><pre>git clone https://github.com/jhidalgo3/eksctl-spot-cluster</pre><p><strong>Creación del cluster usando `eksctl`</strong></p><p>eksctl es un cli creado por AWS para simplificar la creación de cluster de AWS EKS. Toda la configuración se define en un fichero yaml. En esta entrada vamos a crear un cluster de EKS con un grupo de autoescalado que usa solo nodos spot y de red privada.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/489/1*d-wtwAB0_L44TvUaYS98WA.png" /><figcaption>cluster/cluster.yaml</figcaption></figure><pre>eksctl create cluster -f cluster/cluster.yaml</pre><p>Este comando lanzará tres stacks de CloudFormation que realizará la creación de toda la infraestructura del cluster (EKS Control Plane, 1 Autoscaling Groups, VPC, Subnets, NatGateway, etc). Cuando eksctl finalice el proceso se recibirá el siguiente mensaje:</p><p>[✔] EKS cluster “spot-eks-cluster” in “eu-west-1” region is ready</p><p><strong>eksctl</strong> actualizará el fichero Kubeconfig con la información del nuevo cluster. Una vez finalizada la instalación al ejecutarkubectl get nodes se obtiene la lista del único nodo configurado:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/740/1*VKUCXZPDOTqiHxG6xxUtEQ.png" /><figcaption>kubectl get nodes</figcaption></figure><p><strong>Deploy Metrics-server v0.5.0:</strong></p><p>El Kubernetes Metrics Server es un agregador de metricas de uso de los recursos del cluster de Kubernetes, y que no es desplegado por defecto in AWS EKS. Este componente es usado por multiples Addon de Kubernetes para poder reaccionar según la métrica que se consulta. Por ejemplo para poder escalar los pods usando HPA (Horizontal Pods Autoscaler) y para el objetivo de escalar los nodos segun su consumo tambien es un componente imprescindible. Entre otros muchos mas usos.</p><p>Para instalarlo, simplemente es lanzar el siguiente comando:</p><pre>kubectl apply -f <a href="https://github.com/kubernetes-sigs/metrics-server/releases/download/v0.5.0/components.yaml">https://github.com/kubernetes-sigs/metrics-server/releases/download/v0.5.0/components.yaml</a></pre><h3><strong>Autoscaler Nodes</strong></h3><p><strong>¿Que funcion tiene “Autoscaler Priority Expander ConfigMap”?</strong></p><p>Es en este Config Map donde se definen las prioridades para que <strong><em>Autoscaler</em></strong> añada el nuevo nodo al grupo de autoescalado cuando se necesite más capacidad. Este configMap debe ser creado en el mismo namespace donde se encuentre desplegado el <strong><em>Autoscaler</em></strong>. En este tutorial será en el namespace <strong><em>kube-system</em></strong>.</p><p>Las prioridades es un array de keys (prioridad) y values (regexp para seleccionar el node group name). En el ejemplo solo se ha creado un sólo grupo de nodos llamado<strong> spot-ng</strong>.</p><p>El configmap se encuentra en el fichero <strong>0-autoscaler/cluster-autoscaler-priority-expander.yaml</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/419/1*wPBmpFBTKA004Xez3FNvag.png" /><figcaption><em>cluster-autoscaler-priority-expander configMap</em></figcaption></figure><p>Para su instalación, realizar el apply:</p><pre>kubectl apply -f 0-autoscaler/<strong>cluster-autoscaler-priority-expander.yaml</strong></pre><p><strong>Antes del deploy Autoscaler</strong></p><p>Antes de lanzar la instalación del autoscaler es necesario cambiar la linea 157 en <strong><em>1-autoscaler/cluster-autoscaler.yaml </em></strong>con el nombre del ASG (Autoscale Group). Se puede copiar desde la EC2 Web UI o usando el AWS CLI.</p><p>Para obtener el nombre del grupo de autoescalado del cluster “spot-eks-cluster” usando el AWS CLI:</p><pre>aws --region=eu-west-1 autoscaling describe-auto-scaling-groups | jq &#39;.AutoScalingGroups[]? | &quot;\(.Tags[]|select((.Key==&quot;alpha.eksctl.io/cluster-name&quot;) and (.Value==&quot;spot-eks-cluster&quot;))|.ResourceId )&quot;&#39;</pre><p>Una vez se tiene el nombre del ASG hay que cambiar la linea 157 en el directorio <strong><em>1-autoscaler/cluster-autoscaler.yaml. </em></strong><em>El la cadena </em><strong><em>SPOT </em></strong>con el nombre del ASG.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/636/1*-WnR3IoVynxvooXw4vo75Q.png" /><figcaption><strong><em>1-autoscaler/cluster-autoscaler.yaml</em></strong></figcaption></figure><p>Terminada la configuración del yaml, realizar el despliegue del Autoscaler:</p><pre>kubectl apply -f 1-autoscaler/</pre><p>Con esto ya dispondremos de un cluster funcional con autoescalado usando nodos SPOT para no incurrir en mucho gasto.</p><p>Este tipo de cluster configurado es totalmente funcional y muy util para poder realizar training o entornos de laboratorio.</p><p>En las siguientes entradas usaremos esta instalación como base.</p><p>Por último, para <strong>destruir toda la infraestructura creada </strong>solo es necesario ejecutar:</p><pre>eksctl delete cluster -f cluster/cluster.yaml</pre><h3>Referencias</h3><ul><li>Fuentes originales con la configuración para la creación del cluster pero con dos grupos de autoscalado (nodos spot y ondemand): <a href="https://github.com/doitintl/eks-spot-to-ondemand-fallback">https://github.com/doitintl/eks-spot-to-ondemand-fallback</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9bb25807667a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Aprende a configurar Thanos usando docker-compose]]></title>
            <link>https://jhidalgo3.medium.com/aprende-a-configurar-thanos-usando-docker-compose-345f6f03308a?source=rss-bbf4ed04c50c------2</link>
            <guid isPermaLink="false">https://medium.com/p/345f6f03308a</guid>
            <category><![CDATA[prometheus]]></category>
            <category><![CDATA[docker-compose]]></category>
            <category><![CDATA[thanos]]></category>
            <dc:creator><![CDATA[Jose Maria Hidalgo Garcia]]></dc:creator>
            <pubDate>Mon, 05 Jul 2021 15:41:40 GMT</pubDate>
            <atom:updated>2021-07-05T16:34:25.575Z</atom:updated>
            <content:encoded><![CDATA[<p>Antes de comenzar la instalación en un entorno como podría ser Kubernetes (AWS EKS, Azure AKS, Google, …) es importante entender los componentes principales que forman Thanos y que ventajas añade frente a una instalación de Prometheus “clásica”.</p><p>Lo que veremos en esta entrada se divide en dos partes una teórica y otra práctica:</p><ul><li><strong>Teoría:</strong> Que es Prometheus y Thanos</li><li><strong>Práctica: </strong>Configuracion de Thanos usando docker-compose</li></ul><h3>Un poco de teoría</h3><h4>¿Que es Prometheus?</h4><p>Es un sistema de monitorización que incluye:</p><ul><li>Un modelo de datos multidimensional</li><li>Un lenguaje para poder realizar consultas sobre dicho modelo llamado PromQL</li><li>Una base de datos de series temporales que dispone de mas de 150 integraciones.</li></ul><p>Prometheus es hoy en día una de las soluciones más usadas de monitorización sobre cluster de Kubernetes.</p><p>Uno de sus principales problemas es que maneja métricas de corta duración. Por esta razón su objetivo es almacenar y explotar las métricas más “live” / “hot”. Cuando se quiere consolidar metricas de diversas instalaciones de Prometheus no suele escalar muy bien y la arquitectura haciendo uso de las federaciones de Prometheus es algo compleja.</p><h4>¿Que es Thanos?</h4><p>Thanos es una configuracion sobre Prometheus que le incorpora capacidades para guardar datos y consultarlos durante un periodo de tiempo largo. A parte de ofrecer de caja la opción de una instalación de HA. Siendo un producto que se adapta mejor cuando se necesita una solución multicloud / multicluster para consolidar métricas de varias fuentes.</p><p>Thanos usa Object Store como puede ser AWS S3/Minio para las capacidades de almacenamiento de larga duración.</p><p>Thanos usa Object Store como puede ser AWS S3/Minio para las capacidades de almacenamiento de larga duración. El impacto en la reducción de coste del storage necesario es directo. Al ser un tipo de storage más barato.</p><p>Thanos tiene un vista global de búsquedas (Global Query View), que significa que se pueden lanzar queries desde solo un endpoint a multiples servidores de Prometheus o clusters. Además se puede seguir usando Grafana generando las consultas usando Prometheus Query API.</p><p>A parte de todo lo anterior Thanos, proporciona downsamplig y compactacion. Lo cual acelera las búsqueda cuando el rango temporal es muy amplio dando como resultado un mejor rendimiento.</p><h4>Componentes de Thanos</h4><p>Vista general de todos los componentes que tiene Thanos:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*zR6mf3Z1YVvkGFQjMz2SgA.jpeg" /><figcaption>Thanos Components</figcaption></figure><p>Los componentes que forman Thanos se pueden categorizar de la siguiente manera.</p><p><strong>Metric sources:</strong></p><ul><li>Thanos proporciona dos componente que cumplen la funcion de Data Source: Prometheus Sidecar y Rule Nodes.</li><li>El Sidecar implemente un servicio gRPC sobre Prometheus.</li><li><strong><em>Rule Node</em></strong> directamente lo implementa sobre el Prometheus storage engine que está ejecutándose.</li><li>Los <strong><em>Data Sources</em></strong> que almacenan los dato a largo plazo, lo hacen usando el motor de almacenamiento Prometheus 2.0.</li><li>El Store Engine crea bloques inmutables de los datos durante un intervalo de tiempo fijo.</li><li>Un bloque se encuentra en el directorio principal e incluye los ficheros para <strong>chunks</strong>, <strong>index</strong> y <strong>meta.json</strong>.</li><li>Los ficheros <strong>chunks</strong> tienen un tamaño como máximo cientos de MB cada uno.</li><li>El fichero <strong><em>index </em></strong>contiene toda la informacion necesaria para buscar series por su labels y la posicion de sus <strong>fragmentos</strong>.</li><li>Por último <strong>meta.json</strong> almacena la metainformacion del bloque como: estadísticas, rango de tiempo, nivel de compactación.</li></ul><p><strong>Stores:</strong></p><ul><li>Un <strong><em>Store Node</em></strong> actua como Gateway para bloques de información que están almacenados en un Object Storage Bucket.</li><li>Implementa la misma gRPC API como Data Source para proveer el acceso a todas lasmétricas almacenadas en un bucket.</li><li>Constantemente sincroniza que bloques existen en el Bucket y traduce las busquedas de metricas en queries sobre el almacenamiento de objectos.</li><li>Implementa varias estrategias para reducir el numero de peticiones a el Object Storage.</li><li>La capa de almacenamiento de Prometheus 2.0 esta optimizada para minimizar las lecturas.</li><li>Solo la información de indice se cachea.</li><li>Stores y Data Sources son lo mismo. Exponen el mismo gRPC Store API.</li><li>Store API permite buscar información por un conjunto de etiquetas que coinciden en un intervalo de tiempo.</li><li>Despues se devuelven esos fragmentos comprimidos tal como se encuentran almacenados en los bloques de datos.</li><li>Store API es una API de recuperación de datos y no proporciona una ejecución de consultas complejas.</li></ul><p><strong>Query Layer:</strong></p><ul><li><em>Los </em><strong><em>Queriers </em></strong>s<em>on instancias</em><strong> </strong>sin estado y escalables horizontalmente que implementan PromQL sobre el Store APIs expuesto en el cluster.</li><li>Los <strong><em>Queriers </em></strong>dotan a Thanos de resiliencia para descubrir todos los Data Sources y Store Nodes.</li><li><em>Los </em><strong><em>Rules Nodes </em></strong>en cambio pueden descubrir nodos de consulta<strong> (Queriers)</strong> para evaluar las reglas de registro y alerta.</li><li>Basándose en la metainformación de los nodos de origen y de almacenamiento se intenta minimizar el número de peticiones para obtener los datos de una consulta.</li><li>Los únicos componentes escalables de Thanos son los nodos de consulta, ya que ninguno de los componentes de Thanos proporciona sharding.</li><li>El escalado de la capacidad de almacenamiento se garantiza confiando en un sistema de almacenamiento de objetos externo.</li><li>Store, Rule y Compactor Nodes escalan dentro de una sola instalacion o dos si se han configurado en HA.</li></ul><p>Los puntos anteriores son un resumen de la <a href="https://thanos.io/tip/thanos/design.md/">documentación oficial de Thanos</a></p><h3>Configuracion de Thanos usando docker-compose</h3><p>Como se ha comprobado, Thanos dispone de muchos mas componentes que lo hacen mucho más versatil pero a la vez algo más complicado de configurar.</p><p>Antes de pasar a configurarlo dentro de un Kubernetes es intersante configurarlo en nuestra máquina local con el objetivo de aprender. En el siguiente repositorio:</p><p><a href="https://github.com/jhidalgo3/config-thanos-docker-compose"><strong>https://github.com/jhidalgo3/config-thanos-docker-compose</strong></a></p><p>Encontrareis todos los ficheros que usaremos para configurar: Thanos Cluster con Minio, Node-Exporter, Grafana.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*x45_lNEiR8TEi2SXlM_OeQ.png" /><figcaption>vista general de los contenedores creados por el docker-compose</figcaption></figure><p><strong>Paso 1:</strong> realizar un clone del repositorio de Github y dentro del directorio donde se encuentra el docker-compose.yml realizar:</p><pre>$ docker-compose up</pre><p>Comprobamos que el arranque de todos los contenedores fue correcto.</p><pre>$ docker-compose ps</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/934/1*UyZsDV6DYOHSBwXpJTiVgA.png" /><figcaption>Estado de los contenedores y puertos</figcaption></figure><p><strong>Paso 2: </strong>Acceder a la Thanos Query UI, que es idéntica a la de prometheus <a href="http://localhost:10904/graph">http://localhost:10904/graph</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Iux1rmq_sN5TR0cbu4XpWw.png" /><figcaption>Thanos Query UI</figcaption></figure><p><strong>Paso 3: </strong>Thanos guarda las métricas en Object Store Buckets en el ejemplo se ha configurado Minio con este objetivo. Se puede consultar su Web UI en la siguiente URL <a href="http://localhost:9000/minio">http://localhost:9000/minio</a> y comprobar los objetos persistidos por Thanos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/922/1*zG74iUpHbGXAf7MshVvjgA.png" /><figcaption>Minio Web UI</figcaption></figure><h4>Configurarando Grafana</h4><p>Por último toca crear unos dashboard de explotación de las métricas almacenadas dentro de Grafana accedemos a <a href="http://localhost:3000/">http://localhost:3000/</a></p><p><strong>Paso 4: </strong>Crear un Data Sources de tipo Prometheus y simplemente lo apuntamos al Query0 que corre en la URL <a href="http://query0:10904/">http://query0:10904</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/732/1*0cr3b1jnlxvhhOdvcZDhcQ.png" /><figcaption>Config a Thanos Query</figcaption></figure><p>Una vez comprobada la conexión con el Thanos Query ya tendriamos nuestro Datasource configurado.</p><p><strong>Último paso: </strong>Sólo queda configurar el Dashboard de Grafana para poder visualizar datos. En el directorio <a href="https://github.com/jhidalgo3/config-thanos-docker-compose/tree/master/thanos-dashboard">https://github.com/jhidalgo3/config-thanos-docker-compose/tree/master/thanos-dashboard</a> puede encontrar varios dashboard.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*L0B8jcpM57yEJATYnbx8Eg.png" /><figcaption>Node exporter dashboard</figcaption></figure><p>Cualquier duda o pregunta puedes lanzarla en los comentarios o si lo prefieres en mi perfil de twitter <a href="https://twitter.com/jhidalgo3">@jhidalgo3</a>. Estaré encantado de resolverlas y todo feedback es siempre bienvenido.</p><h3>Enlaces de interés:</h3><ul><li><a href="https://github.com/jhidalgo3/config-thanos-docker-compose">https://github.com/jhidalgo3/config-thanos-docker-compose</a></li><li><a href="https://thanos.io/tip/thanos/design.md/">Documentación oficial de Thanos</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=345f6f03308a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Opciones con Terraform para crear la infraestructura de múltiples entornos]]></title>
            <link>https://jhidalgo3.medium.com/opciones-con-terraform-para-crear-la-infraestructura-de-m%C3%BAltiples-entornos-1d789238bf4f?source=rss-bbf4ed04c50c------2</link>
            <guid isPermaLink="false">https://medium.com/p/1d789238bf4f</guid>
            <category><![CDATA[iac]]></category>
            <category><![CDATA[infraestrutura]]></category>
            <category><![CDATA[terraform]]></category>
            <dc:creator><![CDATA[Jose Maria Hidalgo Garcia]]></dc:creator>
            <pubDate>Sun, 17 Jan 2021 11:11:08 GMT</pubDate>
            <atom:updated>2021-01-17T11:11:08.111Z</atom:updated>
            <content:encoded><![CDATA[<p>Terraform es una herramienta open-source para gestionar infraestructura como código (en adelante IaC) que ofrece un CLI y módulos para trabajar con las APIs de los proveedores cloud más importantes: AWS, Azure, Google Cloud, entre otros muchos.</p><p>Una de las buenas prácticas en la definición de nuestra IaC como para cualquier desarrollo de aplicación es disponer de la capacidad para gestionar la configuración para definir y personalizar los diferentes entornos: Desarrollo, Testing, Producción de nuestra infraestructura.</p><p>En esta entrada veremos un par de posibilidades que nos ofrece Terraform para esto. Además de sus pros y contras de cada uno.</p><h3>Antes de comenzar</h3><p>Cada aplicación o proyecto a lo largo de su ciclo de desarrollo necesita de varios entornos antes de ser desplegada en producción. Es siempre importante disponer de entornos similares para pruebas de consistencia, con el objetivo de certificar los desarrollos antes de promocionarlos. Pero replicar esta configuración para que sea igual no es tarea sencilla y mucho menos si esta configuración la realizamos manualmente. Además es importante considerar que algunos entornos sean efímeros y se creen bajo demanda para minimizar el consumo latente y reducir la factura cloud.</p><p>Aquí es donde el uso de Terraform y su capacidad para crear infraestructura similar, efímera en entornos multi-cloud nos facilita enormemente este trabajo.</p><p>Veámos que posibilidades tenemos con Terraform.</p><h3>Método 1: Usando Carpetas</h3><p>Este método, propone duplicar la misma configuración en cada carpeta pero usando diferentes valores de variables “terraform.tfvars”.</p><p>Cada carpeta representa un entorno separado y nos permite tener un backend en cada carpeta y los módulos comunes agrupados. Para ejecutar cada entorno debes colocarte en la carpeta correspondiente y ejecutar los tres comandos principales de Terraform:<em> init, plan y apply.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/940/1*HnHIdhpNCVC6BoeamViJIg.png" /></figure><p>Para poder configurar la infraestructura en cada entorno es necesario estar en la carpeta del entorno y pasar las variables del mismo a Terraform:</p><pre>// Dev Environment<br>terraform plan --var-file=&quot;dev.tfvars&quot;</pre><pre>//TEST Environment<br>terraform plan --var-file=&quot;testing.tfvars&quot;</pre><pre>// PROD Environment<br>terraform plan --var-file=&quot;production.tfvars&quot;</pre><h4>Ventajas de usar carpetas para la definición de entornos</h4><ul><li>Puedes eliminar añadir y eliminar recursos en cada entorno</li><li>Se pueden hacer cambios en un entorno sin afectar a otros</li><li>Opción recomendada para dar los primeros pasos de IaC para múltiples entornos.</li></ul><h4>Inconvenientes de usar carpetas para la definición de entornos</h4><ul><li>Existe código duplicado</li><li>Si se quiere cambiar un recurso, se debe realizar el cambio en todas las carpetas para todos los entornos.</li></ul><h3>Método 2: Workspaces</h3><p>Los workspace en Terraform son la manera de manejar de forma independiente <em>state files</em> (ficheros de estado) que son la foto de nuestra infraestructura que usa Terraform para detectar los cambios que va a realizar y sobre que recurso en sucesivas ejecuciones.</p><p>Los <strong>backends </strong>es el lugar donde Terraform almacena estos ficheros. Disponemos dos opciones:</p><ul><li>Local: Los ficheros de estado quedan almacenados en la máquina donde se ejecuta el plan de Terraform.</li><li>Remoto: Es el escenario común donde se usa los sistemas de almacenamiento de los proveedores cloud: AWS S3, Azure Blobstorage, etc.</li></ul><p>Para simplificar la explicación, supongamos que estamos usando el “local backend” para guardar el estado. Terraform creará un fichero llamado terraform.tfstate para guardar el estado de la configuración aplicada.</p><p>Pero en escenarios donde se tiene la misma configuración para diferentes contextos (como por ejemplo diferentes entornos), separar los ficheros de estado es necesario. En el método anterior, estos ficheros se alamacena en cada carpeta.</p><p>Pero volvamos a los workspaces…</p><p>Terraform siempre dispone de un workspace llamado <strong>default</strong>. Este workspace es especial porque siempre existe y no se puede eliminar. Sin saberlo, siempre estamos usado un workspace <strong><em>el default</em>.</strong></p><p>Para manejar los Workspaces con terraform se debe ejecutar con el siguiente comandoterraform workspace .</p><p>Una vez ejecutado se muestran un conjunto de sub-comandos y opciones:</p><ul><li>terraform workspace new <strong>&lt;WORKSPACE_NAME&gt; </strong>Crear un workspace.</li><li>terraform workspace select <strong>&lt;WORKSPACE_NAME&gt; </strong>Seleccionar un workspace</li><li>terraform workspace list Listar los workspace disponibles</li><li>terraform workspace show Muestra el workspace actual</li><li>terraform workspace delete <strong>&lt;WORKSPACE_NAME&gt; </strong>Eliminar un workspace</li></ul><p>Cuando se crea un workspace y se aplica una configuración, Terraform crea un directorio llamado terraform.tfstate.d y dentro se crea un subdirectorio para cada workspace que contiene los ficheros de estado (*.tfstate).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/766/1*sxRuUTIPFmQQyAjlpt3fkQ.png" /></figure><p>En la imagen se ve que existen dos workspaces dev (desarrollo) y prod (producción) y los ficheros de estados para cada uno en sus respectivas carpeta dentro de terraform.tfstate.d .</p><h4>Ventajas de usar Workspaces</h4><ul><li>No hay código duplicado</li><li>Si se quiere cambiar un recurso, no es necesario cambiar en todos los entornos. se hace solo una vez.</li></ul><h4>Invonvenientes de usar Workspaces</h4><ul><li>No es sencillo añadir o borrar recursos en cada entorno.</li><li>Los cambios en un entorno afecta a los otros entornos porque estamos usando los mismo ficheros con diferentes ficheros de variables.</li></ul><h3>Conclusión</h3><p>El uso de Terraform Workspace se hace imprescindible para el manejo de infraestructura para escenarios complejos. Ya que facilita la colaboración entre equipos y nos proporciona un ciclo de desarrollo más ordenado.</p><p>En las siguientes entradas veremos como ir dando pasos para crear una infraestructura 100% definida como código.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1d789238bf4f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Configurar Ansible AWX usando docker]]></title>
            <link>https://jhidalgo3.medium.com/configurar-ansible-awx-usando-docker-42e129dd5444?source=rss-bbf4ed04c50c------2</link>
            <guid isPermaLink="false">https://medium.com/p/42e129dd5444</guid>
            <category><![CDATA[docker-compose]]></category>
            <category><![CDATA[ansible]]></category>
            <category><![CDATA[ansible-playbook]]></category>
            <category><![CDATA[ansible-tower]]></category>
            <category><![CDATA[docker]]></category>
            <dc:creator><![CDATA[Jose Maria Hidalgo Garcia]]></dc:creator>
            <pubDate>Sat, 14 Nov 2020 12:03:13 GMT</pubDate>
            <atom:updated>2020-11-14T12:48:30.529Z</atom:updated>
            <content:encoded><![CDATA[<p>Con el creciente uso de la infraestructura como código se ha potenciado también software que permite gestionar el lanzamiento de estas automatizaciones usando una interfaz web.</p><p>Este es el caso de <strong>Red Hat® Ansible® Tower</strong> producto enterprise que podemos encontrar en muchos departamentos de IT.</p><p>Esta entrada pretende recoger las instrucciones para montar su versión Opensource llamada <strong>Ansible AWS</strong> (<a href="https://github.com/ansible/awx">https://github.com/ansible/awx</a>).</p><h3>Prerequisitos:</h3><p>Sistemas operativos testeados:</p><ul><li>Ubuntu 18.04 / 20.04</li><li>Centos 7</li><li>Redhat Linux 7</li></ul><p>Software testeado:</p><ul><li>Docker ≥ 18 ce / docker-compose</li><li>Python ≥ 3.6</li><li>Modulos Python :</li></ul><pre>pip install ansible<br>pip install docker-py<br>pip install docker-compose</pre><h3>Pasos a ejecutar:</h3><h4>Descargar el fuente</h4><p>Descargar el repositorio GIT y acceder al directorio installer:</p><pre>git clone https://github.com/ansible/awx.git<br>cd installer</pre><h4>Configurar las propiedades de instalación</h4><p>Dentro de este directorio se encuentra el fichero inventory donde se encuentran todas las propiedades de los contenedores que se usa en la instalación de Ansible AWX.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/737/1*3kKQjcvnJbg30eut1VRT7Q.png" /><figcaption>Propiedades de la instalación</figcaption></figure><p><strong>(*) pb_hostname</strong>: Si se necesita usar una base de datos externa simplemente descomentar esta entrada y actualizar las propiedades pg_* con los valores de la conexión.</p><h4>Ejecutar la instalación</h4><p>Una vez realizada la edición de las propiedades, y asegurando que estamos en el directorio installer ejecutar el playbook de Ansible:</p><pre>ansible-playbook -i inventory install.yml</pre><p>Una vez finalizado el playbook, en el directorio de la propiedad <strong>docker_compose_dir </strong>que su valor por es ~/.awx/awxcompose<strong> </strong>se pueden encontrar todos los ficheros de la instalación además del docker-compose.yml que es el que se debe usar para volver a arrancar el Ansible AWX en caso que se pare.</p><pre>SECRET_KEY<br>credentials.py<br>docker-compose.yml<br>environment.sh<br>nginx.conf<br>redis.conf</pre><p>Para comprobar que todos los contenedores arrancaron correctamente en el directorio ~/.awx/awxcompose ejecutar docker-compose ps</p><h3>Acceder a Ansible AWX</h3><p>Para poder acceder a la WEB UI de Ansible AWS en un navegador acceder a la dirección <a href="http://ip-server/"><strong>http://ip-server</strong></a><strong> que mostrará la pantalla de login:</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/612/1*fjadIzcMJ9SWU5OB1Zlefw.png" /><figcaption>Pantalla Login Ansible AWX</figcaption></figure><h3>Troubleshooting</h3><h4>Problema libreria Docker</h4><p>Error cuando trata de arrancar los contenedores docker, normalmente es por problemas con la librería de docker.</p><pre>TASK [local_docker : Start the containers] <br>  fatal: [localhost]: FAILED! =&gt; {&quot;changed&quot;: false, &quot;msg&quot;: &quot;Failed to import the required Python library (Docker SDK for Python: docker (Python &gt;= 2.7) or docker-py (Python 2.6)) on &lt;host&gt; Python /bin/python. Please read module documentation and install in the appropriate location, for example via `pip install docker` or `pip install docker-py` (Python 2.6). The error was: No module named docker&quot;}</pre><p><strong>FIX:</strong> Instalar solo la librería de docker necesaria</p><ul><li>Python ≥ 2.7: pip install docker</li><li>Python = 2.6: pip install docker-py</li></ul><h4>Colisión de puertos</h4><p>Asegurarse que los puertos definidos en el fichero de <strong>inventoy</strong> no está en uso en la máquina.</p><pre>Fatal: [localhost]: FAILED! =&gt; {&quot;changed&quot;: false, &quot;errors&quot;: [], &quot;module_stderr&quot;: &quot;Creating awx_postgres  ... \r\n\r\u001b[1BCreating awx_web       ... \r\n\r\u001b[1B&quot;, &quot;module&lt;br&gt;_stdout&quot;: &quot;&quot;, &quot;msg&quot;: &quot;Error starting project unknown cause&quot;}   &lt;br&gt;</pre><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=42e129dd5444" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>