<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Fabricio Zambom Galvani on Medium]]></title>
        <description><![CDATA[Stories by Fabricio Zambom Galvani on Medium]]></description>
        <link>https://medium.com/@fabriciozambomgalvani?source=rss-1526946a669b------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*9KkIuRKOaIAROBLXm6uYtg.jpeg</url>
            <title>Stories by Fabricio Zambom Galvani on Medium</title>
            <link>https://medium.com/@fabriciozambomgalvani?source=rss-1526946a669b------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 18:42:55 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@fabriciozambomgalvani/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Introdução ao Apache Airflow — Parte 01]]></title>
            <link>https://fabriciozambomgalvani.medium.com/introdu%C3%A7%C3%A3o-ao-apache-airflow-parte-01-5cd1dee3a0d?source=rss-1526946a669b------2</link>
            <guid isPermaLink="false">https://medium.com/p/5cd1dee3a0d</guid>
            <category><![CDATA[apache-airflow]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[engenharia-de-dados]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[big-data]]></category>
            <dc:creator><![CDATA[Fabricio Zambom Galvani]]></dc:creator>
            <pubDate>Thu, 29 Apr 2021 21:02:13 GMT</pubDate>
            <atom:updated>2021-05-10T13:38:22.385Z</atom:updated>
            <content:encoded><![CDATA[<h3>Introdução ao Apache Airflow — Parte 01</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HFfZYRvnquQj7uNqi2ECig.png" /></figure><p>Com a crescente digitalização, cada vez mais o mundo vem gerando quantidades massivas de dados. Em nosso ritmo atual, existem aproximadamente 2,5 quintilhões de bytes de dados sendo criados todos os dias — um número que continua a crescer em um ritmo acelerado. Em 2025, estima-se que 463 exabytes de dados serão criados a cada dia em todo o mundo — isso é o equivalente a 212.765.957 DVDs por dia!</p><p>Para tirar proveito de todos esses dados, precisamos, por exemplo, criar fluxos de trabalho para que possamos extrair esses dados de diversas fontes, aplicar, se necessário, algumas transformações e armazenar esses dados em um local próprio, comumente Data Lakes e Data Warehouses.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FX8pL502CH4LHoDi4fpPOQ.jpeg" /><figcaption>&lt;a href=”<a href="https://www.freepik.com/vectors/people">https://www.freepik.com/vectors/people</a>&quot;&gt;People vector created by stories — <a href="http://www.freepik.com/">www.freepik.com</a>&lt;/a&gt;</figcaption></figure><p>Visando ser uma plataforma para desenvolver e gerenciar fluxos de trabalho, que o Apache Airflow surgiu. Bastante popular hoje para orquestrar pipelines de Big Data e Machine Learning. Ele foi originalmente desenvolvido em 2014 por engenheiros do Airbnb, ele surgiu como uma solução para gerenciar os fluxos de trabalho cada vez mais complexos resultantes do crescimento acelerado do Airbnb. Ele já nasceu com o propósito de ser um projeto open-source, o que o fez ganhar bastante adesão pela comunidade. No início de 2019, a Apache Software Foundation anunciou o Apache Airflow como um projeto de nível superior o que o fez ganhar ainda mais fama.</p><p>Ele nos possibilita desenvolver fluxos de trabalho como um script Python, que descreve toda a estrutura de nosso fluxo de trabalho, chamados no Airflow de Dags.</p><p>O benefício de desenvolvermos fluxos de trabalho como código é a flexibilidade que ganhamos, podendo criar estruturas que se adaptem da melhor maneira a nossa necessidade de negócio, sem ficarmos presos a recursos de ferramentas proprietárias. Além disso, temos ainda a possibilidade de termos um controle de versão -uma vez que podemos versionar nosso código no Git, desenvolver testes para nosso pipeline e termos colaboração entre os times de desenvolvimento, além de inúmeras outras vantagens.</p><p>O Airflow também conta com uma UI amigável, onde podemos visualizar informações úteis sobre nossas Dags, como seus agendamentos, status de execução etc.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*thtmaa-5Ak5w9zaFLRlAZw.png" /><figcaption>UI do Airflow 2.0</figcaption></figure><p>Vale alertar que o Airflow é uma ferramenta para orquestrar processos em batch, onde transações são coletadas e processadas durante um período de tempo. Se você busca uma ferramenta para orquestrar processos real-time, onde envolve entrada, processo e saída contínua de dados, o Airflow não é recomendado.</p><p><strong>Principais Componentes de um fluxo de trabalho do Apache Airflow</strong></p><p><strong>Dags</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/561/1*s42teod2BIq3UqkFtNHKkg.png" /></figure><p>Uma Dag é um conjunto de tarefas que compõem seu fluxo de trabalho. Consiste na união de todas as etapas para realizar uma determinada tarefa. Isso pode incluir qualquer tarefa, como copiar dados de um sistema para outro, treinar modelos de Machine Learning etc.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pnOSN_X-nKmwTNS1kVBXZg.png" /><figcaption>Exemplo da implementação de uma DAG.</figcaption></figure><p>Uma dag é organizada de maneira a refletir os relacionamentos e dependências entre as tasks, ela é definida de maneira acíclica, representando um grafo acíclico dirigido, (em inglês: directed acyclic graph, ou simplesmente um dag ou DAG), de forma que uma task nunca se repete durante a execução, não há ciclos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*yu2og4jby7B9Bxhf0Gy-GA.png" /><figcaption>DAG (src: <a href="https://en.wikipedia.org/wiki/Directed_acyclic_graph">Wikipedia</a> )</figcaption></figure><p>Esta propriedade acíclica é extremamente importante, pois nos impede de encontrar dependências circulares entre as tarefas (onde a tarefa A depende da tarefa B e vice-versa). O que pode gerar grandes problemas como um Deadlock, onde ocorre um impasse, e dois ou mais processos ficam impedidos de continuar suas execuções — ou seja, ficam bloqueados, esperando uns pelos outros.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/744/1*i7rLy1Za-gZ_rtmtZXEu6Q.png" /><figcaption>Deadlock</figcaption></figure><p><strong>Tasks</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/854/1*gH1Xeu_bMtAK2saykRQIYQ.png" /><figcaption>Cada nó representa uma task.</figcaption></figure><p>Tasks são unidades de trabalho dentro de uma dag, de forma a executar uma função dentro da Dag.</p><p>Cada nó em um DAG é uma task.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/958/1*QvmzefvNI8x1upBZ40w_2A.png" /><figcaption>Exemplo da implementação de uma task no Airflow.</figcaption></figure><p>Cada Task é a implementação de um operator. O Airflow disponibiliza vários operators, além de permitir o desenvolvimento de seus próprios operators customizados.</p><p><strong>Operators</strong></p><p>Operators são nada mais do que classes que encapsulam a lógica por detrás das tasks.</p><p>Cada operator vai executar uma operação. Como o PythonOperator, que executa uma função Python, o BashOperator, que executa um comando bash etc.</p><h4>Resumo</h4><p>Dags são nossos fluxos de trabalho enquanto as tasks são cada etapa individual e os operadores são as ações que vão ser executadas.</p><p><strong>Arquitetura do Apache Airflow</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Z5DvAwhbkdJZzBN3duNLjw.png" /><figcaption><a href="https://airflow.apache.org/docs/apache-airflow/stable/concepts.html">https://airflow.apache.org/docs/apache-airflow/stable/concepts.html</a></figcaption></figure><p>Podemos resumir a arquitetura do Airflow nos seguintes componentes:</p><ul><li>Scheduler</li></ul><p>O scheduler se encarrega de analisar a pasta de Dags, monitorando o aparecimento de novas Dags ou alterações nas existentes. Ele se encarrega de de todo e qualquer agendamento dentro do Airflow.</p><p>O Scheduler é o coração do Airflow, que determina quando e como os pipelines são executados.</p><ul><li>Workers</li></ul><p>Os workers são a parte computacional do Airflow, que vão executar as tasks que estão na fila para a execução. Os workers são responsáveis por realmente “fazer o trabalho”.</p><ul><li>Web Server</li></ul><p>Fornece a interface principal para que os usuários monitorem as execuções das DAGs e interajam de maneira visual com o Airflow.</p><ul><li>Metadata DB</li></ul><p>Aqui ficam salvo os metadados do Airflow, por exemplo, conexões e login de usuários.</p><p>O Airflow também necessita de um serviço de banco de dados relacional para salvar os estados de execução dos seus serviços, como o scheduler, workers etc.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5cd1dee3a0d" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>