<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Arnaldo Carlos Lucas on Medium]]></title>
        <description><![CDATA[Stories by Arnaldo Carlos Lucas on Medium]]></description>
        <link>https://medium.com/@arnaldo.lucas?source=rss-e4b9d6d775aa------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*Pu9dLCrShYNybRxI</url>
            <title>Stories by Arnaldo Carlos Lucas on Medium</title>
            <link>https://medium.com/@arnaldo.lucas?source=rss-e4b9d6d775aa------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 10:51:35 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@arnaldo.lucas/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Como usar o Apache-Airflow: Integrando com o S3 e Amazon Athena]]></title>
            <link>https://medium.com/team-data-stone/como-usar-o-apache-airflow-integrando-com-o-s3-e-amazon-athena-e096252921f3?source=rss-e4b9d6d775aa------2</link>
            <guid isPermaLink="false">https://medium.com/p/e096252921f3</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[airflow]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[s3]]></category>
            <dc:creator><![CDATA[Arnaldo Carlos Lucas]]></dc:creator>
            <pubDate>Wed, 19 May 2021 18:28:44 GMT</pubDate>
            <atom:updated>2021-05-19T18:28:44.832Z</atom:updated>
            <content:encoded><![CDATA[<h4>ENGENHARIA DE DADOS</h4><p><em>Realize suas operações diárias de forma automatizada, agendadas e de maneira simples.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*ANHd1pTNSyI5YWnz" /></figure><p>O <a href="http://airflow.apache.org/">Apache-Airflow</a> é um grande orquestrador, no qual permite programar e monitorar fluxos de trabalho, dos mais simples aos mais complexos, possuindo uma interface simples e intuitiva, tornando-o uma excelente ferramenta, com muitas integrações, inclusive com o Amazon Simple Storage Service (S3) e o Amazon Athena do AWS, ferramentas no qual utilizo neste tutorial. Um ponto importante é que neste tutorial é explicado o uso da ferramenta, para realizar sua instalação e ajustar o ambiente, recomendo visualizar na <a href="https://airflow.apache.org/docs/apache-airflow/stable/start/index.html">página oficial</a> deles.</p><h3>1. INTERFACE AIRFLOW</h3><p>A interface do Airflow é bastante simples e possui várias utilidades ótimas para monitorar os workflows (fluxos de trabalho), assim como iniciar e interromper processos e muitos outros recursos.</p><p>A porta de entrada do Airflow é a página das DAGs, onde estão listadas todas as DAGs alocadas na pasta fonte.</p><p>Olhando a imagem abaixo é indicado cada um dos 8 recursos que o Airflow possui na página principal:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*vT5SuI1wlG9EZCJA" /><figcaption><strong>Fonte:</strong> Apache Airflow</figcaption></figure><p>1 — <strong>Botão ON/OFF</strong>: Nele é possível pausar uma DAG, mesmo que ela esteja agendada para iniciar em uma data ou hora específica, se ela estiver como “off”, ela não será iniciada.</p><p>2 — <strong>DAG:</strong> A informação aqui indica o nome da DAG, onde explicarei mais a frente como defini-la durante a criação do arquivo.</p><p>3 — <strong>Schedule:</strong> Nele é possível verificar o “Schedule” (cronograma) daquela DAG, ou seja, o agendamento para iniciar ou um cronograma para sempre rodar em uma data ou hora específica. A informação que aparece no Schedule está no formato CRON, onde pode ser verificado neste <a href="https://crontab.guru/">site</a> os seus horários e dias.</p><p>4 — <strong>Owner:</strong> Indica o nome do proprietário da DAG apresentada, também irei mostrar mais a frente como defini-lo.</p><p>5 — <strong>Recent Tasks:</strong> Tarefas recentes possuem a atualização do processo em tempo real, com múltiplas possibilidades descritas à seguir:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/294/0*VeVkINhFaemRkc07" /><figcaption><strong>Fonte:</strong> Apache Airflow</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*NuxYsiv5DqgpXYKO" /><figcaption><strong>Fonte:</strong> Apache Airflow</figcaption></figure><p><strong>a — success:</strong> Tarefa finalizada.</p><p><strong>b — running: </strong>O worker pegou uma tarefa e está executando-a.</p><p><strong>c — failed:</strong> A tarefa falhou.</p><p><strong>d — upstream_failed:</strong> Indica que alguma tarefa ou tarefas anteriores falharam.</p><p><strong>e — skipped:</strong> Tarefa ignorada.</p><p><strong>f — up_for_retry: </strong>Tentando executar novamente.</p><p><strong>g — up_for_reschedule:</strong> Ele “libera” o slot do worker, re-agendando a tarefa, sem bloquear o slot do worker em casos onde todos os slots estão em uso.</p><p><strong>h — queued:</strong> O scheduler enviou uma tarefa para o executor para adicioná-la na fila.</p><p><strong>i — no_status:</strong> O scheduler criou uma instância de tarefa vazia.</p><p><strong>j — scheduled:</strong> O scheduler determinou que uma instância de tarefa precisa ser executada.</p><p>6 — <strong>Last Run:</strong> Indica o dia/hora da última execução da DAG.</p><p>7 — <strong>DAG Runs:</strong> Status de todas as execuções anteriores da DAG. Pode possuir 3 status: success, running e failed.</p><p>8 — <strong>Links:</strong> Links de redirecionamento para outros recursos.</p><p>Ao clicar em uma DAG como por exemplo a “arnaldo_dag” , pode-se coletar várias informações, executar processos e até excluir a mesma caso necessário.</p><p>A visualização do “Tree View” mostra como a workflow está configurado. Nesse exemplo, a DAG possui duas etapas: A criação de uma tabela seguida da inserção de dados na mesma. Ao lado direito, é possível verificar o status de cada tarefa, nesse caso, todas estão concluídas com sucesso (verde escuro). Em cima é possível verificar a data e hora que aconteceu sua última execução e o número total de execuções dessa DAG.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*raJl046aAeRTNEgo" /><figcaption><strong>Fonte:</strong> Apache Airflow</figcaption></figure><p>A opção do “Graph View” permite visualizar as tarefas em forma de grafos, melhorando a visualização do workflow, além de mostrar o status atual de cada tarefa, seja durante a execução ou após a mesma.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*4_BMNM0muA6spg3h" /><figcaption><strong>Fonte:</strong> Apache Airflow</figcaption></figure><p>Nessas duas opções é possível ver os botões “Trigger DAG”, “Refresh”, “Delete” e “Code” na parte superior direita. Eles servem para:</p><p><strong>Trigger DAG</strong>: Executar manualmente o workflow, iniciar sem depender de agendamentos.</p><p><strong>Refresh</strong>: Atualiza o workflow para verificar seus status durante uma execução. O botão</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/56/0*wrq-6FrDta9Frzya" /></figure><p>dentro da área do grafo na opção “Graph View” também possui a mesma função.</p><p><strong>Delete</strong>: Deletar uma DAG.</p><p><strong>Code</strong>: Serve para visualizar o código principal da DAG no próprio Airflow. Qualquer atualização feita no código da DAG localizado dentro da pasta “dags” no seu projeto, deverá ser atualizado automaticamente aqui após salvá-lo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*HnXzSQCmJemYbUoY" /><figcaption><strong>Fonte:</strong> Apache Airflow</figcaption></figure><h3>2. ARQUIVO DA DAG</h3><p>Na DAG à seguir, será apresentado as etapas para a construção de um workflow simples, onde uma tarefa irá criar uma tabela (chaves_clientes) dentro de um database (database_exemplo) e outra tarefa para inserir dados nela referentes de outra tabela (tabela_fonte) que já se encontra no Athena (AWS).</p><p>Todas as informações sobre cada linha estarão como comentários dentro do código à seguir:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/2d1e022bc9c84b6c6ea9df523ce5d9a3/href">https://medium.com/media/2d1e022bc9c84b6c6ea9df523ce5d9a3/href</a></iframe><h3>3. EXECUTANDO A DAG</h3><p>Inicialmente, o arquivo está localizado dentro de uma pasta que foi configurada durante a instalação para simular o Airflow localmente.</p><p>Uma observação interessante é que caso não exista a pasta de saída para os arquivos que serão gerados durante as tarefas no parâmetro <em>output_location</em> dentro das DAGs, ela será criada durante a execução. Nas imagens à seguir é visto que ainda não existe a pasta <em>chaves_clientes</em> dentro do <em>bucket </em>(pastas dentro do S3):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*mDvoVrjhDn9p4MS0" /><figcaption><strong>Fonte:</strong> AWS</figcaption></figure><p>A tabela <em>chaves_clientes</em> não existe ainda no Athena dentro do AWS. Após a criação da DAG na pasta correta do seu projeto local, é possível visualizá-la igual nessa imagem:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*NLEn7yOU48x07yP3" /><figcaption><strong>Fonte:</strong> Apache Airflow</figcaption></figure><p>Nessa etapa, você deve “ligar” sua DAG no botão que está ao lado esquerdo do nome da DAG marcado como “Off”. Em nosso exemplo, temos uma data especificada no parâmetro <em>start_date</em> porém é uma data antiga e consequentemente a DAG nunca seria iniciada sozinha. Mas para isso, o botão “Trigger DAG” serve para executar manualmente a nossa DAG. Antes de executar, é legal ter a visão proporcionada no ”Graph View” onde é possível ver todas as atualizações de acordo com o avanço das tarefas ou suas falhas. Como ainda não foi iniciada, o contorno das tarefas estão na cor branca (sem status).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*v3PdSeLBnFd7nWOJ" /><figcaption><strong>Fonte:</strong> Apache Airflow</figcaption></figure><p>Assim que a DAG for ligada e executada através do Trigger DAG, as cores vão alterando para verde claro (em andamento) e verde escuro (concluído com sucesso):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*y0tAHpgHrIuZHgWA" /><figcaption><strong>Fonte:</strong> Apache Airflow</figcaption></figure><p>Após a conclusão da última tarefa, pode-se observar no S3 que a pasta chave_clientes foi criada dentro do bucket de datalake:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1016/0*rxy5ONB7QBoFyjP7" /><figcaption><strong>Fonte:</strong> AWS</figcaption></figure><p>E agora também é possível visualizar a nova tabela dentro do database database_exemplo no Athena e realizar qualquer consulta. Observe que os nomes das colunas foram definidas na tarefa de criação da tabela (os dados foram ocultados parcialmente para não divulgar dados internos).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/675/0*Ltdv-3QyMNrjmNNO" /><figcaption><strong>Fonte:</strong> AWS</figcaption></figure><h3>4. FALHAS NA DAG?</h3><p>Para verificar falhas nas tarefas, basta clicar na tarefa com o erro para retornar essa tela e clicar em “View Log” para melhor entendimento da falha:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*zQ-s_MK3_hAwCPoH" /><figcaption><strong>Fonte:</strong> Apache Airflow</figcaption></figure><p>Nessa mesma tela é possível também reiniciar apenas a tarefa em questão, pois em uma DAG onde existem mais de 20 tarefas, seja mais interessante executar apenas aquela com o erro e não todas anteriormente supondo que ela seja a de número 18 na fila, custando tempo desnecessário de execução. Para isso, primeiro corrija o erro no código, e depois clique em “Clear” para deixar apenas ela sem status e depois apenas atualize para iniciá-la novamente. Se não executar sozinha, basta clicar em “Run” para iniciar.</p><p>Não percam os próximos artigos. 😉</p><p>Pra fechar com chave de ouro, é com muito orgulho que trago vagas para o nosso time de dados de crédito da Stone 💚.</p><p><a href="https://www.linkedin.com/jobs/view/2437945614/?eBP=CwEAAAF5hdOIlttT41Z-E7svyjXUCvX9oGED9qzoV9bGEKOnsVhsKn0KnwJb9r9o3tfDJKbLSTt98LZttRaSQR5iFcs5okp-0Cs9wvH25etx9DzyzF2bnVQINtgY4tCMqFqd-XLNJBNwIsXfxdeJ2LnA8aM8Y81_3SeZ75VsMzRKDnH3l5gU0T8hxHlK2xIycT6c-LLzziS_Vk4TVLQA4Ocxj4gEqN_JGI13qRocJq-cAIkh9bMCx2vtY8O6QDFFIX34gDeztJFizn9u3MQOZGkHbg3o3V3HE0k5dGNyCSHEmR-YZozc6aUGJwAZn_VFGTtMfByIR3ssteXtV1zdGMKNl2pWxE4gpiC_5CF1zcJy845-HaHLq0ADiLbKR5kT&amp;recommendedFlavor=IN_NETWORK&amp;refId=2YO9pJPH3JoHrf8O8b8nGQ%3D%3D&amp;trackingId=ZGwwK%2FfabQyQQVBgsF14aA%3D%3D&amp;trk=flagship3_search_srp_jobs">Machine Learning Engineer</a></p><p><a href="https://www.linkedin.com/jobs/view/2542166290/?eBP=CwEAAAF5hdPzRDeE48bg_xs4EjolXuZhrFQg6vrJKcHd6YEzvvIp91MGT2VAfsqyLhYNxKlNgqH3q81tUXHsik3PzovjhDHc-qvQ_1DWI088u7PhV3TkyGPEHdKB1EjilezrTHk7ydTgOn83rEkHx8Bq5Lo5Dq4kPpmHVzjX02mJ7B0B7K8T4pKqTQSSnf4pLypF_dIlxs9N934UPCxXMRjdBrV7HYp_XwbYyxFSoFbQQAa8lgYsxduE1lcaX8EYRdiCkiLJndUXbVvxAy9-fHmpxP1pn-OAtFOi9ciox4AC0Jdk_iJ1RYwX3MaEvajkmojjejLURnHHE0Fc_Wle7L1DhtCsy7u9MY-rJSNUuK1elWD-Iippl1yNla1zaGcQfsU&amp;recommendedFlavor=IN_NETWORK&amp;refId=TGxgjvtn8BcS1XYjYvpBhw%3D%3D&amp;trackingId=hF4LegBGiSZw4D5zICYXNg%3D%3D&amp;trk=flagship3_search_srp_jobs">Analista Business Intelligence Sênior</a></p><p><a href="https://www.linkedin.com/jobs/view/2485125034/?eBP=CwEAAAF5hdPzRJGhDuO8q4CjPc_D3FpG0urDnCsCfxNU2FZr6TBU022lCi3PPf7pe562gcweA3v4scALsVZmo6iKqgxSbfJC3XU0HEt4IlKAsO2V2tYN5gora38DWY7db92FvhruZTzGSCi1H7jtz2Rmahpr9c9114-sb4T8WZb764n8qLqVCE3KImnOcyYjxgKOqvFUnTAlcI4HoeiDjVLB3nqKSMIc0XSeDWOO-EHCjTcVPnLYhKGZvVTTIWYd2hnpBsvjzi4rlYJhltQDIFarAEzjfNVPJCkdHYzpht7Y6ktRLm74_CKJoyItjfj0p1AAV1xBfC0qzK6pVoXYgU7S2vJzaJwbertI-SxEM7Wf8qy0teDAPkC_MwQQg6WE&amp;recommendedFlavor=IN_NETWORK&amp;refId=TGxgjvtn8BcS1XYjYvpBhw%3D%3D&amp;trackingId=6X2YNVZWiFAh9x2gwnhh1g%3D%3D&amp;trk=flagship3_search_srp_jobs">Data Analytics</a></p><p>Se você curtiu o Airflow, inscreva-se e vem pintar o mundo de verde com a gente.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e096252921f3" width="1" height="1" alt=""><hr><p><a href="https://medium.com/team-data-stone/como-usar-o-apache-airflow-integrando-com-o-s3-e-amazon-athena-e096252921f3">Como usar o Apache-Airflow: Integrando com o S3 e Amazon Athena</a> was originally published in <a href="https://medium.com/team-data-stone">Data Team Stone</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>