<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Marcus Andrade on Medium]]></title>
        <description><![CDATA[Stories by Marcus Andrade on Medium]]></description>
        <link>https://medium.com/@madrade1472?source=rss-a7ca5b8dbc38------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*AxaMCB65MiEuf1Dx</url>
            <title>Stories by Marcus Andrade on Medium</title>
            <link>https://medium.com/@madrade1472?source=rss-a7ca5b8dbc38------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 22:53:10 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@madrade1472/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[O SRE num Ambiente de Dados Governado]]></title>
            <link>https://medium.com/@madrade1472/o-sre-num-ambiente-de-dados-governado-c7cc06ab807d?source=rss-a7ca5b8dbc38------2</link>
            <guid isPermaLink="false">https://medium.com/p/c7cc06ab807d</guid>
            <category><![CDATA[data-observability]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[sre]]></category>
            <category><![CDATA[devops]]></category>
            <category><![CDATA[data-governance]]></category>
            <dc:creator><![CDATA[Marcus Andrade]]></dc:creator>
            <pubDate>Tue, 28 Jul 2026 03:31:23 GMT</pubDate>
            <atom:updated>2026-07-28T12:59:36.893Z</atom:updated>
            <content:encoded><![CDATA[<h3>Por que quase tudo que chamam de “SRE de dados” é teatro, e o que separa a disciplina real da encenação</h3><blockquote><strong><em>Tese.</em></strong><em> SRE não foi inventado para dados. Foi inventado para sistemas online, sem estado, sensíveis a latência e disponibilidade. Dado é o oposto: com estado, caro de reprocessar, sensível a </em><strong><em>correção</em></strong><em>, e, quando falha, falha em </em><strong><em>silêncio</em></strong><em>. Importar SRE para dados sem redesenhá-lo produz duas encenações simultâneas: </em>SRE-washing<em> (plantão rebatizado, sem error budget) e </em>governance theater<em> (catálogo morto, comitê, linhagem decorativa). A síntese que funciona trata </em><strong><em>governança não como um portão que briga com a confiabilidade, mas como a principal fonte de SLI</em></strong><em> que a confiabilidade consome. Este texto é sobre essa síntese, e sobre por que a maioria das organizações, no Brasil e fora dele, ainda não a alcançou.</em></blockquote><h3>O mal-entendido fundador</h3><p>O SRE nasceu no Google para operar sistemas de <strong>request/response</strong>. Todo o arcabouço original, os <em>golden signals</em> (latência, tráfego, erros, saturação), o error budget, a caça ao <em>toil</em>, o SLO como contrato entre produto e operação, pressupõe uma unidade de trabalho efêmera (a requisição), um estado pequeno e reconstruível, e um modo de falha <strong>ruidoso</strong>: quando um serviço cai, o gráfico despenca e alguém é paginado em segundos.</p><p>Plataformas de dados violam <strong>todas</strong> essas premissas de uma vez:</p><p>Premissa do SRE clássico Realidade da plataforma de dados Unidade = requisição efêmera Unidade = <em>dataset</em> / partição / <em>event-time window</em> com estado Falha é ruidosa (5xx, timeout) Falha é <strong>silenciosa</strong> (pipeline verde, dado errado) Métrica-rainha = disponibilidade/latência Métrica-rainha = <strong>correção</strong> e freshness Recuperação = reiniciar, autoscaling Recuperação = <strong>backfill/reprocessamento</strong> (caro, demorado, com efeito colateral) Tempo é irrelevante para a semântica Tempo é dimensão de 1ª classe (<em>event time</em> ≠ <em>processing time</em>, dado atrasado) MTTR domina <strong>MTTD domina</strong>: o incidente já existe há dias quando é detectado</p><p>O sintoma canônico da confusão é o <strong>dashboard verde de 99,9% de disponibilidade</strong> exibido ao lado de um número que está silenciosamente errado há três dias, porque a <em>fonte</em> parou de enviar um evento e ninguém tinha um SLI sobre o <strong>artefato de saída</strong>, apenas sobre o <strong>job</strong> que o produziu. Job verde, dado podre. Esse é o pecado original, e ele reaparece disfarçado em cada seção deste artigo.</p><h3>1. O que “governado” realmente impõe (e por que ele briga com você)</h3><p>Governança de dados não é um adjetivo decorativo. É um conjunto de restrições <strong>duras</strong> que a plataforma precisa satisfazer o tempo todo:</p><ul><li><strong>Catálogo &amp; metadados</strong>: descoberta, propriedade (<em>ownership</em>), semântica.</li><li><strong>Linhagem coluna-a-coluna</strong>: de onde veio, o que quebra a jusante.</li><li><strong>Contratos de dados &amp; schema registry</strong>: a especificação executável do que um produtor promete.</li><li><strong>Política como código</strong>: quem lê o quê, mascaramento, tokenização, <em>row/column-level ACL</em>.</li><li><strong>PII, LGPD/GDPR, retenção, soberania</strong>: restrições legais que a arquitetura, não o time jurídico, precisa impor.</li><li><strong>Auditabilidade</strong>: provar, depois do fato, quem acessou e como o dado foi produzido.</li></ul><p>O ponto <strong>crítico</strong> (o que quase ninguém admite em voz alta) é que governança, na prática da maioria das empresas, é implementada como <strong>portões</strong>: aprovações, revisões manuais, <em>tickets</em>, comitês. E portão manual é a <strong>antítese</strong> do SRE, cuja doutrina inteira gira em torno de automação, velocidade e error budget. Aqui mora a tensão política central da disciplina:</p><blockquote><strong><em>Governança quer controle. SRE quer velocidade. A organização imatura escolhe um e sacrifica o outro. A madura descobre que a escolha é falsa.</em></strong></blockquote><p>Quando a governança é encenação (catálogo que ninguém confia, linhagem que existe só no slide, contrato que não é verificado em CI, comitê que carimba) você tem o pior dos mundos: a <strong>fricção</strong> do controle sem a <strong>garantia</strong> do controle. É <em>governance theater</em>: parece governado, custa como se fosse governado, e não protege ninguém.</p><h3>2. SLOs de dados: por que a maioria é fraude</h3><p>A pergunta que expõe a maturidade de um time em 10 segundos: <strong>“seu SLO mede o job ou o dado?”</strong></p><p>Se a resposta é “o pipeline do Airflow rodou com sucesso”, o time não tem SLO de dados, tem SLO de <em>orquestração</em>, um <em>proxy</em> que mente. Um dbt run bem-sucedido produzindo uma agregação errada por conta de um JOIN que fanou é, do ponto de vista do orquestrador, um <strong>triunfo verde</strong>.</p><p>SLI de dados de verdade é medido no <strong>artefato de saída</strong>, na fronteira do consumidor, ao longo de pelo menos cinco eixos:</p><ul><li>freshness<strong> (freshness)</strong>: P(idade_do_dado &lt; X). Baseado em <em>event time</em>, não em quando o job terminou.</li><li><strong>Completude (completeness)</strong>: volume/contagem vs. expectativa; taxa de nulos; partições faltantes.</li><li><strong>Correção / validade (correctness)</strong>: conformidade ao contrato, invariantes de negócio, reconciliação contra a fonte.</li><li><strong>Consistência cross-dataset</strong>: integridade referencial, reconciliação de agregados (o <em>mart</em> bate com o razão?).</li><li><strong>Disponibilidade do serving</strong>: sucesso e latência de <em>query</em> no <em>warehouse</em>/semantic layer.</li></ul><p>Um SLO de freshness <strong>de verdade</strong> se parece com isto:</p><pre># slo/gold.faturamento.freshness.yaml<br>slo:<br>  dataset: gold.faturamento_diario<br>  sli: freshness<br>  # idade = agora - max(event_time) materializado no artefato de saída<br>  objective: 0.99          # 99% dos ciclos<br>  window: 30d<br>  threshold: 4h            # dado mais velho que 4h = ciclo &quot;ruim&quot;<br>  measured_at: consumer_boundary   # NÃO no fim do job, na borda de consumo<br>  owner: squad-financeiro-dados<br>  consumers: [powerbi.diretoria, feature_store.churn]</pre><p>E o alerta de queima segue <strong>multi-window / multi-burn-rate</strong>, a técnica canônica de SRE, mas <strong>traduzida para a cadência de batch</strong>. Em serviços, as janelas são de minutos e horas; em dados, o error budget é medido em <strong>ciclos de batch</strong>, e a “queima rápida” é medida em ciclos consecutivos ruins, não em segundos:</p><pre># Error budget: 1% de 30d. Com batch horário ≈ 720 ciclos/mês.<br># Orçamento ≈ 7 ciclos &quot;ruins&quot; por janela de 30 dias.</pre><pre>alerta_pagina  = burn_rapido:  2 ciclos ruins em 3  (queima ~10x)  -&gt; SEV2, on-call agora<br>alerta_ticket  = burn_lento:   erro sustentado em janela de 6h     -&gt; SEV3, no horário comercial</pre><p>A moral: <strong>um SLO copiado de serviço (“99,9% de disponibilidade”) aplicado a um dataset é <em>cargo cult</em></strong>. Disponibilidade quase nunca é o gargalo de confiabilidade em dados; freshness<strong> e correção são</strong>. Quem define “99,9% de uptime” para uma tabela e acha que fez SRE está encenando.</p><h3>3. Error budget num mundo com estado: a taxa de reprocessamento</h3><p>Em serviços, queimar error budget é abstrato: você “gasta” indisponibilidade permitida. Em dados, o error budget tem <strong>moeda física</strong>: <strong>backfill</strong>.</p><p>Quando um incidente de correção acontece, a remediação não é “reiniciar o pod”. É:</p><ol><li><strong>Quarentenar</strong> o artefato corrompido (impedir que consumidores a jusante o leiam).</li><li><strong>Corrigir</strong> a causa (código, contrato, fonte).</li><li><strong>Reprocessar</strong> a janela afetada, que pode ser dias ou meses de partições.</li></ol><p>Reprocessamento é caro em <strong>compute</strong> e em <strong>tempo</strong>, e frequentemente tem <strong>efeito colateral</strong> (reordena eventos, re-dispara <em>reverse ETL</em>, invalida <em>features</em> de um modelo já em produção). Isso introduz uma dimensão que o SRE-para-serviços simplesmente não tem: <strong>confiabilidade de dados é inseparável de FinOps</strong>.</p><blockquote><em>Todo incidente de correção é uma </em><strong><em>fatura</em></strong><em>. “Correção sem custo” é fantasia. Se o seu modelo operacional não conta o custo de backfill como parte do error budget, você não está medindo confiabilidade, está medindo virtude.</em></blockquote><p>A <strong>política de error budget</strong> vira o árbitro real entre governança e entrega: <strong>budget esgotado → <em>freeze</em> de release</strong> nas transformações que alimentam aquele dataset até o postmortem fechar e o contrato ser corrigido. Repare que o <em>freeze</em> é um <strong>portão</strong>, mas um portão <strong>automático, disparado por métrica</strong>, não um comitê. É aqui que governança e SRE param de ser inimigos.</p><h3>4. Observabilidade de dados ≠ observabilidade de infraestrutura</h3><p>Os três pilares clássicos (<em>metrics, logs, traces</em>) dizem se o <strong>sistema</strong> está saudável. Não dizem nada sobre se o <strong>dado</strong> está certo. A observabilidade de dados tem os seus próprios cinco pilares (framing popularizado pelos fornecedores de <em>data observability</em>, mas a substância é anterior a eles):</p><p>freshness<strong> · volume · schema · distribuição · linhagem.</strong></p><p>Dois avisos críticos, porque este é o mercado mais cheio de vendedores de tônico:</p><ol><li><strong>Detecção de anomalia por ML ≠ contrato.</strong> Ferramentas que “aprendem o normal” e disparam quando o volume oscila produzem <strong>fadiga de alerta</strong> em escala industrial e nenhuma garantia. Anomalia estatística responde “isto está estranho?”; contrato responde “isto está <strong>errado</strong>?”. A segunda pergunta é a que importa, e ela é <strong>determinística</strong>, não probabilística. Observabilidade sem contrato é um detector de fumaça que apita quando você faz torrada.</li><li><strong>A telemetria de dados ainda é imatura como padrão.</strong> OpenTelemetry resolveu a telemetria de sistemas; o equivalente para dados (<strong>OpenLineage</strong> para linhagem/eventos de execução) está emergindo, mas as convenções semânticas ainda são um campo de batalha. A consequência prática em ambiente multi-cloud é entropia: três <em>stacks</em> de observabilidade (uma por nuvem), <strong>nenhum SLO comparável</strong> entre elas. Unificar telemetria (emitir <em>lineage events</em> e SLIs de dados no mesmo <em>backend</em> que já coleta Prometheus/Grafana) é trabalho de plataforma, não de compra.</li></ol><h3>5. Incidentes de dados: a patologia do silêncio</h3><p>O incidente de dados tem uma epidemiologia própria, e ela é perversa:</p><ul><li><strong>MTTD &gt;&gt; MTTR.</strong> O tempo dominante não é consertar, é <strong>descobrir</strong>. O dado esteve errado por dias antes de alguém notar, geralmente porque um executivo bateu o olho num número impossível. Toda a engenharia de confiabilidade de dados é, no fundo, uma guerra contra o <strong>MTTD</strong>.</li><li><strong>Raio de dano via linhagem.</strong> Uma coluna corrompida a montante não quebra um serviço: ela <strong>envenena</strong> N <em>marts</em>, M <em>features</em> e aquele dashboard que o CFO viu. Sem linhagem coluna-a-coluna, você não sabe o raio do dano e não consegue quarentenar cirurgicamente. Linhagem deixa de ser enfeite de governança e vira <strong>ferramenta de resposta a incidente</strong>.</li><li><strong>Postmortem blameless, mas o “artefato” é o dado.</strong> O postmortem de dados difere: o objeto do incidente é o <strong>dataset corrompido</strong>; a remediação inclui <strong>quarentena + backfill + emenda de contrato</strong>. Um postmortem que não termina com uma <strong>cláusula de contrato nova</strong> (ou um teste de qualidade novo em CI) não fechou, ele só narrou.</li><li><strong>Plantão de dados é diferente.</strong> Paginar alguém às 3h por um batch horário que atrasou 20 minutos é ruído. O plantão de dados precisa ser desenhado para a <strong>cadência</strong> e para a <strong>acionabilidade</strong>: paga-se quando um SLO de freshness de um dataset <em>tier-1</em> de consumidor viola, com <em>runbook</em> que diz exatamente o que quarentenar. O resto é <em>ticket</em> no horário comercial.</li></ul><h3>6. A síntese: governança como fonte de SLI, não como portão</h3><p>Aqui está o argumento central, resolvido. A parede mestra que sustenta a síntese é o <strong>contrato de dados</strong>. O contrato é, ao mesmo tempo:</p><ul><li>um <strong>artefato de governança</strong>: schema, semântica, <em>ownership</em>, <em>tags</em> de PII, SLA;</li><li>e a <strong>especificação verificável por máquina</strong> contra a qual o SRE monitora.</li></ul><p>É a mesma coisa vista de dois ângulos. Quando você percebe isso, a falsa escolha entre controle e velocidade evapora.</p><pre># contracts/gold.faturamento_diario.yaml<br>apiVersion: datacontract/v1<br>dataset: gold.faturamento_diario<br>owner: squad-financeiro-dados          # governança: propriedade<br>domain: financeiro                     # governança: mesh<br>schema:<br>  - name: cliente_id<br>    type: string<br>    pii: true                          # governança: dispara mascaramento via policy-as-code<br>    nullable: false                    # SRE: vira quality gate<br>  - name: valor_liquido<br>    type: decimal(18,2)<br>    nullable: false<br>    invariants: [&quot;valor_liquido &gt;= 0&quot;] # SRE: invariante de negócio, checada em CI e em prod<br>  - name: event_ts<br>    type: timestamp<br>    role: event_time                   # SRE: base do SLI de freshness<br>slo:                                   # o mesmo objeto serve governança E confiabilidade<br>  freshness: { objective: 0.99, threshold: 4h, window: 30d }<br>  completeness: { objective: 0.995, min_rows_per_cycle: 10000 }<br>  correctness: { reconcile_against: source.erp.faturas, tolerance: 0.001 }<br>classification: confidential           # governança: soberania/retenção<br>consumers: [powerbi.diretoria, feature_store.churn]  # SRE: raio de dano conhecido a priori</pre><p>Dois movimentos completam a síntese:</p><ul><li><strong>Shift-left: o <em>quality gate</em> vira automação, não aprovação.</strong> Os testes de contrato rodam em <strong>CI</strong>: o <em>merge</em> que quebraria o contrato <strong>falha o build</strong>. Isso é um portão de governança que <strong>não</strong> exige um humano carimbando. É controle <strong>e</strong> velocidade.</li><li><strong>Política como código.</strong> O pii: true do contrato não vira um e-mail para o time de segurança; vira uma regra que uma engine (OPA/Ranger/Sentinel) aplica em tempo de acesso:</li></ul><pre># policy/mask_pii.rego<br>package datagov.access<br>default allow = false</pre><pre>allow {<br>  input.column.pii == true<br>  input.principal.role == &quot;analista&quot;<br>  input.action == &quot;read&quot;<br>  input.transform == &quot;hash&quot;     # analista só lê PII mascarada; a política impõe, não pede<br>}</pre><p>O resultado é o <strong>laço de controle fechado</strong> do rodapé do diagrama: SLO viola → error budget queima → <em>freeze</em> de release (governança) → postmortem blameless → contrato revisado → automação corta <em>toil</em>. Governança e SRE deixam de ser silos e viram <strong>um único circuito de feedback</strong>.</p><h3>7. Arquitetura de referência</h3><p>O diagrama abaixo materializa a síntese em quatro planos. O <strong>plano de dados</strong> é o fluxo (fontes → ingestão → lakehouse → processamento → serving → consumo). O <strong>plano de governança</strong>, acima, e o <strong>plano SRE</strong>, abaixo, são <strong>transversais</strong>: cada componente se aplica a <strong>todos</strong> os estágios do fluxo (as linhas tracejadas). A <strong>fundação</strong> sustenta e <strong>restringe</strong> tudo: multi-cloud, IaC, perímetro, identidade, segredos e FinOps, com <strong>custo tratado como SLO de primeira classe</strong>.</p><p>Leitura dos planos:</p><ul><li><strong>Governança (control plane).</strong> Catálogo/metadados, linhagem coluna-a-coluna (OpenLineage/Marquez), <em>data contracts</em> + schema registry, <em>policy engine</em> (OPA/Ranger/Sentinel) com <em>tags</em> de sensibilidade, mascaramento/tokenização (LGPD/GDPR) e <em>quality gates</em> (Great Expectations/Soda/dbt tests). <strong>Nenhum</strong> desses é portão manual: todos são artefatos executáveis.</li><li><strong>Dados (data flow).</strong> Ingestão CDC/streaming/batch → <em>object store</em> (S3/GCS/ADLS) com <em>table format</em> (Iceberg/Delta/Hudi) em zonas bronze→silver→gold → Spark/Databricks + dbt orquestrados (Airflow/Dagster) → <em>warehouse</em> (Snowflake/BigQuery) + <em>semantic layer</em> + <em>feature store</em> → BI, ML/GenAI, reverse ETL.</li><li><strong>SRE (confiabilidade &amp; observabilidade).</strong> SLIs/SLOs de dados, error budget + <em>burn-rate</em>, observabilidade de dados, telemetria unificada (OpenTelemetry/Prometheus/Grafana), gestão de incidente/on-call (PagerDuty) e automação de <em>toil</em> (auto-backfill, <em>self-healing</em>, postmortem blameless). Note que <strong>error budget e SLO alimentam o gate de deploy da governança</strong>, a seta vermelha do laço.</li><li><strong>Fundação.</strong> Multi-cloud, IaC/GitOps (Terraform/ArgoCD), rede/perímetro (VPC-SC/PrivateLink/PSC), IAM/RBAC/ABAC/JIT, segredos/KMS/CMEK e FinOps. Segurança e soberania <strong>por design</strong>, não como camada colada depois.</li></ul><h3>8. Anti-padrões: o lado crítico, sem dó</h3><p>A parte que os fornecedores não colocam no <em>webinar</em>:</p><ol><li><strong>SRE-washing.</strong> Rebatizar o time de plantão de “SRE” sem SLO, sem error budget, sem política de <em>freeze</em>. Título novo, disciplina zero.</li><li><strong>Governance theater.</strong> Catálogo que ninguém abre, comitê de dados que se reúne para carimbar, linhagem que só existe no diagrama. Fricção do controle sem garantia do controle.</li><li><strong>A mentira do pipeline verde.</strong> SLO no <em>job</em>, não no dado. O modo de falha mais comum e mais caro da indústria.</li><li><strong>SLO cargo-cult.</strong> “99,9% de disponibilidade” para um dataset. Métrica de serviço colada em artefato de dados; mede o irrelevante e ignora freshness/correção.</li><li><strong>Fadiga de observabilidade.</strong> Detecção de anomalia por ML sem contratos: mil alertas, zero garantias, o time silencia o canal e o incidente real passa.</li><li><strong>Data mesh sem plano de confiabilidade federado.</strong> Descentraliza a produção, esquece de descentralizar o <strong>on-call</strong> e o <strong>SLO</strong>. <em>Ownership</em> difuso vira ninguém responsável às 3h da manhã.</li><li><strong>Entropia multi-cloud.</strong> Três <em>stacks</em> de telemetria, nenhum SLO comparável, custo de correção invisível porque cada nuvem fatura de um jeito.</li><li><strong>FinOps ignorado.</strong> Backfills estourando o orçamento no fim do mês, tratados como surpresa. Confiabilidade de dados sem conta de custo é autoengano.</li></ol><h3>9. Modelo operacional e maturidade</h3><p><strong>Quem faz o quê</strong> (governança federada, plataforma como produto):</p><p>Papel Responsabilidade <strong>Plataforma / DRE</strong> Provê SLO-as-code, telemetria unificada, <em>runbooks</em>, automação de backfill, o <em>paved road</em>. Dono do <strong>circuito</strong>, não dos datasets. <strong>Produtor de domínio</strong> Dono do <strong>contrato</strong>, do <strong>SLO</strong> e do <strong>on-call</strong> dos seus datasets. Publica; é paginado quando viola. <strong>Governança federada</strong> Define política central (PII, retenção, soberania) <strong>como código</strong>; delega enforcement à plataforma. <strong>Consumidor</strong> Declara dependência via contrato; ganha direito a SLO; não improvisa a jusante.</p><p><strong>Modelo de maturidade</strong> (seja honesto sobre onde você está):</p><p>Nível Estado <strong>Reativo</strong> Descobre erro pelo executivo. SLO nenhum. Plantão = quem responde no grupo. <strong>1 · Monitorado</strong> SLI no <em>job</em>. Alertas ruidosos. Catálogo existe, ninguém confia. <strong>2 · SLO no artefato</strong> freshness/completude medidos na saída. Error budget informal. <strong>3 · Contrato como parede mestra</strong> Contratos em CI, política como código, linhagem na resposta a incidente. Governança automatizada. <strong>4 · Laço fechado</strong> Error budget dispara <em>freeze</em>; postmortem emenda contrato; <em>toil</em> cai medida a medida; custo de backfill é parte do budget.</p><p>Quase todo mundo se declara nível 3 e opera no nível 1. A prova de fogo do nível 4 é uma pergunta: <strong>“quando um SLO de dados queima, algo automático impede o próximo deploy?”</strong> Se a resposta depende de um humano lembrar, você está no nível 1 com marketing de nível 4.</p><h3>10. As métricas que importam (e não são vaidade)</h3><p>Descarte contagem de pipelines e “linhas processadas”. Meça:</p><ul><li><strong>MTTD de dados</strong>: o número que realmente dói. Tudo o mais é consequência dele.</li><li><strong>MTTR-dados</strong>: inclui tempo de <strong>backfill</strong>, não só de <em>fix</em>.</li><li><strong>Attainment de SLO</strong>: % de ciclos dentro do freshness/completude/correção prometidos.</li><li><strong>Taxa de violação de contrato pega em CI vs. em produção</strong>: quanto mais à esquerda, mais madura a operação.</li><li><strong>Custo de backfill por incidente</strong>: a ponte com FinOps; confiabilidade tem preço, meça-o.</li><li><strong>% de datasets com owner + contrato + SLO</strong>: cobertura real da governança, não do slide.</li><li><strong>Horas de <em>toil</em></strong>, e a derivada: está caindo?</li></ul><h3>11. Fecho</h3><p>A disciplina é <strong>imatura globalmente</strong>. O mercado vende <strong>ferramentas</strong>, e ferramenta não é disciplina: nenhum catálogo confere <em>ownership</em>, nenhum detector de anomalia escreve um contrato, nenhuma nuvem entrega um SLO pronto. Os times que vencem não compram confiabilidade nem compram governança: eles param de tratá-las como duas funções em guerra e as costuram num <strong>único laço de controle</strong>, com o <strong>contrato de dados</strong> como parede mestra e o <strong>error budget</strong> como árbitro.</p><p>No recorte brasileiro/LATAM há um agravante e uma vantagem. O agravante: LGPD e requisitos de <strong>soberania</strong> empurram a política para dentro da arquitetura sob pressão regulatória real, e fazê-lo como portão manual mata a velocidade. A vantagem: quem constrói a plataforma <strong>agora</strong>, com política como código e SLO no artefato, transforma a exigência legal em <em>paved road</em>, e o que era custo de <em>compliance</em> vira diferencial de confiabilidade.</p><p>O teste final continua sendo aquela pergunta desconfortável: <strong>o seu SLO mede o job ou o dado?</strong> Enquanto a resposta for “o job”, tudo o mais é encenação, por mais sofisticado que seja o diagrama na parede.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IQeuIiRRn3_hOPFna73xHA.png" /><figcaption><em>Arquitetura de referência e texto: elaboração técnica para discussão de engenharia de plataformas de dados. Os nomes de tecnologias são citados como exemplos de categoria; os glyphs do diagrama são marcas geométricas originais, não logotipos.</em></figcaption></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c7cc06ab807d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apache Airflow]]></title>
            <link>https://medium.com/@madrade1472/apache-airflow-05c8daa64a4c?source=rss-a7ca5b8dbc38------2</link>
            <guid isPermaLink="false">https://medium.com/p/05c8daa64a4c</guid>
            <category><![CDATA[gcp]]></category>
            <category><![CDATA[google]]></category>
            <category><![CDATA[terraform]]></category>
            <category><![CDATA[airflow]]></category>
            <dc:creator><![CDATA[Marcus Andrade]]></dc:creator>
            <pubDate>Fri, 03 Apr 2026 23:49:19 GMT</pubDate>
            <atom:updated>2026-04-03T23:49:19.032Z</atom:updated>
            <content:encoded><![CDATA[<p>Apache Airflow: Quando Usar, Evitar e Exemplos Reais com Arquitetura</p><p>O Apache Airflow se tornou uma das ferramentas mais utilizadas para orquestração de workflows de dados. Sua capacidade de coordenar tarefas interdependentes com flexibilidade e visibilidade operacional o coloca como escolha padrão em muitos times de engenharia de dados.</p><p>No entanto, nem sempre ele é a melhor solução.</p><p>Neste artigo, explico quando usar o Airflow, quando evitá-lo e apresento exemplos reais de uso com arquiteturas aplicadas em empresas como Airbnb, OLX Brasil e Stripe.</p><h3>O que é o Apache Airflow?</h3><p>Apache Airflow é uma plataforma open source de orquestração de workflows, desenvolvida pelo Airbnb e mantida pela Apache Software Foundation. Ele permite definir workflows como código utilizando DAGs (Grafos Acíclicos Direcionados), onde cada nó representa uma tarefa e cada aresta representa uma dependência.</p><p>Esses workflows podem ser agendados, monitorados e reexecutados facilmente.</p><h3>Quando usar o Airflow</h3><p>O Airflow é ideal em cenários onde há:</p><p>Pipelines com múltiplas etapas e interdependências</p><ul><li>Necessidade de agendamento e reexecução de tarefas</li><li>Requisitos de logging, rastreamento e monitoramento centralizados</li><li>Integração com diferentes serviços como Spark, BigQuery, S3, APIs e bancos de dados</li><li>Equipes técnicas que dominam Python e DevOps</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/736/1*K5jAvHk_bdFLZzgEYeRi_g.png" /></figure><h3>Casos reais</h3><p><strong>Airbnb</strong><br> O Airflow nasceu dentro do Airbnb para orquestrar milhares de workflows de dados diários, com dependências complexas envolvendo Spark, Hive e APIs.</p><p><strong>Stripe</strong><br> A empresa utiliza o Airflow para orquestrar pipelines financeiros e de dados sensíveis, com foco em rastreabilidade e envio de alertas automáticos via Slack.</p><p><strong>OLX Brasil</strong><br> Utiliza o Cloud Composer (Airflow gerenciado no GCP) para automatizar a ingestão, transformação e carga de dados no BigQuery, com validação automatizada e notificações.</p><h3>Arquitetura de pipeline usando Airflow (GCP)</h3><h3>Quando não usar o Airflow</h3><p>Apesar de suas capacidades, o Airflow pode não ser adequado em algumas situações.</p><p>Evite usá-lo quando:</p><ul><li>O pipeline é simples, composto por uma única tarefa ou um pequeno número de etapas encadeadas</li><li>É necessário processamento em tempo real (Airflow é batch-oriented)</li><li>As tarefas são muito curtas e frequentes (por exemplo, a cada minuto), o que pode gerar mais overhead do que benefícios</li><li>A equipe tem pouca familiaridade com DevOps, containers ou infraestrutura distribuída</li></ul><p>O Airflow exige um ambiente com workers, scheduler, metadatabase e webserver. Em ambientes com baixa complexidade, esse custo pode ser alto demais.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9C-OpbtQ5djjoQM2CB4Tgg.png" /></figure><h3>Exemplos de arquitetura</h3><h3>Pipeline de ETL com Airflow no GCP</h3><pre>[Cloud Composer]<br>     ↓<br>   [Airflow]<br>     ↓<br>┌────────────┬────────────────────┬──────────────┐<br>│ Extract API│ Transform (Python) │ Load BigQuery│<br>└────────────┴────────────────────┴──────────────┘</pre><h3>Pipeline de MLOps com Airflow</h3><pre>[Airflow DAG]<br>     ↓<br>[Coleta de Dados]<br>     ↓<br>[Feature Engineering]<br>     ↓<br>[Treinamento Modelo]<br>     ↓<br>[Validação e Deploy]</pre><p><strong>Pipeline com Azure + Airflow self-hosted</strong></p><pre>[Airflow (EC2/K8s)]<br>     ↓<br>[AzureBlobSensor]<br>     ↓<br>[Transformação Python]<br>     ↓<br>[Insert Azure SQL]</pre><h3>Alternativas ao Airflow</h3><p>Se o Airflow não se encaixa nas necessidades do seu projeto, considere:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/778/1*1vIHic2v4tzeVqApezIO6Q.png" /></figure><h3>Conclusão</h3><p>O Apache Airflow é uma das ferramentas mais completas para orquestração de workflows de dados. Porém, como toda solução robusta, ele exige estrutura, conhecimento técnico e propósito claro.</p><p>Utilize o Airflow quando for necessário coordenar pipelines complexos, com agendamento, reexecução e rastreabilidade. Para tarefas simples, ou onde o tempo real é prioridade, outras ferramentas podem ser mais eficazes.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=05c8daa64a4c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como Criar uma VM Windows na Oracle Cloud do Zero Usando Apenas o CLI]]></title>
            <link>https://medium.com/@madrade1472/como-criar-uma-vm-windows-na-oracle-cloud-do-zero-usando-apenas-o-cli-db96ddfbd7ad?source=rss-a7ca5b8dbc38------2</link>
            <guid isPermaLink="false">https://medium.com/p/db96ddfbd7ad</guid>
            <category><![CDATA[oci]]></category>
            <category><![CDATA[oracle-cloud]]></category>
            <category><![CDATA[tutorial]]></category>
            <category><![CDATA[cloud-shell]]></category>
            <category><![CDATA[windows-server]]></category>
            <dc:creator><![CDATA[Marcus Andrade]]></dc:creator>
            <pubDate>Fri, 03 Apr 2026 23:46:20 GMT</pubDate>
            <atom:updated>2026-04-03T23:47:04.648Z</atom:updated>
            <content:encoded><![CDATA[<p>Sem clicar em dezenas de telas. Sem configuração manual. Tudo pelo terminal.</p><h3>Introdução</h3><p>A Oracle Cloud Infrastructure (OCI) oferece um nível gratuito generoso e uma interface poderosa via CLI. Neste tutorial, vou mostrar como criar uma VM Windows completa com rede, segurança e acesso RDP usando exclusivamente o <strong>OCI Cloud Shell</strong>, sem instalar nada no seu computador.</p><p>Ao final, você vai se conectar à VM Windows direto pelo <strong>mstsc</strong> (Remote Desktop) do seu Windows.</p><h3>Pré-requisitos</h3><ul><li>Conta na Oracle Cloud Infrastructure (gratuita em <a href="https://cloud.oracle.com/">cloud.oracle.com</a>)</li><li>Acesso ao <strong>Cloud Shell</strong> (botão no canto superior direito do console OCI)</li><li>Nenhuma instalação local necessária</li></ul><h3>Passo 1: Abrindo o Cloud Shell</h3><p>No console da OCI, clique no ícone do <strong>Cloud Shell</strong> (&gt;_) no canto superior direito. Aguarde o terminal abrir. O OCI CLI já vem pré-instalado e autenticado automaticamente.</p><p>Verifique a versão:</p><pre>oci --version</pre><h3>Passo 2: Configurando as Variáveis de Ambiente</h3><p>Primeiro, vamos pegar o ID do seu compartimento (tenancy root):</p><pre>oci iam compartment list --include-root --output table</pre><p>Copie o valor da coluna id e exporte:</p><pre>export COMPARTMENT_ID=&quot;ocid1.tenancy.oc1..SEU_OCID_AQUI&quot;<br>echo $COMPARTMENT_ID</pre><p>Agora o Availability Domain da região São Paulo:</p><pre>export AD=$(oci iam availability-domain list \<br>  --compartment-id $COMPARTMENT_ID \<br>  --query &quot;data[0].name&quot; \<br>  --raw-output)<br>echo $AD</pre><h3>Passo 3: Criando a VCN (Rede Virtual)</h3><pre>export VCN_ID=$(oci network vcn create \<br>  --compartment-id $COMPARTMENT_ID \<br>  --display-name &quot;vcn-windows-demo&quot; \<br>  --cidr-block &quot;10.0.0.0/16&quot; \<br>  --query &quot;data.id&quot; \<br>  --raw-output)<br>echo $VCN_ID</pre><h3>Passo 4: Criando o Internet Gateway</h3><p>Para que a VM tenha acesso à internet:</p><pre>export IGW_ID=$(oci network internet-gateway create \<br>  --compartment-id $COMPARTMENT_ID \<br>  --vcn-id $VCN_ID \<br>  --display-name &quot;igw-windows-demo&quot; \<br>  --is-enabled true \<br>  --query &quot;data.id&quot; \<br>  --raw-output)<br>echo $IGW_ID</pre><h3>Passo 5: Atualizando a Route Table</h3><p>Apontando o tráfego de saída para o Internet Gateway:</p><pre>export RT_ID=$(oci network route-table list \<br>  --compartment-id $COMPARTMENT_ID \<br>  --vcn-id $VCN_ID \<br>  --query &quot;data[0].id&quot; \<br>  --raw-output)<br><br>oci network route-table update \<br>  --rt-id $RT_ID \<br>  --route-rules &quot;[{\&quot;destination\&quot;:\&quot;0.0.0.0/0\&quot;,\&quot;networkEntityId\&quot;:\&quot;$IGW_ID\&quot;}]&quot; \<br>  --force<br><br>echo &quot;Route Table atualizada!&quot;</pre><h3>Passo 6: Criando a Security List</h3><p>Aqui liberamos as portas <strong>22 (SSH)</strong> e <strong>3389 (RDP)</strong> para acesso externo:</p><pre>export SL_ID=$(oci network security-list create \<br>  --compartment-id $COMPARTMENT_ID \<br>  --vcn-id $VCN_ID \<br>  --display-name &quot;sl-windows-demo&quot; \<br>  --ingress-security-rules &quot;[{\&quot;source\&quot;:\&quot;0.0.0.0/0\&quot;,\&quot;protocol\&quot;:\&quot;6\&quot;,\&quot;isStateless\&quot;:false,\&quot;tcpOptions\&quot;:{\&quot;destinationPortRange\&quot;:{\&quot;min\&quot;:3389,\&quot;max\&quot;:3389}}},{\&quot;source\&quot;:\&quot;0.0.0.0/0\&quot;,\&quot;protocol\&quot;:\&quot;6\&quot;,\&quot;isStateless\&quot;:false,\&quot;tcpOptions\&quot;:{\&quot;destinationPortRange\&quot;:{\&quot;min\&quot;:22,\&quot;max\&quot;:22}}}]&quot; \<br>  --egress-security-rules &quot;[{\&quot;destination\&quot;:\&quot;0.0.0.0/0\&quot;,\&quot;protocol\&quot;:\&quot;all\&quot;,\&quot;isStateless\&quot;:false}]&quot; \<br>  --query &quot;data.id&quot; \<br>  --raw-output)<br>echo $SL_ID</pre><h3>Passo 7: Criando a Subnet</h3><pre>export SUBNET_ID=$(oci network subnet create \<br>  --compartment-id $COMPARTMENT_ID \<br>  --vcn-id $VCN_ID \<br>  --display-name &quot;subnet-windows-demo&quot; \<br>  --cidr-block &quot;10.0.0.0/24&quot; \<br>  --availability-domain $AD \<br>  --security-list-ids &quot;[\&quot;$SL_ID\&quot;]&quot; \<br>  --route-table-id $RT_ID \<br>  --query &quot;data.id&quot; \<br>  --raw-output)<br>echo $SUBNET_ID</pre><h3>Passo 8: Buscando a Imagem Windows</h3><pre>export IMAGE_ID=$(oci compute image list \<br>  --compartment-id $COMPARTMENT_ID \<br>  --operating-system &quot;Windows&quot; \<br>  --operating-system-version &quot;Server 2019 Standard&quot; \<br>  --sort-by TIMECREATED \<br>  --sort-order DESC \<br>  --limit 1 \<br>  --query &quot;data[0].id&quot; \<br>  --raw-output)<br>echo $IMAGE_ID</pre><h3>Passo 9: Gerando o Par de Chaves SSH</h3><p>A chave SSH é necessária para descriptografar a senha inicial do Windows:</p><pre>ssh-keygen -t rsa -b 2048 -f ~/.ssh/windows-demo -N &quot;&quot;<br>cat ~/.ssh/windows-demo.pub</pre><h3>Passo 10: Criando a VM Windows</h3><pre>export INSTANCE_ID=$(oci compute instance launch \<br>  --compartment-id $COMPARTMENT_ID \<br>  --availability-domain $AD \<br>  --display-name &quot;windows-demo&quot; \<br>  --image-id $IMAGE_ID \<br>  --shape &quot;VM.Standard.E2.1&quot; \<br>  --subnet-id $SUBNET_ID \<br>  --assign-public-ip true \<br>  --ssh-authorized-keys-file ~/.ssh/windows-demo.pub \<br>  --query &quot;data.id&quot; \<br>  --raw-output)<br>echo $INSTANCE_ID</pre><h3>Passo 11: Aguardando a VM Ficar Pronta</h3><pre>while true; do<br>  STATE=$(oci compute instance get \<br>    --instance-id $INSTANCE_ID \<br>    --query &quot;data.\&quot;lifecycle-state\&quot;&quot; \<br>    --raw-output)<br>  echo &quot;Status: $STATE&quot;<br>  if [ &quot;$STATE&quot; == &quot;RUNNING&quot; ]; then<br>    echo &quot;VM pronta!&quot;<br>    break<br>  fi<br>  sleep 15<br>done</pre><h3>Passo 12: Obtendo o IP Público e a Senha</h3><pre>export PUBLIC_IP=$(oci compute instance list-vnics \<br>  --instance-id $INSTANCE_ID \<br>  --query &quot;data[0].\&quot;public-ip\&quot;&quot; \<br>  --raw-output)<br>echo &quot;IP Público: $PUBLIC_IP&quot;</pre><pre>oci compute instance get-windows-initial-creds \<br>  --instance-id $INSTANCE_ID</pre><p>O retorno será algo como:</p><pre>{<br>  &quot;data&quot;: {<br>    &quot;password&quot;: &quot;SuaSenhaAqui&quot;,<br>    &quot;username&quot;: &quot;opc&quot;<br>  }<br>}</pre><h3>Passo 13: Conectando via Remote Desktop</h3><p>No seu Windows, abra o <strong>Run</strong> (Win + R) e execute:</p><pre>mstsc /v:SEU_IP_PUBLICO</pre><p>Pronto! Você está conectado na sua VM Windows na Oracle Cloud.</p><h3>Limpeza: Removendo Todos os Recursos</h3><p>Para evitar cobranças, delete tudo na ordem correta:</p><pre># 1. Termina a VM<br>oci compute instance terminate \<br>  --instance-id $INSTANCE_ID \<br>  --force<br><br># 2. Aguarda a VM ser terminada<br>while true; do<br>  STATE=$(oci compute instance get \<br>    --instance-id $INSTANCE_ID \<br>    --query &quot;data.\&quot;lifecycle-state\&quot;&quot; \<br>    --raw-output 2&gt;/dev/null)<br>  echo &quot;Status: $STATE&quot;<br>  if [ &quot;$STATE&quot; == &quot;TERMINATED&quot; ]; then<br>    echo &quot;VM terminada!&quot;<br>    break<br>  fi<br>  sleep 15<br>done<br><br># 3. Deleta os recursos de rede<br>oci network subnet delete --subnet-id $SUBNET_ID --force<br>oci network security-list delete --security-list-id $SL_ID --force<br>oci network internet-gateway delete --ig-id $IGW_ID --force<br>oci network vcn delete --vcn-id $VCN_ID --force<br><br>echo &quot;Tudo deletado!&quot;</pre><h3>Resumo</h3><p>Em menos de 15 minutos, criamos do zero:</p><ul><li>VCN + Internet Gateway + Route Table</li><li>Security List com RDP e SSH liberados</li><li>Subnet pública</li><li>VM Windows Server 2019</li><li>Acesso via Remote Desktop</li></ul><p>Tudo isso sem sair do terminal, usando apenas o OCI Cloud Shell.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=db96ddfbd7ad" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[SAP Business One para GCP:]]></title>
            <link>https://medium.com/@madrade1472/sap-business-one-para-gcp-d25265c9d283?source=rss-a7ca5b8dbc38------2</link>
            <guid isPermaLink="false">https://medium.com/p/d25265c9d283</guid>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[sap]]></category>
            <category><![CDATA[sap-business-one]]></category>
            <category><![CDATA[google-cloud-platform]]></category>
            <category><![CDATA[bigquery]]></category>
            <dc:creator><![CDATA[Marcus Andrade]]></dc:creator>
            <pubDate>Sat, 14 Mar 2026 05:43:15 GMT</pubDate>
            <atom:updated>2026-03-14T05:47:19.048Z</atom:updated>
            <content:encoded><![CDATA[<p><strong>o guia que eu queria ter lido antes</strong></p><p><em>Todas as opções de extração e ingestão, do acesso direto ao banco até CDC em tempo real com código, arquitetura e os erros que você não precisa cometer</em></p><p>A conversa começa sempre do mesmo jeito: o cliente tem SAP Business One há dez anos, acumulou um histórico precioso de dados e agora quer fazer <strong>“analytics de verdade”</strong> no GCP. Soa simples. Não é.</p><p>O SAP B1 é um ERP completo que esconde dentro dele notas fiscais, pedidos, estoque, financeiro, contabilidade tudo em tabelas com nomes de quatro letras maiúsculas (OINV, OCRD, OJDT…), campos de data guardados como inteiro no formato YYYYMMDD e customizações acumuladas durante anos que cada empresa foi empilhando. Não tem botão de “exportar para BigQuery”.</p><p>Este artigo cobre todas as opções reais de extração do lado do SAP e todas as ferramentas do lado do GCP para ingestão, processamento e análise desses dados. Tem código funcionando, comparativo de custo, arquiteturas por cenário e uma lista das armadilhas mais comuns porque alguém tem que falar sobre elas.</p><h3>1. O que está dentro do SAP B1</h3><h3>SQL Server ou HANA isso define tudo</h3><p>O SAP B1 roda sobre dois bancos diferentes dependendo da versão instalada:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/530/1*E_E-V-4Xjzy67fDpuUu9Wg.png" /></figure><p>Essa distinção importa porque as opções de CDC, as ferramentas de conexão e as APIs disponíveis são completamente diferentes para cada um. Descubra qual banco o cliente tem antes de qualquer outra coisa.</p><h3>As tabelas que você vai querer extrair</h3><p>O esquema do SAP B1 tem centenas de tabelas, mas o núcleo analítico gira em torno dessas:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/528/1*ALkLWYvUIg0RJkyqqmI6HA.png" /></figure><p><em>Atenção: campos de data no SAP B1 são frequentemente armazenados como INTEGER no formato YYYYMMDD não como DATE ou DATETIME. Isso vai te pegar se você não tratar na extração.</em></p><h3>APIs disponíveis no SAP B1</h3><p>Além do banco direto, a SAP expõe algumas APIs. É importante conhecer todas antes de escolher o caminho:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/528/1*VFOf1ZsCGvF3-fkBlISSrw.png" /></figure><h3>2. Como extrair dados do SAP B1</h3><p>Existem cinco caminhos. Vou falar de cada um com honestidade — vantagens, limitações e quando realmente faz sentido usar.</p><h3>2.1 Acesso direto ao banco (SQL)</h3><p>É o mais comum na prática brasileira. Você conecta direto no SQL Server ou no HANA via JDBC/ODBC e executa suas queries. Sem API, sem middleware, sem cerimônia.</p><p>● <strong>Vantagem: </strong>total flexibilidade. Você acessa qualquer tabela, incluindo customizações (campos U_*) e tabelas de sistema que nenhuma API expõe.</p><p>● <strong>Limitação: </strong>a SAP não suporta oficialmente. Upgrades de versão podem mudar o esquema sem aviso. Se o cliente tem SLA rígido de suporte SAP, isso pode gerar atrito.</p><p>● <strong>Ferramentas: </strong>Airbyte, Fivetran, Stitch, Apache NiFi, Python (pyodbc para SQL Server, hdbcli para HANA), GCP Datastream.</p><p>Para a maioria das PMEs brasileiras sem contrato enterprise com a SAP, esse é o caminho mais direto e eficiente.</p><p><em>Crie um usuário dedicado de leitura no banco com SELECT apenas nas tabelas necessárias. Nunca use o usuário admin do SAP B1 numa integração.</em></p><h3>2.2 Service Layer a API REST oficial</h3><p>A SAP criou a Service Layer para exatamente esse tipo de integração mas ela só existe em ambientes HANA. É uma API REST que expõe entidades de negócio como endpoints OData rodando na porta 50000 do servidor.</p><p>Autenticação: POST /Login com usuário e senha retorna um cookie de sessão. Depois você usa esse cookie em todas as chamadas.</p><pre># Exemplos de endpoints:<br>GET https://&lt;servidor&gt;:50000/b1s/v1/Invoices<br>GET https://&lt;servidor&gt;:50000/b1s/v1/Orders<br>GET https://&lt;servidor&gt;:50000/b1s/v1/Items<br>GET https://&lt;servidor&gt;:50000/b1s/v1/BusinessPartners<br>GET https://&lt;servidor&gt;:50000/b1s/v1/JournalEntries<br><br># Com filtro e paginação OData:<br>GET /b1s/v1/Invoices?$filter=DocDate ge &#39;2026-01-01&#39;&amp;$top=500&amp;$skip=0<br><br></pre><p>● <strong>Vantagem: </strong>suportada oficialmente pela SAP. Não precisa de acesso direto ao banco. Funciona com firewall liberando apenas a porta 50000.</p><p>● <strong>Limitação: </strong>apenas HANA. Campos customizados (U_*) têm exposição limitada. Paginação manual com $top/$skip é trabalhosa em volumes altos. Rate limiting pode ser um problema.</p><p>Use quando o cliente tem HANA e exige rastreabilidade de suporte SAP na integração.</p><h3>2.3 CDC Change Data Capture</h3><p>CDC é a abordagem para quem precisa de dados em tempo real ou near real-time. Em vez de consultar as tabelas, você lê o <strong>transaction log do banco</strong> que registra toda inserção, atualização e exclusão. Mínimo impacto em produção, latência de segundos.</p><p><strong>Para SQL Server:</strong></p><p>● <strong>Debezium </strong>open source, lê o transaction log nativo do SQL Server. Requer habilitar CDC no banco e um usuário com permissão sysadmin.</p><p>● <strong>GCP Datastream </strong>serviço gerenciado do GCP. Suporte a SQL Server adicionado em 2023. A escolha mais simples se você quer CDC sem gerenciar infraestrutura.</p><p><strong>Para HANA:</strong></p><p>● <strong>SAP SLT (Landscape Transformation) </strong>solução oficial SAP para CDC no HANA. Funciona muito bem, mas tem licença separada e custo de implementação alto.</p><p>● <strong>Debezium (conector HANA) </strong>existe em versão community, mas ainda não é production-grade em 2026.</p><p>● <strong>GCP Datastream </strong>NÃO suporta HANA nativamente. Se o cliente tem HANA e quer real-time, o caminho vai pelo SLT ou por soluções customizadas.</p><p><em>CDC para SQL Server é viável e relativamente simples. CDC para HANA em real-time é caro e complexo calibre a expectativa do cliente antes de prometer.</em></p><h3>2.4 B1if Integration Framework</h3><p>O B1if é o middleware de integração nativo da SAP um servidor Java que orquestra fluxos entre o SAP B1 e sistemas externos. Ele pode publicar eventos em filas, transformar dados e fazer mapeamentos complexos.</p><p>Na teoria, seria ideal para eventos de negócio em tempo real. Na prática, é difícil de configurar, tem poucos especialistas no mercado e é overkill para extração analítica. <strong>Não recomendo como camada principal de extração para analytics</strong>. Faz mais sentido em integrações bidirecionais complexas (SAP B1 ↔ e-commerce, por exemplo).</p><h3>2.5 Exports batch agendados</h3><p>O clássico ETL: queries SQL agendadas que exportam CSV ou Parquet e enviam para o GCS. Simples, previsível, funciona em qualquer versão do SAP B1, zero licença adicional.</p><p>A latência vai ser de horas e para muitos cenários de analytics isso é exatamente o que o cliente precisa. <strong>Se o cliente precisa de relatório diário, não complique. Batch funciona.</strong></p><h3>3. O lado GCP: onde os dados chegam e como fluem</h3><p>Agora vem a parte que o artigo anterior deixou de fora. O GCP tem vários serviços que entram em jogo numa pipeline de SAP B1. Cada um tem um papel específico e usar o errado para o problema errado é o caminho mais curto para uma arquitetura difícil de manter.</p><h3>3.1 Cloud Storage (GCS) a landing zone que não é opcional</h3><p>Todo dado que sai do SAP B1 deve passar pelo GCS antes de qualquer outra coisa. Ele é sua camada de segurança, de reprocessamento e de histórico bruto. Se algo der errado mais à frente no pipeline, você reprocessa a partir do GCS sem precisar voltar ao SAP.</p><p>Organização que funciona na prática:</p><pre>gs://empresa-sap-raw/<br>  invoices/year=2026/month=03/day=14/invoices_20260314.parquet<br>  orders/year=2026/month=03/day=14/orders_20260314.parquet<br>  items/year=2026/month=03/day=14/items_20260314.parquet<br><br>gs://empresa-sap-curated/<br>  fato_vendas/   dim_produto/   dim_cliente/</pre><p>● <strong>Formato: </strong>use Parquet para dados analíticos. Compressão nativa, schema embutido, leitura muito mais rápida no BigQuery do que CSV.</p><p>● <strong>Lifecycle: </strong>raw com mais de 90 dias → Nearline. Mais de 1 ano → Coldline. Controla o custo de armazenamento automaticamente.</p><h3>3.2 BigQuery o destino analítico</h3><p>O BigQuery é onde analistas e dashboards vivem. Mas a forma como você organiza os dados lá dentro define se o projeto vai escalar ou virar uma bagunça em seis meses.</p><p>Camadas recomendadas:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/531/1*bQYei5VKwXHlkIJ7JskXOw.png" /></figure><p>Formas de carregar dados no BigQuery:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/526/1*-nF6F5ltjnqOoRc-C6WDGQ.png" /></figure><h3>3.3 Cloud Composer (Airflow gerenciado) orquestração</h3><p>Para pipelines com múltiplas tabelas e dependências entre elas, você precisa de um orquestrador. O Cloud Composer é o Airflow gerenciado do GCP você define as DAGs, ele gerencia o scheduling, retry, logs e alertas.</p><p>Uma DAG típica para SAP B1 seria assim:</p><pre># sap_b1_daily_ingestion.py — estrutura da DAG<br>extract_invoices  ──┐<br>extract_orders    ──┤──► upload_gcs ──► bq_load_raw ──► dbt_run ──► validate<br>extract_items     ──┤<br>extract_partners  ──┘</pre><p>Quando NÃO usar Cloud Composer: pipelines simples com uma ou duas tabelas. Nesse caso, <strong>Cloud Scheduler + Cloud Run Jobs</strong> é muito mais barato e sem overhead de manutenção de ambiente Airflow.</p><h3>3.4 Dataflow (Apache Beam gerenciado) processamento em escala</h3><p>O Dataflow é para quando você precisa processar dados em <strong>volume muito alto</strong> (dezenas de milhões de registros/dia) ou fazer transformações complexas durante a ingestão joins, aggregations, enriquecimentos em streaming.</p><p>Casos de uso com SAP B1:</p><p>● Pipeline CDC → Pub/Sub → Dataflow → BigQuery (o fluxo real-time típico)</p><p>● Joins de múltiplas tabelas SAP durante a ingestão antes de carregar no BigQuery</p><p>● Enriquecimento de dados SAP com outras fontes (e-commerce, CRM) no momento da ingestão</p><p>Se sua pipeline é batch simples de extract-load, Dataflow é overkill. Não complique o que não precisa ser complexo.</p><h3>3.5 Datastream CDC gerenciado do GCP</h3><p>O Datastream é o serviço de CDC gerenciado do GCP. Você aponta para o banco de origem, seleciona as tabelas, e ele replica as mudanças para o GCS ou direto no BigQuery em tempo real — sem você gerenciar Debezium, Kafka ou qualquer infraestrutura de streaming.</p><p>Suporte atual (2026):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/525/1*n_gwAq8MkAaN-BX3Oh3uXg.png" /></figure><p>Para SAP B1 em SQL Server, o Datastream é a opção mais simples de CDC gerenciado que existe. Você precisa habilitar o CDC nativo no SQL Server e ter conectividade de rede do GCP para o servidor via VPN ou Cloud Interconnect.</p><p><em>Datastream + BigQuery direto é a combinação mais limpa para CDC de SQL Server. Elimina Pub/Sub e Dataflow quando a transformação não é necessária na chegada.</em></p><h3>3.6 Pub/Sub buffer de mensagens</h3><p>O Pub/Sub aparece no fluxo real-time como buffer entre a fonte de eventos e o processamento. No contexto do SAP B1, ele entra quando você tem:</p><p>● CDC via Debezium → Kafka → Pub/Sub → Dataflow → BigQuery</p><p>● Eventos de negócio publicados pelo B1if ou por webhook customizado no SAP</p><p>● Alertas em tempo real (nova NF emitida, pedido aprovado acima de X)</p><p>Ele não é obrigatório em pipelines batch. Entra quando você precisa desacoplar produção de consumo de mensagens em cenários de streaming.</p><h3>3.7 Ferramentas de mercado: Fivetran, Airbyte, Stitch e outros</h3><p>Se você não quer escrever e manter scripts de extração, as ferramentas de ELT de mercado abstraem isso. Aqui está o comparativo honesto:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/528/1*9_MSeIN41hvtg6kNrmH-Yw.png" /></figure><h3>4. Qual arquitetura montar?</h3><p>Não existe uma resposta única. Existe a certa para o contexto do cliente. Aqui estão os quatro padrões que cobrem a maioria dos casos:</p><h3>Arquitetura 1 Batch simples (Airbyte/Fivetran + BigQuery)</h3><p>Para PMEs e projetos onde latência de horas é aceitável.</p><pre>SAP B1 (SQL Server / HANA)<br>  └─ JDBC/ODBC ──► Airbyte ou Fivetran<br>                     └─► BigQuery [sap_raw]<br>                           └─► dbt ──► [sap_staging → sap_analytics]<br>                                         └─► Looker Studio / Power BI</pre><h3>Arquitetura 2 Pipeline custom com Cloud Composer</h3><p>Para controle fino, múltiplas tabelas com dependências e lógica customizada.</p><pre>SAP B1<br>  └─ Python (pyodbc / hdbcli / requests)<br>     └─► Cloud Composer (Airflow DAG)<br>           ├─ extract_invoices ──┐<br>           ├─ extract_orders   ──┤──► GCS Raw ──► BigQuery Raw ──► dbt<br>           └─ extract_items    ──┘</pre><h3>Arquitetura 3 Near real-time com CDC</h3><p>Para SQL Server com necessidade de latência abaixo de 5 minutos.</p><pre>SAP B1 (SQL Server — transaction log)<br>  └─ GCP Datastream (CDC gerenciado)<br>     └─► BigQuery (direto) ou GCS<br>           └─► dbt ──► sap_analytics<br><br>Alternativa com Debezium:<br>  └─ Debezium ──► Pub/Sub ──► Dataflow ──► BigQuery<br><br></pre><h3>Arquitetura 4 Data Lakehouse (Medallion)</h3><p>Para organizações maduras que integram SAP B1 com outras fontes.</p><pre>SAP B1 + outras fontes (e-commerce, CRM, planilhas)<br>  └─► GCS Bronze (dados brutos, Parquet, particionados)<br>         └─► Dataflow / dbt ──► BigQuery Silver (limpo, tipado)<br>                                  └─► dbt models ──► BigQuery Gold<br>                                                        ├─► Looker<br>                                                        ├─► Vertex AI<br>                                                        └─► APIs</pre><h3>5. Matriz de decisão qual abordagem escolher</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/529/1*mK0FtjkDWfTVMVXyvd5QMw.png" /></figure><h3>6. Stack recomendada por cenário</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/530/1*ADXvA2Jt99Tz_kV-ht4xhQ.png" /></figure><h3>7. Boas práticas que fazem diferença de verdade</h3><h3>Watermark incremental isso não é opcional</h3><p>Se você fizer full scan diário em produção vai impactar os usuários do SAP B1. Sempre extraia incrementalmente usando o campo de atualização da tabela:</p><pre>-- SQL Server / HANA — extração incremental com watermark<br>SELECT *<br>FROM   OINV<br>WHERE  UpdateDate &gt;= 20260313   -- último checkpoint salvo<br>  AND  UpdateDate &lt;  20260314   -- limite superior da janela<br>ORDER  BY UpdateDate, DocEntry</pre><p>Salve o checkpoint no BigQuery ou no GCS após cada execução bem-sucedida. Campos úteis: UpdateDate, DocDate, ou campos U_UpdatedAt customizados pelo cliente. Programe as extrações para madrugada fora do horário de uso do ERP.</p><h3>MERGE, nunca INSERT</h3><p>Qualquer pipeline que pode ser reexecutada por erro vai criar duplicatas se usar INSERT simples. Use MERGE/UPSERT por chave primária:</p><pre>-- BigQuery — MERGE para upsert por chave do SAP B1<br>MERGE `empresa.sap_raw.invoices` T<br>USING `empresa.sap_raw.invoices_temp` S<br>  ON  T.doc_entry = S.doc_entry<br>  AND T.line_num  = S.line_num<br>WHEN MATCHED     THEN UPDATE SET T.doc_total = S.doc_total, T.doc_status = S.doc_status<br>WHEN NOT MATCHED THEN INSERT ROW</pre><h3>A conversão de data que todo mundo esquece</h3><p>O SAP B1 guarda datas como inteiro (ex: 20260314). No BigQuery, depois de carregar como INT64:</p><pre>-- BigQuery: converter inteiro SAP para DATE<br>PARSE_DATE(&#39;%Y%m%d&#39;, CAST(doc_date AS STRING)) AS doc_date<br><br>-- SQL Server: converter antes da extração<br>CONVERT(DATE, CAST(DocDate AS VARCHAR(8)), 112) AS DocDate</pre><p>Não descubra esse problema quando o cliente perguntar por que os filtros de data não funcionam no dashboard.</p><h3>Campos U_* precisam de documentação antes de modelar</h3><p>Esses são campos customizados pelo cliente. Podem ser tipo de operação fiscal, categoria de custo, código de projeto, bandeira comercial qualquer coisa. Sente com o time do SAP antes de modelar. Um U_TipoVenda mal interpretado pode invalidar meses de análise.</p><h3>Qualidade de dados com dbt</h3><p>Implemente testes básicos desde o início. Os mais críticos para dados de ERP:</p><pre># schema.yml testes essenciais no dbt<br>models:<br>  - name: fato_vendas<br>    columns:<br>      - name: doc_entry<br>        tests: [unique, not_null]<br>      - name: valor_total<br>        tests: [not_null, dbt_utils.accepted_range: {min_value: 0}]<br>      - name: data_emissao<br>        tests: [not_null]</pre><p>Além dos testes de schema, implemente reconciliação automática: compare a soma dos valores de notas no SAP vs no BigQuery por período. Se divergir mais de 0,01%, alerta imediato. Sem isso, você descobre o problema quando o controller ligar.</p><h3>Monitoramento sem isso o pipeline vai falhar em silêncio</h3><p>Alertas obrigatórios no Cloud Monitoring:</p><p>● Pipeline não executou no horário esperado</p><p>● Extração retornou 0 registros (pode ser erro silencioso de conexão)</p><p>● Erro de conexão com SAP B1 por mais de 15 minutos</p><p>● Divergência de reconciliação acima do threshold</p><p>Volume de registros por tabela por execução e latência ponta-a-ponta também devem virar métricas. Looker Studio + BigQuery Information Schema dá um dashboard de saúde das pipelines rapidinho.</p><h3>8. Código real de uma pipeline típica</h3><p>Extração incremental de notas fiscais (SAP B1 SQL Server → BigQuery).</p><h3>Etapa 1 Preparação no SQL Server</h3><pre>-- Criar usuário de leitura dedicado<br>CREATE LOGIN sap_gcp_reader WITH PASSWORD = &#39;SenhaForte@2026&#39;;<br>USE SAPDatabaseName;<br>CREATE USER sap_gcp_reader FOR LOGIN sap_gcp_reader;<br>GRANT SELECT ON OINV TO sap_gcp_reader;<br>GRANT SELECT ON INV1 TO sap_gcp_reader;<br>GRANT SELECT ON OCRD TO sap_gcp_reader;<br><br>-- Habilitar CDC (se for usar Datastream ou Debezium)<br>EXEC sys.sp_cdc_enable_db;<br>EXEC sys.sp_cdc_enable_table<br>  @source_schema=&#39;dbo&#39;, @source_name=&#39;OINV&#39;, @role_name=NULL;</pre><h3>Etapa 2 Infraestrutura GCP</h3><p><strong># Criar recursos via gcloud</strong></p><pre>gcloud services enable bigquery.googleapis.com storage.googleapis.com \<br>  composer.googleapis.com secretmanager.googleapis.com<br><br>gsutil mb -l southamerica-east1 gs://empresa-sap-raw<br>bq mk --dataset --location=southamerica-east1 empresa:sap_raw<br>bq mk --dataset --location=southamerica-east1 empresa:sap_analytics<br><br># Guardar credenciais no Secret Manager — nunca hardcodar<br>echo -n &quot;Server=192.168.x.x;Database=SAP;UID=sap_gcp_reader;PWD=...&quot; | \<br>  gcloud secrets create sap-b1-connstring --data-file=-</pre><h3>Etapa 3 Script Python de extração</h3><p><strong># sap_extractor.py</strong></p><pre>import pyodbc, pandas as pd<br>from google.cloud import bigquery, secretmanager<br>from datetime import datetime<br><br>def get_secret(name):<br>    client = secretmanager.SecretManagerServiceClient()<br>    resp = client.access_secret_version(<br>        request={&quot;name&quot;: f&quot;projects/PROJETO/secrets/{name}/versions/latest&quot;}<br>    )<br>    return resp.payload.data.decode(&quot;UTF-8&quot;)<br><br>def get_last_checkpoint(bq, table):<br>    rows = bq.query(<br>        f&quot;SELECT MAX(update_date) FROM `empresa.sap_raw.{table}`&quot;<br>    ).result()<br>    for r in rows:<br>        return r[0] or datetime(2020, 1, 1)<br><br>def extract_invoices(conn_str, since, until):<br>    conn = pyodbc.connect(conn_str)<br>    query = &quot;&quot;&quot;<br>        SELECT h.DocEntry, h.DocNum,<br>               h.DocDate, h.DocTotal, h.VatSum,<br>               h.CardCode, h.CardName, h.DocStatus, h.CANCELED,<br>               h.UpdateDate,<br>               i.LineNum, i.ItemCode, i.Quantity, i.Price, i.LineTotal<br>        FROM OINV h<br>        JOIN INV1 i ON h.DocEntry = i.DocEntry<br>        WHERE h.UpdateDate &gt;= ? AND h.UpdateDate &lt; ?<br>        ORDER BY h.UpdateDate, h.DocEntry<br>    &quot;&quot;&quot;<br>    since_int = int(since.strftime(&quot;%Y%m%d&quot;))<br>    until_int = int(until.strftime(&quot;%Y%m%d&quot;))<br>    df = pd.read_sql(query, conn, params=[since_int, until_int])<br>    conn.close()<br>    return df<br><br>def transform(df):<br>    df[&quot;doc_date&quot;] = pd.to_datetime(<br>        df[&quot;DocDate&quot;].astype(str), format=&quot;%Y%m%d&quot;, errors=&quot;coerce&quot;<br>    )<br>    df[&quot;is_cancelled&quot;] = df[&quot;CANCELED&quot;] == &quot;Y&quot;<br>    df[&quot;_ingested_at&quot;] = datetime.utcnow()<br>    df.columns = [c.lower() for c in df.columns]<br>    return df<br><br>def main():<br>    conn_str = get_secret(&quot;sap-b1-connstring&quot;)<br>    bq = bigquery.Client(project=&quot;empresa&quot;)<br>    since = get_last_checkpoint(bq, &quot;invoices&quot;)<br>    until = datetime.utcnow()<br>    df = extract_invoices(conn_str, since, until)<br>    if df.empty: return<br>    df = transform(df)<br>    # Carrega em tabela temp e faz MERGE na principal<br>    bq.load_table_from_dataframe(df, &quot;empresa.sap_raw.invoices_temp&quot;).result()<br>    bq.query(&quot;&quot;&quot;<br>        MERGE `empresa.sap_raw.invoices` T<br>        USING `empresa.sap_raw.invoices_temp` S<br>        ON T.docentry = S.docentry AND T.linenum = S.linenum<br>        WHEN MATCHED     THEN UPDATE SET T.doctotal = S.doctotal<br>        WHEN NOT MATCHED THEN INSERT ROW<br>    &quot;&quot;&quot;).result()</pre><h3>Etapa 4 DAG do Airflow (Cloud Composer)</h3><p><strong># dags/sap_b1_daily.py</strong></p><pre>from airflow import DAG<br>from airflow.providers.google.cloud.operators.cloud_run import CloudRunExecuteJobOperator<br>from airflow.providers.google.cloud.operators.bigquery import BigQueryCheckOperator<br>from airflow.utils.dates import days_ago<br>from datetime import timedelta<br><br>default_args = {<br>    &#39;retries&#39;: 3, &#39;retry_delay&#39;: timedelta(minutes=5),<br>    &#39;email_on_failure&#39;: True, &#39;email&#39;: [&#39;dataeng@empresa.com.br&#39;],<br>}<br><br>with DAG(&quot;sap_b1_daily&quot;, default_args=default_args,<br>         schedule_interval=&quot;0 3 * * *&quot;, start_date=days_ago(1)) as dag:<br><br>    extract = [CloudRunExecuteJobOperator(<br>        task_id=f&quot;extract_{t}&quot;,<br>        project_id=&quot;empresa&quot;, region=&quot;southamerica-east1&quot;,<br>        job_name=f&quot;sap-extractor-{t}&quot;)<br>        for t in [&quot;invoices&quot;, &quot;orders&quot;, &quot;items&quot;, &quot;partners&quot;]]<br><br>    validate = BigQueryCheckOperator(<br>        task_id=&quot;validate&quot;,<br>        sql=&quot;SELECT COUNT(*) &gt; 0 FROM `empresa.sap_raw.invoices`<br>             WHERE DATE(_ingested_at) = CURRENT_DATE()&quot;,<br>        use_legacy_sql=False)<br><br>    extract &gt;&gt; validate</pre><h3>Etapa 5 Modelo dbt de staging</h3><p><strong>models/staging/stg_sap__invoices.sql</strong></p><pre>WITH source AS (<br>    SELECT * FROM {{ source(&quot;sap_raw&quot;, &quot;invoices&quot;) }}<br>),<br>dedup AS (<br>    SELECT *,<br>        ROW_NUMBER() OVER (<br>            PARTITION BY docentry, linenum<br>            ORDER BY _ingested_at DESC<br>        ) AS rn<br>    FROM source<br>),<br>final AS (<br>    SELECT<br>        docentry        AS doc_entry,<br>        docnum          AS doc_num,<br>        doc_date,<br>        doctotal        AS valor_total,<br>        vatsum          AS valor_impostos,<br>        cardcode        AS codigo_cliente,<br>        cardname        AS nome_cliente,<br>        docstatus       AS status,<br>        is_cancelled    AS cancelada,<br>        linenum         AS numero_linha,<br>        itemcode        AS codigo_produto,<br>        quantity        AS quantidade,<br>        price           AS preco_unitario,<br>        linetotal       AS valor_linha,<br>        _ingested_at    AS ingestao_em<br>    FROM dedup<br>    WHERE rn = 1 AND NOT is_cancelled<br>)<br>SELECT * FROM final</pre><h3>9. Segurança, LGPD e IAM</h3><p>Dados de ERP têm CPF, CNPJ, nome de clientes, histórico financeiro. LGPD se aplica e o cliente vai perguntar sobre isso.</p><h3>IAM permissões mínimas por service account</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/528/1*J4CIin_b6kEngeJ9UiwgDg.png" /></figure><h3>Regras que não têm exceção</h3><p>● Connection string do banco → Secret Manager. Nunca em variável de ambiente hardcoded.</p><p>● SAP B1 on-premises → GCP: VPN ou Cloud Interconnect obrigatório. Nunca SQL Server exposto na internet.</p><p>● Column-Level Security no BigQuery para campos sensíveis (CPF, dados financeiros).</p><p>● Data Masking em ambientes de desenvolvimento analistas não precisam ver CPF real.</p><p>● BigQuery Data Access Logs ativado. Retenção mínima de 1 ano para compliance financeiro.</p><p>● Monitorar acessos fora do horário comercial com alertas.</p><h3>10. Estimativa de custos</h3><p>Premissa: empresa média, ~50M registros/mês total, região southamerica-east1.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/528/1*NB8-RNo71wDLJpbSxqsGgg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/527/1*wvD6WqnXnX35JJ_17pNH0Q.png" /></figure><h3>11. As armadilhas mais comuns</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/528/1*OApvZeU3xyu6VKukc7jVXw.png" /></figure><h3>12. Roadmap de implementação</h3><p>Não tente entregar tudo de uma vez. Esse é o caminho que funciona:</p><h3>Fase 1 Fundação (semanas 1 a 4)</h3><p>● Inventário das tabelas relevantes com o time de negócio</p><p>● Usuário de leitura no banco SAP com permissões mínimas</p><p>● Conexão segura configurada e testada (VPN, latência, timeout)</p><p>● Pipeline batch das tabelas principais: OINV, ORDR, OITM, OCRD</p><p>● BigQuery raw layer funcionando com dados chegando</p><p>● Primeiro dashboard no Looker Studio mesmo que simples para mostrar valor</p><h3>Fase 2 Qualidade (semanas 5 a 8)</h3><p>● Cloud Composer para orquestração completa</p><p>● dbt para transformação, documentação e testes automáticos</p><p>● Reconciliação automática SAP vs BigQuery por período</p><p>● Alertas de falha e anomalia configurados no Cloud Monitoring</p><h3>Fase 3 Analytics consolidado (meses 3 e 4)</h3><p>● Modelo dimensional completo (star schema por área de negócio)</p><p>● Data marts de vendas, financeiro e estoque</p><p>● Relatórios padronizados e validados com o cliente</p><p>● Automatização de fechamento mensal</p><h3>Fase 4 Real-time e ML (mês 5 em diante se fizer sentido)</h3><p>● CDC para tabelas de alta frequência (Datastream ou Debezium)</p><p>● Alertas de negócio em tempo real: estoque crítico, pedido fora do padrão</p><p>● Forecasting de vendas e estoque com Vertex AI só depois de histórico sólido</p><h3>Concluindo</h3><p>Não existe uma resposta única para “como extrair dados do SAP B1 para o GCP”. Existe a resposta certa para o contexto do cliente que depende do banco (SQL Server ou HANA), da latência necessária, do volume, do orçamento e do tamanho do time.</p><p>O que eu vejo mais falhar não é a escolha da tecnologia. É a falta de watermark incremental fazendo full scan em produção, a falta de MERGE gerando duplicatas, a falta de reconciliação deixando números errados no dashboard por semanas. São detalhes operacionais que derrubam projetos tecnicamente corretos.</p><p><strong>Comece simples. </strong>Um batch que extrai as cinco tabelas principais, cai no BigQuery e alimenta um dashboard já entrega 80% do valor. Você incrementa depois e o cliente confia mais quando vê valor cedo.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d25265c9d283" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Conversational Analytics no BigQuery: O fim da era “me manda esse SQL”?]]></title>
            <link>https://medium.com/@madrade1472/conversational-analytics-no-bigquery-o-fim-da-era-me-manda-esse-sql-d6254fb8fb20?source=rss-a7ca5b8dbc38------2</link>
            <guid isPermaLink="false">https://medium.com/p/d6254fb8fb20</guid>
            <category><![CDATA[bigquery]]></category>
            <category><![CDATA[data-analytics]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[google-cloud-platform]]></category>
            <dc:creator><![CDATA[Marcus Andrade]]></dc:creator>
            <pubDate>Fri, 06 Feb 2026 12:59:38 GMT</pubDate>
            <atom:updated>2026-02-06T13:06:20.590Z</atom:updated>
            <content:encoded><![CDATA[<p>Como o Google está tentando acabar com aquele ritual corporativo de pedir queries para o time de dados</p><p>Outro dia estava em uma call com um cliente quando o gerente comercial soltou a clássica: “Preciso saber quantos leads converteram no último trimestre, segmentado por região. Alguém do BI pode me ajudar?”</p><p>O analista de dados suspirou. Eu suspirei. Todo mundo suspirou.</p><p>Não porque a pergunta era difícil. Mas porque esse ritual se repete umas 47 vezes por semana em qualquer empresa que trabalha com dados. O pessoal de negócio precisa de uma informação, não sabe SQL, e fica dependendo do time técnico pra responder perguntas que, convenhamos, deveriam ser triviais.</p><p>Foi pensando nisso que comecei a explorar o Conversational Analytics do BigQuery. E olha, a coisa é mais interessante do que eu esperava.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/846/1*Z0Nx17a3ztGfkPIUr2NJFg.png" /></figure><h3>Tá, mas o que é isso exatamente?</h3><p>Em termos simples: você conversa com seus dados. Em português (ou inglês, ou qualquer língua). Sem SQL.</p><p>Parece mágica de startup que vai quebrar em 6 meses? Também achei. Mas não é.</p><p>O Google integrou o Gemini direto no BigQuery Studio. Você aponta pra suas tabelas, faz uma pergunta tipo “qual foi o faturamento por produto nos últimos 3 meses?” e o sistema gera o SQL, executa, e te devolve a resposta — às vezes até com um gráfico bonitinho.</p><p>A diferença pra outros “text-to-SQL” que já testei é que esse aqui entende contexto. Você pode fazer uma pergunta, receber a resposta, e depois refinar: “agora me mostra só a região Sul” ou “compara com o mesmo período do ano passado”. Ele mantém o fio da conversa.</p><h3>O que mudou na prática?</h3><p>Testei bastante nas últimas semanas e separei o que realmente funciona do que é marketing.</p><p><strong>O que funciona bem:</strong></p><p>O negócio é surpreendentemente bom em entender jargão de negócio. Quando você configura o agente com contexto sobre suas tabelas tipo “a coluna stg_id representa o estágio do funil de vendas&quot; ele passa a interpretar perguntas como &quot;quantos leads estão no topo do funil?&quot; sem você precisar explicar que &quot;topo do funil&quot; significa stg_id IN (1, 2).</p><p>Também curti que ele mostra o SQL gerado. Nada de caixa preta. Você vê exatamente o que foi executado, pode copiar, ajustar, salvar. Isso é importante pra quem precisa validar ou reaproveitar a query depois.</p><p><strong>O que ainda patina:</strong></p><p>Perguntas ambíguas confundem. “Me mostra os clientes mais importantes” importantes como? Maior faturamento? Mais tempo de casa? Mais pedidos? Se você não for específico, ele chuta. E às vezes chuta errado.</p><p>Joins complexos também são um desafio. Se sua modelagem de dados parece um mapa do metrô de Tokyo, o agente vai sofrer. Ele funciona melhor com schemas bem organizados e documentados.</p><h3>Quem deveria usar isso?</h3><p>Vou ser honesto: não é pra todo mundo.</p><p>Se você tem um time de dados maduro, com dbt rodando, documentação em dia, e processos bem definidos, o Conversational Analytics pode ser um game changer pra democratizar o acesso aos dados. O pessoal de vendas, marketing, financeiro todo mundo pode tirar dúvidas rápidas sem abrir ticket.</p><p>Agora, se seu data warehouse é aquela colcha de retalhos com tabelas nomeadas tipo tb_vendas_v2_final_USAR_ESSA, esquece. O agente vai se perder tanto quanto qualquer humano se perderia.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/843/1*lSxuLa8vkRc2MRXxAB3slA.png" /></figure><h3>A parte que ninguém fala: governança</h3><p>Uma coisa que me chamou atenção foi como eles trataram segurança. O agente respeita as permissões do BigQuery. Se o usuário não tem acesso a uma tabela, ele não consegue perguntar sobre ela. Simples assim.</p><p>Também dá pra criar “verified queries” que são basicamente queries aprovadas pelo time de dados que o agente usa como referência. Tipo: “quando alguém perguntar sobre faturamento, usa essa query aqui que é a oficial”. Isso evita aquele problema clássico de cada um calcular receita de um jeito diferente.</p><h3>Quanto custa?</h3><p>Durante o preview, não tem custo adicional além do compute normal do BigQuery. Ou seja, você paga pelas queries que rodam, como sempre. O “chat” em si é de graça por enquanto.</p><p>Quando sair do preview? Ninguém sabe. Conhecendo o Google, provavelmente vai ter um tier gratuito limitado e planos pagos pra uso intensivo. Mas isso é especulação minha.</p><h3>Vale a pena testar?</h3><p>Se você trabalha com dados no GCP, sim. Nem que seja pra matar a curiosidade.</p><p>O setup é rápido você cria um agente, aponta pras tabelas, adiciona um pouco de contexto, e já pode sair perguntando. Em 15 minutos você tem uma noção se funciona pro seu caso de uso ou não.</p><p>Agora, se vai substituir o time de BI? Não. Pelo menos não agora. Perguntas simples ele resolve bem. Análises mais elaboradas ainda precisam de alguém que saiba o que está fazendo.</p><p>O que ele faz é tirar aquela carga de “queries de corredor” das costas do time técnico. E só isso já vale bastante.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/846/1*oCaJYyzY7Ht5mojWixgl_w.png" /></figure><h3>Conclusão</h3><p>O Conversational Analytics não é revolução. É evolução.</p><p>É mais um passo nessa jornada de tentar fazer com que dados sejam acessíveis pra quem precisa deles, não só pra quem sabe escrever SQL. A tecnologia ainda tem limitações, mas a direção é clara.</p><p>Daqui a alguns anos, perguntar “qual foi o faturamento do mês passado?” vai ser tão natural quanto fazer essa pergunta pro Google hoje. A diferença é que a resposta vai vir dos seus dados, não da internet.</p><p>E aquele ritual de “me manda esse SQL”? Com sorte, vai virar história pra contar pros estagiários.</p><p>Se quiser trocar uma ideia sobre data engineering ou arquitetura de dados, me chama no <a href="https://www.linkedin.com/in/madrade/">LinkedIn</a>. Sempre bom conversar com quem está no mesmo barco.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d6254fb8fb20" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Google ADK — Agent Development Kit]]></title>
            <link>https://medium.com/@madrade1472/google-adk-agent-development-kit-0c1a8c654ee1?source=rss-a7ca5b8dbc38------2</link>
            <guid isPermaLink="false">https://medium.com/p/0c1a8c654ee1</guid>
            <category><![CDATA[google-cloud-platform]]></category>
            <category><![CDATA[google-adk]]></category>
            <dc:creator><![CDATA[Marcus Andrade]]></dc:creator>
            <pubDate>Wed, 24 Sep 2025 04:09:55 GMT</pubDate>
            <atom:updated>2025-09-24T04:09:55.635Z</atom:updated>
            <content:encoded><![CDATA[<h3>Google ADK — Agent Development Kit</h3><h3>Integrando Agentes Google ADK como Funções Definidas pelo Usuário (UDF) no BigQuery</h3><p><strong>Resumo</strong>: Neste guia, você aprenderá a criar um agente com o Google <strong>Agent Development Kit (ADK)</strong>, implantá-lo no <strong>Vertex AI Agent Builder</strong> e utilizá-lo diretamente dentro de consultas <strong>BigQuery</strong> como uma <strong>User Defined Function (UDF)</strong>.<br> Essa abordagem permite orquestrar fluxos complexos de IA em escala, processando dados <em>on demand</em> a partir de SQL.</p><h3>1. Contexto: por que usar ADK + BigQuery?</h3><p>Organizações que lidam com grandes volumes de dados já utilizam o BigQuery para análises SQL em larga escala.<br> Com o <strong>Google ADK</strong>, é possível criar <em>multi-agents</em> (agentes que cooperam entre si) capazes de raciocinar, enriquecer dados ou executar tarefas avançadas.<br> Integrar esses agentes como UDFs no BigQuery traz benefícios claros:</p><ul><li><strong>Escalabilidade</strong>: consultas SQL disparam agentes de IA sob demanda.</li><li><strong>Centralização</strong>: tudo é chamado de dentro do BigQuery, sem pipelines extras.</li><li><strong>Flexibilidade</strong>: qualquer tipo de agente — desde análises de texto a visão computacional — pode ser incorporado.</li></ul><h3>2. Arquitetura em alto nível</h3><ol><li><strong>Agente ADK</strong> — Implementa a lógica (ex.: classificação de imagens, análise de sentimentos ou cálculo de risco).</li><li><strong>Vertex AI Agent Builder</strong> — Hospeda o agente como um endpoint escalável.</li><li><strong>BigQuery UDF</strong> — Função em Python que chama o endpoint do agente, permitindo que a consulta SQL invoque o agente linha a linha.</li></ol><p>O fluxo é simples:<br> Consulta SQL → UDF em Python → Endpoint do Agente → Retorno do Resultado</p><h3>3. Passo a Passo</h3><h3>3.1 Criar o agente no ADK</h3><ul><li>Desenvolva em Python, definindo o raciocínio do agente e os sub-agentes necessários.</li><li>Teste localmente para garantir consistência.</li></ul><h3>3.2 Implantar no Vertex AI Agent Builder</h3><ul><li>Faça <em>deploy</em> do agente como um serviço HTTP.</li><li>Configure autenticação via <strong>Service Account</strong>.</li></ul><h3>3.3 Criar a UDF no BigQuery</h3><ul><li>Use uma <em>remote function</em> em Python para chamar o endpoint do agente.</li><li>Exemplo de UDF:</li></ul><pre>CREATE OR REPLACE FUNCTION<br>  my_dataset.call_adk_agent(uri STRING, content_type STRING, question STRING)<br>RETURNS STRING<br>REMOTE WITH CONNECTION `project.region.connection_name`<br>OPTIONS (<br>  endpoint = &#39;https://vertexai.googleapis.com/v1/projects/&lt;project&gt;/locations/&lt;region&gt;/endpoints/&lt;endpoint_id&gt;&#39;,<br>  user_defined_context = &#39;invoke_adk_agent&#39;<br>);</pre><h3>3.4 Consultar os dados</h3><ul><li>Agora, qualquer tabela pode acionar o agente:</li></ul><pre>SELECT<br>  file_uri,<br>  my_dataset.call_adk_agent(file_uri, &#39;image/png&#39;, &#39;Qual a condição desta árvore?&#39;) AS analysis<br>FROM<br>  `project.dataset.images`;</pre><p>Cada linha da tabela dispara uma chamada ao agente e retorna o resultado na própria query.</p><h3>4. Boas Práticas</h3><ul><li><strong>Gerenciamento de custos</strong>: monitore quantas vezes a UDF é chamada para evitar custos inesperados.</li><li><strong>Controle de versão</strong>: mantenha versionamento dos agentes para reprodutibilidade.</li><li><strong>Logs e métricas</strong>: use Cloud Logging para rastrear latência e erros.</li></ul><h3>5. Casos de Uso</h3><ul><li><strong>Análise de Imagens em Lote</strong>: classificação, detecção de anomalias.</li><li><strong>Processamento de Linguagem Natural</strong>: sumarização de textos, análise de sentimento.</li><li><strong>Enriquecimento de Dados</strong>: validações, cruzamento de informações externas.</li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=0c1a8c654ee1" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[DBT + DATABRICKS]]></title>
            <link>https://medium.com/@madrade1472/dbt-databricks-f57c458b7059?source=rss-a7ca5b8dbc38------2</link>
            <guid isPermaLink="false">https://medium.com/p/f57c458b7059</guid>
            <category><![CDATA[data-engineer]]></category>
            <category><![CDATA[databricks]]></category>
            <category><![CDATA[dbt]]></category>
            <category><![CDATA[dbt-cloud]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Marcus Andrade]]></dc:creator>
            <pubDate>Mon, 04 Aug 2025 04:10:59 GMT</pubDate>
            <atom:updated>2025-08-04T04:10:59.362Z</atom:updated>
            <content:encoded><![CDATA[<p>Como montar a conexão corretamnete e trabalhar suas querys e modelos</p><p>Neste primeiro passo, vamos construir a conexão com o DataBricks criar nossa primeira Tabela para podermos ter dados de amostras:</p><p>Acesse o Databricks:</p><p>Navegue até:<br>Workspace &gt; crie Seu workspace</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jJ462S1tZr0iahk6kQaoRg.png" /></figure><p>Em seguida:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GBbvf0HT1xiI0sqU_bmP9A.png" /></figure><p>Para poder facilitar a carga dos seus dados de uma maneira mais prática.</p><p>No meu caso, utilizando a tabela com arquivos “Pokemon.csv”</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fyJtO9-za9qoA26f80pe8w.png" /></figure><p>Ao carregar o modelo selecione o processo necessário criar uma nova tabela ou Sobrescrever (“create or replace table”)</p><p>Pronto, verá sua tabela no workspace:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8qdKFW_Vb3fR5j0BWkeeTA.png" /></figure><p>Agora vamos montar a conexão mais importante o DBT com o Databricks:</p><p>Ao acessar o DBT va até projetos ou instâncias e navegue diretamente aos projetos ou novas conexões:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dTsQRMu6S5J82f3bRrHnVQ.png" /></figure><p>Dê um nome ao seu projeto :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FYKFNOPLN0s3fSEsn396iQ.png" /></figure><p>Agora monte a nova conexão:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4iAG8GknAhqzgMHjN6szOQ.png" /></figure><p>Selecione o modelo de conexão:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2rpCx2Ol1C0Ep4ZDEyJ8og.png" /></figure><p>Agora o próximo passo o nome da sua conexão:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UObXojnwadBMYxu8nXfLCQ.png" /></figure><p>Nesta parte de settings, devemos ir até o Databricks para coletar os dados necessários:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4RMq51TeHSTu5fr9s9ByhQ.png" /></figure><p>Navegue até onde você deseja se conectar:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*G_J78LbRs6JKpzwBNNsO-g.png" /></figure><p>Em seguida :</p><p>Clique na sua instância:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0GhhOyVJE9FVnw_by9jr3Q.png" /></figure><p>Navegue até Connection Details:</p><p>E copie os valores:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/940/1*r88jZhYxkxCiT0RK8xHlDg.png" /></figure><p>Os mesmos valores, devem ser preenchidos no DBT</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*F_7vUA9S_nyFLwPx4wjhpw.png" /></figure><p>Ao preencher Salve:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fPGsHa6YA2x6x07nbYnIlg.png" /></figure><p>Um pouco mais abaixo teremos a opção do estilo de dataset que teremos :</p><p>Selecione aquilo que condiz com sua realidade:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aVUtk4i_weYXNmcjHT5KRA.png" /></figure><p>Volte a tela principal do DBT e selecione sua conexão :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vYS4YOcrGRvqd8PiTAOqLg.png" /></figure><p>Será necessário criar um token de acesso :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zS-4-aiVOcG8DRJuLB15Tg.png" /></figure><p>Navegue até o Databricks Novamente:</p><p>Até o seu cluster:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hApklcRu5cmOVz-W8n3VDQ.png" /></figure><p>Em seguida clique nele e nague até criar token de acesso personalizado:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4tOCxghh8Y6Xsc31APkrXQ.png" /></figure><p>Clique em generate token:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5npBgRfEZsp9bRMApeln9g.png" /></figure><p>Selecione o tempo e duração:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/855/1*ULMz1Bfq3UtPPBA58K19pQ.png" /></figure><p>Será gerado um novo token, copie e salve-o</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/664/1*qukxqKPXFaXEY8X5Yn8qQg.png" /></figure><p>Preencha com seu token e as demais informações no DBT:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*uhtwupmBkVrQbHF51X03KA.png" /></figure><p>Clique em Test Connection:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_HN2nw_pLATYrtyB1bpqfQ.png" /></figure><p>Aguarde até o processo ser finalizado</p><p>Caso seu processo apresente alguns erros tal como :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1021/1*8MzQafnhp27RWWr3CqahmQ.png" /></figure><p>Navegue até Account Settings:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uXs6WbvNoxp4Gp640RV_4g.png" /></figure><p>Verifique a conexão, volte ao databricks e veja:</p><pre>SHOW SCHEMAS IN workspace;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5NPZrbN_VInDuPPIYreuzw.png" /></figure><p>Se os schemas estão presentes:</p><p>Depois rode o</p><pre><br>SHOW CATALOGS;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/652/1*l2EsL2n3NTeXbfv9scOkjw.png" /></figure><p>Edite sua conexão:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lFf7HbXrC9zh0NGitevEJQ.png" /></figure><p>Salve o processo.</p><p>Agora crie seu repositório, feito isto, agora crie seus environment:</p><p>E de o nome correto a sua conexão:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eaKTk74zJmtTWoIRmqEIpg.png" /></figure><p>Preencha e teste novamente:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wfDcBS2NWMzxUTpClZjcNw.png" /></figure><p>Salve o processo.</p><p>E pronto, temos uma conexão pronta, agora para validar seus dados, fique de olho que logo logo posto mais contéudo.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f57c458b7059" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apache Airflow: Guia Completo de Quando Usar e Evitar, com Exemplos Reais e Arquiteturas]]></title>
            <link>https://medium.com/@madrade1472/apache-airflow-guia-completo-de-quando-usar-e-evitar-com-exemplos-reais-e-arquiteturas-fd847044caa0?source=rss-a7ca5b8dbc38------2</link>
            <guid isPermaLink="false">https://medium.com/p/fd847044caa0</guid>
            <dc:creator><![CDATA[Marcus Andrade]]></dc:creator>
            <pubDate>Mon, 07 Jul 2025 03:08:00 GMT</pubDate>
            <atom:updated>2025-07-07T03:08:00.610Z</atom:updated>
            <content:encoded><![CDATA[<p>O <strong>Apache Airflow</strong> é uma das ferramentas mais populares para <strong>orquestração de workflows de dados</strong> em ambientes de engenharia moderna. Mas sua adoção deve ser estratégica. Neste artigo, você vai entender:</p><ul><li>O que é e como funciona o Airflow</li><li>Quando <strong>usar</strong></li><li>Quando <strong>evitar</strong></li><li>Casos reais de empresas como Airbnb e OLX</li><li>Arquiteturas práticas para aplicar hoje</li><li>Ferramentas alternativas ao Airflow</li></ul><h3>O que é Apache Airflow?</h3><p><a href="https://airflow.apache.org/">Apache Airflow</a> é uma plataforma open source para <strong>criação, agendamento e monitoramento de pipelines de dados</strong> por meio de DAGs (Directed Acyclic Graphs). Isso significa que você pode modelar fluxos complexos de tarefas com dependências, agendar execuções, e ter <strong>visibilidade total do pipeline</strong>.</p><p>Desenvolvido pelo Airbnb, hoje o Airflow é um projeto mantido pela <a href="https://www.apache.org/">Apache Software Foundation</a>.</p><h3>Quando usar o Airflow? (Cenários Reais)</h3><p>O Airflow é uma excelente escolha nos seguintes cenários:</p><ul><li><strong>Workflows com múltiplas dependências</strong> e lógica condicional</li><li><strong>ETL/ELT batch</strong> (diários, semanais, etc.)</li><li>Necessidade de <strong>reexecução controlada</strong> em caso de falha</li><li>Observabilidade e rastreabilidade via logs e UI</li><li>Pipelines com tarefas escritas em <strong>Python</strong>, <strong>Bash</strong>, <strong>Spark</strong>, <strong>SQL</strong>, etc.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/1*Jcr_zPe_QN-l1sEH8TWh4Q.png" /></figure><h3>Exemplos reais</h3><h4>Airbnb</h4><blockquote><em>O Airflow nasceu para orquestrar milhares de workflows com Spark, Hive, Redshift e APIs internas.</em></blockquote><h4>OLX Brasil</h4><blockquote><em>A empresa usa o Cloud Composer para agendar pipelines que extraem dados de APIs, transformam com Python e carregam no BigQuery.</em></blockquote><h4>Stripe</h4><blockquote><em>Integra alertas e auditoria em Airflow para pipelines de dados financeiros, com Slack e ferramentas de compliance.</em></blockquote><h3>Quando não usar o Airflow? (Evite nesses casos)</h3><p>Apesar da popularidade, Airflow <strong>não é para todo tipo de fluxo</strong>. Ele pode ser uma escolha pesada ou inadequada em situações como:</p><ul><li>Workflows extremamente <strong>simples</strong> (por exemplo, uma única query)</li><li>Necessidade de <strong>tempo real</strong> (event streaming → use Kafka, Pub/Sub, Beam)</li><li>Tarefas <strong>muito rápidas</strong> e frequentes (Airflow tem overhead)</li><li>Workflows <strong>independentes</strong>, sem dependência entre tarefas</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*a4jVsxcZOKFr5l7S3ijFlw.png" /></figure><h3>Arquiteturas com Airflow</h3><h3>Pipeline de ETL com Airflow no GCP</h3><pre>[Cloud Composer]<br>     ↓<br>   [Airflow]<br>     ↓<br>┌────────────┬────────────────────┬──────────────┐<br>│ Extract API│ Transform (Python) │ Load BigQuery│<br>└────────────┴────────────────────┴──────────────┘</pre><p>MLOps com Airflow + VertexAI</p><pre>[Airflow DAG]<br>     ↓<br>[Coleta de Dados]<br>     ↓<br>[Feature Engineering]<br>     ↓<br>[Modelo Treinado]<br>     ↓<br>[Deploy Vertex AI]</pre><h3>Alternativas ao Airflow</h3><p>Se Airflow parecer pesado para sua aplicação, considere estas alternativas:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/798/1*FZCO7auEFbLjazH2Kj3CjQ.png" /></figure><p>Links : <a href="https://www.prefect.io/">https://www.prefect.io/</a> , <a href="https://dagster.io/">https://dagster.io/</a> , <a href="https://argo-workflows.readthedocs.io/">https://argo-workflows.readthedocs.io/</a> , <a href="https://www.getdbt.com/">https://www.getdbt.com/</a> , <a href="https://learn.microsoft.com/en-us/azure/data-factory/">https://learn.microsoft.com/en-us/azure/data-factory/</a></p><h3>Conclusão</h3><p><strong>Apache Airflow é poderoso, mas não é para tudo.</strong></p><p>Use Airflow se:</p><ul><li>Seu workflow tem dependências complexas</li><li>Você precisa de agendamento e reexecução</li><li>É necessário rastrear, monitorar e notificar erros</li></ul><p>Evite se:</p><ul><li>O fluxo é simples e isolado</li><li>Tempo real é requisito</li><li>Você quer evitar infraestrutura complexa</li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fd847044caa0" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ GitHub dos Cria: Guia Completaço pra Quebrada Tech]]></title>
            <link>https://medium.com/@madrade1472/github-dos-cria-guia-completa%C3%A7o-pra-quebrada-tech-7b50e43bf35e?source=rss-a7ca5b8dbc38------2</link>
            <guid isPermaLink="false">https://medium.com/p/7b50e43bf35e</guid>
            <category><![CDATA[git]]></category>
            <category><![CDATA[github]]></category>
            <category><![CDATA[data]]></category>
            <dc:creator><![CDATA[Marcus Andrade]]></dc:creator>
            <pubDate>Wed, 30 Apr 2025 03:09:13 GMT</pubDate>
            <atom:updated>2025-04-30T03:12:05.282Z</atom:updated>
            <content:encoded><![CDATA[<p><strong>Escrito por: Um dos seus (Marcus Andrade).</strong><br><strong>No Grau visão meu consagrado</strong></p><h3>✨ Introdução — Git e GitHub: As Ferramentas da Firma</h3><p>Git é como aquele diário de trampo onde você anota tudo que fez no código. Cada alteração é registrada, como se fosse um save de jogo. Já o GitHub é onde a quebrada inteira cola pra ver, revisar, comentar, e lançar os códigos brabo no mundão. Juntos, esses dois viram a base de qualquer projeto sério.</p><p>Git é o <strong>salva progresso</strong>, GitHub é o <strong>estúdio de colaboração mundial</strong>.</p><h3>🛠️ Capítulo 1 — Instalando Git no Teu PC</h3><h3>Windows</h3><ol><li>Vai em: <a href="https://git-scm.com/downloads">https://git-scm.com/downloads</a></li><li>Clica em “Download for Windows”</li><li>Instala no modo padrão (next-next-finish)</li></ol><h3>Verificando se funcionou</h3><pre>git --version</pre><p>Se aparecer algo tipo git version 2.41.0, cê tá no corre!</p><h3>Capítulo 2 — Se Identificando no Corre</h3><p>Antes de subir qualquer código, se apresenta pro Git:</p><pre>git config --global user.name &quot;Seu Nome Brabo&quot;<br>git config --global user.email &quot;seu@email.com&quot;</pre><p>Pra conferir se registrou direitinho:</p><pre>git config - list</pre><h3>🧱 Capítulo 3 — Criando um Projeto Git: Do Zero ao Repositório</h3><pre>mkdir projeto-quebrada<br>cd projeto-quebrada<br>git init</pre><p>Isso aqui transforma a pasta num repositório local, ou seja, começa o rastreamento do Git.</p><h3>🗃️ Capítulo 4 — Adicionando Arquivos e Fazendo Commit</h3><h3>1. Adicionar arquivos ao stage:</h3><pre>git add nome_do_arquivo.txt</pre><p>Ou tudo:</p><pre>git add .</pre><h3>2. Fazer o commit (salvar com nome)</h3><pre>git commit -m &quot;Primeiro commit dos cria&quot;</pre><p>Você pode ver o que tá pra ser commitado com:</p><pre>git status</pre><h3>☁️ Capítulo 5 — Subindo pro GitHub</h3><ol><li>Crie um repositório no GitHub (sem README se for o primeiro push)</li><li>Conecte com seu repositório local:</li></ol><pre>git remote add origin https://github.com/seunome/seurepo.git</pre><ul><li>Faça o primeiro push:</li></ul><pre>git push -u origin main</pre><p>Se a branch principal for master:</p><pre>git push -u origin master</pre><h3>🔁 Capítulo 6 — Atualizando e Pegando Mudanças</h3><h3>Mandar mudanças pro GitHub:</h3><pre>git add .<br>git commit -m &quot;Atualizações no projeto&quot;<br>git push</pre><h3>Puxar o que a quebrada mandou:</h3><pre>git pull</pre><h3>🌿 Capítulo 7 — Trabalhando com Branch (Desviar e Voltar no Corre)</h3><h3>Criar uma nova branch</h3><pre>git checkout -b feature-nova</pre><h3>Trocar de branch</h3><pre>git checkout main</pre><h3>Ver as branches existentes</h3><pre>git branch</pre><h3>Subir uma branch nova</h3><pre>git push -u origin feature-nova</pre><h3>🔀 Capítulo 8 — Merge: Juntando os Códigos</h3><h3>Voltar pra main</h3><pre>git checkout main</pre><h3>Juntar com outra branch</h3><pre>git merge feature-nova</pre><p>Se der conflito, resolve os arquivos no braço e depois faz:</p><pre>git add .<br>git commit -m &quot;Resolvendo conflito&quot;</pre><h3>📛 Capítulo 9 — Ignorar os Lixos: .gitignore</h3><p>Crie um arquivo .gitignore com o conteúdo:</p><pre>*.log<br>node_modules/<br>.env<br>__pycache__/</pre><p>Tudo que tiver ali dentro vai ser ignorado na hora do push.</p><h3>📥 Capítulo 10 — Clonando Projeto da Firma</h3><p>Se quiser pegar um projeto de alguém:</p><pre>git clone https://github.com/seunome/repositorio.git</pre><h3>🕰️ Capítulo 11 — Histórico do Trampo</h3><h3>Ver commits</h3><pre>git log</pre><h3>Ver status atual</h3><pre>git status</pre><h3>Ver diferenças</h3><pre>git diff</pre><h3>💾 Capítulo 12 — Stash: Salvando Rascunho</h3><p>Quer guardar o que tá fazendo e trocar de branch:</p><pre>git stash</pre><p>Quer voltar ao que tava fazendo:</p><pre>git stash pop</pre><h3>🧠 Capítulo 13 — Reset: Voltar Atrás sem Traumas</h3><h3>Voltar commit local:</h3><pre>git reset --soft HEAD~1  # volta mas mantém arquivos</pre><h3>Deleta tudo do último commit:</h3><pre>git reset --hard HEAD~1</pre><h3>🏷️ Capítulo 14 — Tag: Marcando Versão Oficial</h3><pre>git tag -a v1.0 -m &quot;Versão 1.0 - Estável&quot;<br>git push origin v1.0</pre><h3>📬 Capítulo 15 — Pull Request: Pedindo Aprovação da Firma</h3><ol><li>Sobe tua branch com git push</li><li>Vai no GitHub &gt; Abre um Pull Request</li><li>Explica o que fez e espera o feedback da quebrada</li></ol><h3>🔄 Capítulo 16 — Fork: Clonando Projeto de Outro Dev</h3><p>Quer contribuir num projeto que não é seu?</p><ol><li>Vai no projeto no GitHub</li><li>Clica em <strong>Fork</strong></li><li>O projeto será copiado pro seu perfil</li><li>Você pode trabalhar, melhorar e depois mandar um Pull Request</li></ol><h3>🔚 Capítulo Final — Conclusão da Quebrada</h3><p>Git e GitHub são ferramentas fundamentais no corre de qualquer dev. Seja pra um trampo solo ou colaborativo, usar versionamento mostra que você tá no grau. Segue os comandos, treina na humildade e cola com os brabo.</p><p>No começo parece difícil, mas com o tempo vira reflexo. Se bater dúvida, digita git help ou cola no StackOverflow, que é tipo a quebrada mundial dos devs.</p><blockquote><strong><em>Git é compromisso, GitHub é conexão. Bora dominar e lançar no mundo os projetos da favela pro mundão!</em></strong></blockquote><blockquote>Valeu por colar até o fim, cria. Agora é contigo — estuda, pratica e leva esse conhecimento pra quebrar tudo na área tech! 🚀</blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7b50e43bf35e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[DATABRICKS]]></title>
            <link>https://medium.com/@madrade1472/databricks-d914016aec8f?source=rss-a7ca5b8dbc38------2</link>
            <guid isPermaLink="false">https://medium.com/p/d914016aec8f</guid>
            <category><![CDATA[databricks]]></category>
            <dc:creator><![CDATA[Marcus Andrade]]></dc:creator>
            <pubDate>Tue, 04 Feb 2025 02:32:45 GMT</pubDate>
            <atom:updated>2025-02-04T02:41:19.194Z</atom:updated>
            <content:encoded><![CDATA[<h3>O modelo de objeto do Catálogo do Unity</h3><p>No Catálogo do Unity, todos os metadados são registrados em um metastore. A hierarquia de objetos de banco de dados em qualquer metastore do Catálogo do Unity é dividida em três níveis, representada como um namespace de três níveis (catalog.schema.table-etc) quando você faz referência a tabelas, exibições, volumes, modelos e funções.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/888/1*_XKhjLSe7_GwMS4ryhI-4w.png" /></figure><h3>Metastores</h3><p>O metastore é o contêiner de nível superior para metadados no Catálogo do Unity. Ele registra metadados sobre dados e ativos de IA e as permissões que controlam o acesso a eles. Para um workspace usar o Catálogo do Unity, ele deve ter um metastore do Catálogo do Unity anexado.</p><p><strong>Mount</strong> — Usávamos para referenciar tudo dentro do nosso Storage, camadas temporárias e tabelas de produção.</p><p><strong>External Location (Ou Metastore Root)</strong>: Agora todas as suas tabelas de produção você ira colocá-las em uma External Location</p><p><strong>Volumes</strong> — As camadas temporárias, arquivos Ad hocs, testes, pode usar um Volume</p><p>Com o CATALOG podemos visualizar os schemas do que estão e são foram criados no ambiente tal como :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/568/1*Vp4sUSF1YCRbrpYY-YpKTw.png" /><figcaption>Abra o editor SQL do databricks e digite o comando %SQL SHOW CATALOG;</figcaption></figure><p>E o resultado do comando seria tal como:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/241/1*8zysrfohF5L8AJs3OGFTZQ.png" /><figcaption>Resultado da Query após o comando</figcaption></figure><p>Com isto podemos verificar corretamente todo o catálogo que possuímos e as estruturas assim disponíveis.</p><p>Podemos tambémn listar os schemas, dentro do catalog:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/204/1*KwSVs6iWtiMHO2stJcr0qQ.png" /><figcaption>Nosso select sempre buscando o Schema conforme listado acima na imagem superior</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/158/1*7R9P0Gk9ApYwnSC-jOLgfA.png" /><figcaption>Retorno da query no schema criado</figcaption></figure><p>Liste as tabelas dentro do esquema</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/813/1*cwMo5wPNEAbEH5krenC6yg.png" /></figure><p>Com isto podemos ver também o schema e as tabelas que compõem o mesmo, porém podemos ver estas mesmas opções no nosso canto esquerdo da tela :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lf2uaAuWGI4SX9dr827hWg.png" /><figcaption>Exemplo de onde também podemos buscar as tabelas</figcaption></figure><p>Podemos dando sequência conseguir visualizar a questão de tipagem de campos :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/927/1*tFfK5yyQ73mt4ROdx1tCsg.png" /><figcaption>Podemos ver o data type das informações contigdas em uma tabela</figcaption></figure><p>Um ponto importante que podemos ver é ao deixarmos nosso cursor parado encima do schema da tabela será exibido um pop-up para nós da seguinte forma:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/411/1*WQWhSdh8sdBnaDDt3S5org.png" /><figcaption>PopUp apresentado</figcaption></figure><p>Ao clicarmos no schema apresentado poderemos ver a seguinte descrição:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/405/1*Kc8BVxE-4kcqkIpoEt6XLA.png" /><figcaption>Clique no Schema</figcaption></figure><p>Ao clicar no Schema mostrado, e conseguiremos visualizar ainformação se são Tabelas ou Views:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/274/1*lGO3dr9yahbEmhEUwPeCPw.png" /><figcaption>Exibição tabelas ou views</figcaption></figure><p>Caso cliquemos em Catalog Explorer:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/411/1*4MPxGOZpzLbXb3HO-huuiQ.png" /></figure><p>Não teremos a mesma visão se são views ou tabelas:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/312/1*NXfFb5KWGq7HQNRFPbiYwg.png" /><figcaption>Visão do catalog explorer</figcaption></figure><p>Porém para uma melhor definição, podemos distinguir tabelas de views olhando da seguinte forma, ao olhar o schema:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/32/1*V5gVE6jfhc5tdhVIGc53Ww.png" /><figcaption>Vemos que Tabelas possuem apenas um formato de tabela e views um formado com um pequeno ‘òculos’ no canto inferior</figcaption></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d914016aec8f" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>