<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Dan Mashiter on Medium]]></title>
        <description><![CDATA[Stories by Dan Mashiter on Medium]]></description>
        <link>https://medium.com/@danmashiter?source=rss-b0f3e3c47911------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*AuxXHeLxtwwOys3DZ4T2Xw.png</url>
            <title>Stories by Dan Mashiter on Medium</title>
            <link>https://medium.com/@danmashiter?source=rss-b0f3e3c47911------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 00:52:05 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@danmashiter/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[O Futuro da Linhagem de Dados: Além do Diagrama]]></title>
            <link>https://medium.com/alvin-br/o-futuro-da-linhagem-de-dados-al%C3%A9m-do-diagrama-b39926e3ae86?source=rss-b0f3e3c47911------2</link>
            <guid isPermaLink="false">https://medium.com/p/b39926e3ae86</guid>
            <category><![CDATA[português]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[data-lineage]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[tech]]></category>
            <dc:creator><![CDATA[Dan Mashiter]]></dc:creator>
            <pubDate>Tue, 30 Aug 2022 15:58:04 GMT</pubDate>
            <atom:updated>2022-09-07T11:58:26.258Z</atom:updated>
            <content:encoded><![CDATA[<p><em>My post </em><a href="https://medium.com/alvin-ai/the-future-of-data-lineage-beyond-a-diagram-2b7d3fec6037"><em>The Future of Data Lineage — Beyond a Diagram</em></a>, t<em>ranslated into Portuguese by </em><a href="https://medium.com/u/537cd0485e79"><em>Gabs Ferreira</em></a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/1*PImb7WnCttD7dO3pKCmVhA.png" /></figure><p>Pra a grande maioria, o termo linhagem de dados evoca pensamentos de um diagrama de linhagem, com nós e conexões entre esses nós. Um pouco como uma árvore genealógica, se você tivesse parentes chamados <em>SALES_QUANTITY</em> e <em>PRODUCT_KEY</em>.</p><p>É basicamente assim que vimos a linhagem, até que inúmeras conversas com engenheiros de dados nos fizeram perceber que <strong>este é apenas o ponto de partida</strong>.</p><p>Inicialmente, ficamos surpresos com o quão instigante era o termo “linhagem de dados”. A maioria dos engenheiros de dados já tinha pensado sobre o assunto e muitos estavam explorando ativamente como poderiam implementar a tal linhagem. Isso foi uma grande validação para Alvin: <strong>identificamos uma dor quase universal sentida na comunidade de dados.</strong></p><p>Quem dera fosse assim tão simples.</p><p>Quanto mais conversávamos, mais dores íamos descobrindo. E em vários graus diferentes, dependendo de uma infinidade de fatores, incluindo função, empresa, ambiente regulatório e stack de tecnologias.</p><p>E aí percebemos que na verdade a linhagem de dados em si não é a dor: é a tecnologia. Perguntar <em>“linhagem de dados é um problema para você?”</em> não é diferente de perguntar <em>“bancos de dados baseados em grafo são um problema pra você?”.</em></p><p>Pra nós, a linhagem de dados é <strong>uma estrutura de dados em tempo real que mapeia as dependências entre colunas, tabelas, dashboards, jobs e pessoas</strong>. É um conjunto de dados como qualquer outro, e um diagrama é apenas uma maneira de representá-lo.</p><p>Parte do motivo pelo qual as ferramentas atuais apenas arranharam a superfície quando se trata de linhagem de dados, é que ela faz parte de uma abordagem de cima para baixo na governança de dados. A tecnologia foi empurrada para os engenheiros de dados, às vezes criando mais dores de cabeça do que resolvendo. Encontramos pouco amor por catálogos de dados corporativos na comunidade de dados.</p><p>Na realidade, são os engenheiros de dados que enfrentam os desafios de garantir uma boa governança todos os dias. Ao compreender verdadeiramente os casos de uso técnico, as melhores práticas de governança de dados podem ser integradas em seus fluxos de trabalho, causando alegria em vez de pavor.</p><p>Vamos agora discutir alguns dos principais casos de uso para linhagem de dados que surgem em nossas conversas com engenheiros de dados, antes de revisitar a questão central de saber se um diagrama é a melhor maneira de resolvê-los.</p><h3>Análise de impacto</h3><p>Sem ter a oportunidade de usar dados de linhagem, fazer alterações na infraestrutura de dados (mesmo em um ambiente relativamente simples) nos foi citado como uma grande dor.</p><p>Algo tão inocente quanto adicionar uma coluna a uma tabela pode ter implicações downstream significativas. Em uma empresa que conversamos, isso fez com que uma métrica usada em relatórios financeiros <strong>ficasse fora por meses</strong>.</p><p>Para tentar evitar isso, é comum inspecionar manualmente logs SQL, DAGs do Airflow, arquivos LookML e arquivos Github. Isso não é só extremamente entediante: é uma enorme perda de tempo de um engenheiro altamente qualificado, assim como algo muito suscetível a falhas. É normal fazer uma alteração e morrer de ansiedade esperando alguém começar a falar no Slack que algo quebrou. Ou pior ainda, o CFO vir te cobrar pessoalmente!</p><p>A partir de nossas conversas, começamos até a categorizar diferentes personas entre os engenheiros de dados. O <strong>Cansado</strong> inspeciona meticulosamente os logs e mapeia as dependências downstream antes de fazer qualquer alteração. O <strong>Sagaz</strong> evita fazer alterações, a menos que seja absolutamente necessário. O <strong>Esperançoso</strong> está tão carregado de outras tarefas que ele faz o que pode e torce pelo melhor.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*q9C7304OCI2rMzNzmuXNRw.png" /></figure><p>Cá entre nós: nenhum deles é o ideal.</p><h3>Detecção de problemas</h3><p>A maioria das perguntas (e reclamações) relacionadas a dados são direcionadas a engenheiros de dados. <em>Por que este dashboard está quebrado? Onde estão os dados mais recentes? Você pode verificar se esta métrica está correta?</em></p><p>Mesmo depois de realizar a análise de impacto, podem ocorrer erros de pipeline de dados. O consumidor de dados geralmente os identifica, e cabe ao engenheiro de dados investigar.</p><p>Outra problema nesse sentido é que, muitas vezes, depois de investigar, os engenheiros de dados não encontraram nenhum erro. Por exemplo: alguém do time marketing que pensou que uma métrica estava fora do ar quando uma campanha simplesmente teve um desempenho inferior. Ou um analista solicitando os dados mais recentes antes da execução do trabalho agendado.</p><p>Com grandes consumidores de dados vêm grandes responsabilidades.</p><p><strong>Priorizar essas tarefas em tempo real, juntamente com seu trabalho principal, sem comprometer a segurança e a privacidade, não é fácil para engenheiros de dados.</strong></p><p>Sem dados de linhagem, o rastreamento do problema é extremamente manual e é alcançado principalmente por meio de uma combinação de conhecimento prévio e trabalho de adivinhação. Um pesadelo em particular pra quem está começando.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*ldKIETz58Mjd_gsb.png" /></figure><h3>Limpeza de dados inativos</h3><p>Quando se trata de um ambiente de análise, os engenheiros de dados expressaram várias vezes a falta de visibilidade sobre quais dados estavam em uso. Sem atenção regular, tabelas e painéis não utilizados podem se acumular rapidamente.</p><p>Tabelas temporárias para análise imediata aparecem mais rápido do que podem ser identificadas e removidas. Dashboards específicos para campanhas geralmente têm uma vida útil limitada, mas quem vai pensar em excluí-los quando eles deixarem de ser úteis?</p><p>É por isso que as pessoas precisam ser incluídas em qualquer gráfico de linhagem de dados. <strong>Antes de excluir uma coluna ou tabela, não apenas os engenheiros de dados precisam saber quais dados dependem dela, mas também de quais pessoas</strong>. Esse contexto ajuda engenheiros de dados a organizarem o ambiente de análise e a se sentirem tranquilos com relação a isso.</p><p>Dentro desta categoria, identificamos alguns casos de uso distintos:</p><ul><li><strong>Limpeza periódica</strong>: como uma faxina de verão, os engenheiros de dados querem se livrar de ativos “obsoletos” de uma só vez.</li><li><strong>Pesquisa de ativos:</strong> um engenheiro de dados deseja saber se um ativo de dados específico está em uso e como esse uso mudou ao longo do tempo.</li></ul><h3>Confiabilidade dos dados</h3><p>Ajudar os consumidores de dados a entender se podem confiar nos dados geralmente é tratado de forma imediatista por engenheiros de dados. Perguntas comuns aqui podem incluir: <em>Como este campo é calculado? Devo usar o campo VALOR ou PREÇO? De onde vêm esses dados? </em>Esses tipos de perguntas são mais comuns ao trabalhar com novos conjuntos de dados.</p><p>Catálogos de dados open source como Amundsen (Lyft) e DataHub (Linkedin), fizeram (e fazem) sucesso pelo fato de que havia uma tonelada de dados úteis que não estavam sendo usados ​​porque as pessoas não tinham como encontrá-los. Mas novos conjuntos de dados não são tão úteis, a menos que sejam confiáveis.</p><p>Os catálogos de dados resolvem isso por meio de metadados (proprietários, descrições, classificações etc.). Mas a fonte dos dados, como os campos são calculados e como são usados ​​são vistos regularmente como os fatores mais importantes para a confiança. Os dados de linhagem podem fazer com que a confiança nos dados seja algo natural e reduzir a carga dos engenheiros de dados para desempenhar essa função.</p><h3>Rastreamento de dados PII</h3><p>Engenheiros de dados descrevem privacidade como uma grande preocupação e algo que acaba sendo uma fonte de estresse com a qual eles precisam aprender a conviver. Grande parte do trabalho necessário para cumprir os regulamentos de privacidade recentes e mais rigorosos, como a LGPD, recai sobre seus ombros.</p><p>Em um ambiente de dados moderno, os dados confidenciais (por definição) passarão da fonte de dados para muitas tabelas diferentes, dashboards, notebooks, planilhas, modelos de aprendizado de máquina e muito mais. Manter o controle manual de onde os dados PII terminam com 100% de precisão é quase impossível.</p><p>Para dar um exemplo concreto, se um cliente exercer seu direito de exclusão sob a LGPD, como você rastrearia e excluiria todos os seus dados? Com as multas e o risco de reputação em jogo, não há espaço para erros. A tecnologia de linhagem pode ser extremamente valiosa aqui, rastreando dados confidenciais onde quer que fluam, até mesmo nos cantos mais escuros do data warehouse.</p><h3>O futuro da linhagem de dados</h3><p>Para nós, está bem claro que, ao aplicar a tecnologia de linhagem de dados a cada um desses casos de uso separadamente, a solução será diferente. As tentativas de resolvê-los todos de uma vez em um diagrama tendem a parecer um punhado de espaguete jogado na parede; o que obviamente não resolve nada.</p><p>Vamos ampliar o primeiro caso de uso que analisamos: análise de impacto. Geralmente, o que os engenheiros de dados querem saber é quais são as consequências downstream da execução dessa instrução SQL? E pra isso eles vão ter que sair do editor de consultas, pesquisar em um catálogo de dados e tentar descobrir o impacto de um diagrama de linhagem complexo parece a solução ideal? A resposta é um sonoro <strong>não</strong>!</p><p>Como a automação está se tornando algo presente em todos os aspectos da engenharia de software, é natural que a engenharia de dados adote as mesmas práticas; de DevOps para DataOps. <strong>Dados de linhagem de alta qualidade permitirão casos de uso semelhantes na engenharia de dados</strong>. As empresas já executam testes para pipelines de dados, bem como testes de controle de qualidade, e vemos algumas possibilidades interessantes aqui quando se trata de análise de impacto.</p><p>Ao isolar as dependências de downstream para uma determinada coluna, conseguimos simplificar a análise de impacto em nosso software. Estamos satisfeitos que isso esteja se mostrando útil, embora ainda tenhamos algum caminho a percorrer para cumprir as ambições apresentadas neste artigo. Mas com uma comunidade de engenheiros de dados constantemente impulsionando nosso pensamento, estamos otimistas de que podemos chegar lá.</p><p>Na grande maioria dos casos, o componente humano da governança de dados é o engenheiro de dados. A tecnologia de linhagem de dados tem o potencial de fornecer toda uma série de recursos que aumentam e até substituem partes de seu fluxo de trabalho, permitindo que eles concentrem seu tempo em atividades de criação de valor. A governança de dados está se tornando cada vez mais complexa, mas acreditamos que as ferramentas orientadas a casos de uso com tecnologia de linhagem ajudarão os engenheiros de dados a enfrentar o desafio.</p><h3>Quer testar a Alvin?</h3><p>Estamos em fase de pré-lançamento do produto! <a href="https://alvin-ai.typeform.com/to/QZqdmoaV">Solicite uma demo aqui</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b39926e3ae86" width="1" height="1" alt=""><hr><p><a href="https://medium.com/alvin-br/o-futuro-da-linhagem-de-dados-al%C3%A9m-do-diagrama-b39926e3ae86">O Futuro da Linhagem de Dados: Além do Diagrama</a> was originally published in <a href="https://medium.com/alvin-br">Alvin Brazil</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[The Future of Data Lineage — Beyond a Diagram]]></title>
            <link>https://medium.com/alvin-ai/the-future-of-data-lineage-beyond-a-diagram-2b7d3fec6037?source=rss-b0f3e3c47911------2</link>
            <guid isPermaLink="false">https://medium.com/p/2b7d3fec6037</guid>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[data-lineage]]></category>
            <category><![CDATA[data]]></category>
            <dc:creator><![CDATA[Dan Mashiter]]></dc:creator>
            <pubDate>Tue, 06 Apr 2021 13:16:41 GMT</pubDate>
            <atom:updated>2022-10-27T19:50:00.797Z</atom:updated>
            <content:encoded><![CDATA[<h3>The Future of Data Lineage — Beyond a Diagram</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KczmQ0p3R2yAfR8Bc8qp7Q.png" /><figcaption>Image by author</figcaption></figure><p>For most, the term data lineage conjures up thoughts of a lineage diagram, with nodes and connections between those nodes. You know, a bit like a family tree, if you had relatives called SALES_QUANTITY and PRODUCT_KEY. This is basically how we saw lineage, until countless conversations with data engineers made us realise this is just the jumping-off point.</p><p>Initially, we were surprised by just how triggering the term ‘data lineage’ was. Most data engineers had thought about the topic, and plenty were actively exploring how they could implement it. This was great validation for Alvin; we’d identified a near universal pain felt in the data community — hurrah!</p><p>If only it was that simple. The more we talked the more pains we uncovered. These were experienced in varying degrees depending on a myriad of factors including role, company, regulatory environment and tech stack.</p><p>It dawned on us that data lineage itself is not the pain at all; it’s the technology. Asking<em> is data lineage a problem for you?</em> is really no different to asking <em>are graph databases a problem for you?</em> To us, data lineage is a real time data structure that maps dependencies between columns, tables, dashboards, jobs and people. It’s a dataset like any other, and diagrammatically is only one way to represent it.</p><p>Part of why current tooling has only scratched the surface when it comes to data lineage, is that it has been part of a top down approach to data governance. Technology has been pushed on data engineers, at times creating more headaches than it solves. We’ve found little love for enterprise data catalogs in the data community.</p><p>In reality, it is the data engineers who face the challenges of ensuring good governance every day. By truly understanding the technical use cases, data governance best practices can be integrated into their workflows, sparking joy instead of dread. Let’s now discuss some of the top use cases for data lineage that come up in our conversations with data engineers, before revisiting the central question of whether a diagram is the best way to address them.</p><p><strong>Impact analysis</strong></p><p>Without leveraging lineage data, making data infrastructure changes (even in a relatively simple environment) was cited as a huge pain. Something as innocent as adding a column to a table can have significant downstream implications. In one company we spoke to, this had caused a metric used in financial reporting to be out for months (yikes!). To try and avoid this, manually inspecting SQL logs, Airflow DAGs, LookML files and Github files is common. Not only is this incredibly tedious and a huge waste of a highly skilled engineer’s time, it’s also imperfect. An anxious wait for some Slack backlash after making changes is the norm. Or even worse, the CFO showing up at your desk!</p><p>From our conversations, we even began to categorise different personas amongst data engineers. The ‘Mapper’ meticulously inspects logs and maps out downstream dependencies before making any changes. The ‘Dodger’ avoids making changes unless absolutely necessary. The ‘Hoper’ is so loaded up with other tasks that they go on what’s in their heads, and hope for the best. As you can see from our ratings, none are ideal:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*h0t5rekUf3sVcV1IEey2Hw.png" /><figcaption><em>Image by author</em></figcaption></figure><p><strong>Problem tracing</strong></p><p>Most data related questions (and complaints) are directed at data engineers. <em>Why is this dashboard broken? Where is the latest data? Can you check if this metric is correct? </em>Even after performing impact analysis, data pipeline errors can happen. The data consumer will often spot them, and it’s down to the data engineer to investigate.</p><p>Another layer to this, is that often after investigating data engineers found no error at all. For example, a marketer who thought a metric was out when a campaign had simply underperformed. Or an analyst asking for the most recent data before the scheduled job had run. With many data consumers comes great responsibility.</p><p>Prioritising these ad-hoc tasks on the fly, alongside their core work, without compromising on security and privacy, is no walk in the park for data engineers. Without lineage data, tracing the problem is extremely manual, and is mainly achieved through a combination of prior knowledge and guess work; a particular nightmare for new joiners.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9xxzcHurqTfwBIXQWTSHsw.png" /><figcaption><em>Image by author</em></figcaption></figure><p><strong>Data asset clean-up</strong></p><p>When it comes to their analytics environment, data engineers consistently expressed a lack of visibility into what data assets were in use. Without regular attention, unused tables and dashboards can pile up fast.</p><p>‘Single use’ tables for ad-hoc analysis pop up faster than they can be spotted and removed, a bit like playing Whac-A-Mole blindfolded. Dashboards created for campaigns will often have a limited lifespan, but who is going to think to delete them when they cease to be useful?</p><p>This is why people need to be included in any lineage graph. Before deleting a column or table, not only do data engineers need to know what data assets depend on it, but also what people. In the data warehouse this could be ad hoc queriers, in the BI tool dashboard viewers. This context helps data engineers declutter the analytics environment, and feel totally zen.</p><p>Within this category we identified a couple of distinct use cases:</p><ul><li><strong>Periodic clean-up:</strong> like a spring clean, data engineers want to get rid of ‘stale’ assets in one go.</li><li><strong>Asset lookup: </strong>a data engineer wants to know if a specific data asset is in use, and how that usage has changed over time.</li></ul><p><strong>Data trust</strong></p><p>Helping data consumers understand whether they can trust data has generally been handled on an ad hoc basis by data engineers. Common questions here may include <em>How is this field calculated? Should I use the VALUE or the PRICE field? Where does this data come from? </em>These sorts of questions are most common when working with new datasets.</p><p>Open source data catalogs such as Amundsen (Lyft) and DataHub (Linkedin) were driven by the fact there was a ton of useful data that wasn’t getting used because people had no way of finding it. But new datasets aren’t so useful unless they can be trusted.</p><p>Data catalogs solve this through metadata (owners, descriptions, ratings etc.). But the source of the data, how fields are calculated and how they are used are regularly sighted as the most important factors for trust. Lineage data can certainly help trust become more self-serve, and reduce the burden on data engineers to perform this role.</p><p><strong>PII tracing</strong></p><p>Data engineers describe privacy as a nagging, stress-inducing concern that they have to learn to live with. Much of the work needed to comply with recent, more stringent privacy regulations, such as GDPR in Europe and CCPA in California, falls on their shoulders.</p><p>In a modern data environment, sensitive data will (by design) trickle from source to many different tables, dashboards, notebooks, spreadsheets, machine learning models and more. Manually keeping track of where PII ends up with 100% accuracy is close to impossible.</p><p>To take a concrete example, if a customer exercises their right to erasure under GDPR, how would you go about tracing and deleting all of their data? With the fines and reputation risk at play, there isn’t any room for error. Lineage technology can be hugely valuable here, tracking sensitive data wherever it flows, even to the darkest corners of the data warehouse.</p><p><strong>The future of data lineage</strong></p><p>To us, it’s pretty clear that when applying data lineage technology to each of these use cases separately, the solution is going to be different. Attempts to solve them all at once in a diagram tend to look like a handful of spaghetti thrown at the wall; which of course solves nothing.</p><p>Let’s zoom into the first use case we looked at: impact analysis. Generally, what data engineers want to know is, w<em>hat are the downstream consequences of executing this SQL statement?</em> Now, does switching away from your query editor, searching through a data catalog, and trying to work out the impact from a complex lineage diagram seem like the optimal solution? You probably figured from the framing of the question that we don’t think so!</p><p>As automation is becoming more prevalent in all aspects of software engineering, it’s natural that data engineering picks up the same practices; from DevOps to DataOps. High quality lineage data will enable similar use cases in data engineering. Companies already run tests for data pipelines, as well as QA testing, and we see some exciting possibilities here when it comes to impact analysis.</p><p>By isolating downstream dependencies for a given column, we’ve gone some way to simplifying impact analysis in our beta. We’re pleased that this is proving useful, although we still have some way to go to fulfil the ambitions laid out in this article. But with a community of data engineers constantly pushing our thinking forward, we’re optimistic we can get there.</p><p>In the vast majority of cases, the human component of data governance is the data engineer. Data lineage technology has the potential to power a whole host of features that augment and even replace parts of their workflow, allowing them to focus their time on value-creating activities. Governing data is becoming increasingly complex, but it’s our belief that use-case driven tools powered by lineage technology will help data engineers meet the challenge.</p><h3>Want to give Alvin a try ?</h3><p>Alvin is helping data teams of all sizes meet the challenges of data quality, reliability, cost and governance. <a href="https://www.alvin.ai/signup?utm_source=medium&amp;utm_medium=blog&amp;utm_campaign=The+Future+of+Data+Lineage%E2%80%8A-%E2%80%8ABeyond+a%C2%A0Diagram">Get started for free here</a> and unleash the power of highly accurate lineage and usage data.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2b7d3fec6037" width="1" height="1" alt=""><hr><p><a href="https://medium.com/alvin-ai/the-future-of-data-lineage-beyond-a-diagram-2b7d3fec6037">The Future of Data Lineage — Beyond a Diagram</a> was originally published in <a href="https://medium.com/alvin-ai">Alvin AI</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>