<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Mateus Mohn on Medium]]></title>
        <description><![CDATA[Stories by Mateus Mohn on Medium]]></description>
        <link>https://medium.com/@mateusmohn?source=rss-e49bc4e60adf------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*9OFGmzt7rpmExQeL.</url>
            <title>Stories by Mateus Mohn on Medium</title>
            <link>https://medium.com/@mateusmohn?source=rss-e49bc4e60adf------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 04:26:26 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@mateusmohn/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Dremio — The Data Lake Engine]]></title>
            <link>https://medium.com/@mateusmohn/dremio-the-data-lake-engine-435db3d39c2f?source=rss-e49bc4e60adf------2</link>
            <guid isPermaLink="false">https://medium.com/p/435db3d39c2f</guid>
            <dc:creator><![CDATA[Mateus Mohn]]></dc:creator>
            <pubDate>Fri, 14 Feb 2020 23:24:27 GMT</pubDate>
            <atom:updated>2020-02-14T23:24:27.942Z</atom:updated>
            <content:encoded><![CDATA[<h3>Dremio — The Data Lake Engine</h3><p><strong>Dremio overview</strong></p><p>Com a evolução dos métodos de armazenamento e análise de dados, profissionais como desenvolvedores, analistas, cientistas de dados, profissionais de Machine Learning e Inteligência artificial vem enfrentando dificuldades em diversas situações. Dentre elas o volume, as diferentes ferramentas de armazenamento, a complexidade e as formas de acesso aos dados são muito vastas e acabam se tornando um dificultador para o trabalho desses profissionais. Atualmente as empresas que tem uma infraestrutura grande e variada possuem dados armazenados nas mais diversas fontes e, caso ela queira fazer uma análise de todos os seus dados, ela precisa centralizar esses dados em algum lugar para assim realizar suas análises e gerar insights.</p><p>O Dremio, projeto <em>open-source</em> que se descreve como <em>THE DATA LAKE ENGINE</em>, é uma ferramenta que permite realizar a integração de dados provenientes das mais variadas fontes, sejam bancos de dados relacionais, bases NoSQL, colunares, indexadores e até mesmo o Hadoop (HDFS) sem nenhuma camada de abstração, como HIVE ou HBase. O Dremio permite que as análises possam ser feitas em cima de origens diferentes sem movimentar estes dados, ou seja, sem gastar mais espaço físico de armazenamento e realizar processos de ETL que geram diversos impactos no ambiente, que tem de serem feitos em janelas específicas, atrasando mais ainda os resultados esperados.</p><p>Além da integração dos dados, o Dremio também permite a realização de diversas ações que não necessariamente seriam possíveis nas fontes originais de armazenamento, como a criação de <em>queries</em> SQL ou realizar alguns tipos de agregações. O Dremio também facilita a vida dos profissionais de analytics pois entrega de maneira muito prática recursos que antes dependiam das equipes de administração, como migração de dados de diferentes fontes, processamentos batch em janelas de tempo específicas, trazendo agilidade pros processos de análise e exploração dos dados e consequentemente, trazendo valor ao negócio de forma mais rápida.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/968/1*4fw59Iz9HVb8ZT8poWokGQ.png" /></figure><p><strong>Arquitetura</strong></p><p>No tão falado mundo de Big Data, escalabilidade e alta disponibilidade são algumas das principais características das ferramentas quando se trata de arquitetura. O Dremio faz uso de uma arquitetura distribuída para se adequar à essas necessidades. Existem dois tipos de nós numa arquitetura Dremio, os nós coordenadores (<em>coordinator nodes</em>) e os nós executores (<em>executor nodes</em>).</p><p>Os <em>coordinator nodes</em> são responsáveis por coordenar a execução das <em>queries</em> enviadas pelos <em>clients</em>, sejam elas vindas da Dremio UI, API ou por conectores JDBC/ODBC utilizados por outras ferramentas, como Tableau. Além disso, esses nós também fazem o controle dos metadados, utilizando o <em>Metadata storage</em>, seja no <em>file system</em> local ou em algum <em>file system</em> distribuído, como o HDFS, para habilitação da alta disponibilidade. Os <em>coordinator nodes</em> são escaláveis, e comumente teremos alguns nós desse tipo em um <em>cluster</em>, pois garantir alta disponibilidade é uma das principais preocupações da infraestrutura e administração de TI das empresas que utilizam esse tipo de ferramenta, uma vez que o valor para o negócio que o Dremio entrega é essencial e a indisponibilidade pode causar grandes danos as instituições.</p><p>Os <em>executor nodes</em> são responsáveis pela execução das <em>queries</em>. Nenhum <em>client</em> se conecta diretamente em um <em>executor node</em>, pois toda a execução passa antes pelos <em>coordinator nodes</em>, como leitura/escrita de metadados, definição do plano de execução, entre outros pontos. Os <em>executor nodes</em> também são escaláveis, e quando realizamos essa distribuição aumentamos a capacidade de processamento do cluster Dremio, para processar mais <em>queries</em>, mais complexas e aumentando também a quantidade de <em>queries</em> que podem ser processadas concorrentemente, em paralelo. Um outro aspecto muito interessante dos <em>executors</em> é que eles são <em>stateless</em>, ou seja, não controlam o estado das interações, toda nova requisição vai ser tratada do zero, então a capacidade de escalabilidade desses nós é muito alta, sendo possível fazer isso de forma dinâmica, flexível, seja por provisionamento de <em>containers</em>, orquestrados pelo kubernetes, escalando numa estrutura em <em>cloud</em> ou num <em>cluster</em> <em>on-premise</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/582/1*gabCW96mKr6Ye-lD06MBtA.png" /></figure><p><strong>Pontos notáveis do Dremio</strong></p><p><strong>Construção: </strong>O Dremio foi construído principalmente em cima de 3 frameworks, Apache Arrow, Apache Parquet e Apache Calcite. O Dremio utiliza processamento e armazenamento colunar de alta performance em memória baseado no Apache Arrow e em disco baseado em Apache Parquet. Ele foi construído também utilizando o Apache Calcite para fazer o <em>parsing</em> e a otimização das <em>queries</em> enviadas para serem executadas pelo Dremio.</p><p><strong>Aceleração: </strong>Utilizar o Dremio traz uma agilidade para os processos da análise de dados, denominada aceleração. Ele utiliza uma representação física do dado da fonte chamada de <em>Data Reflections</em>. Essa arquitetura permite ao Dremio acelerar mais dados com um custo menor. As <em>Data Reflections</em> são utilizadas automaticamente pelo otimizador do Dremio para definir os custos e formar o plano de execução que o Dremio utilizará para executar a query em questão.</p><p><strong>Como o Dremio lida com <em>queries</em> SQL: </strong>Os <em>clients</em> fazem as requisições ao Dremio, seja via REST API, JDBC, ODBC ou Dremio UI, e os dados solicitados por elas provavelmente estão armazenadas em diferentes fontes de dados, e que não necessariamente falam SQL nativamente. O Dremio <em>coordinator</em> então se utiliza das estatísticas das fontes de dados, verifica a capacidade de processamento atual delas e verifica se os dados utilizados estão atualmente em alguma <em>Data Reflection</em>. Com isso ele monta seu plano de execução, considerando as opções de utilizar o seu próprio ambiente de processamento distribuído e <em>Data Reflections</em> ou utilizar seu otimizador, que entende a capacidade de cada fonte de dados disponível, e fazer a tradução da <em>query</em> SQL, por mais complexa que ela seja, para uma linguagem que a fonte de dados consiga compreender e devolver os dados para o Dremio. Ele também pode trazer os dados para uma <em>Data Reflection</em> e aplicar as transformações e agregações necessárias para retornar os dados para o <em>client</em> que solicitou.</p><p><strong>Fases de execução de uma <em>query</em>: </strong>As queries no Dremio são sempre solicitadas via <em>client</em>. Depois do envio da query pelo <em>client</em> para o <em>coordinator</em> ele começa a fase de planejamento. Dentro dessa fase o <em>coordinator</em> analisa a <em>query</em> e a traduz para o modelo relacional universal do Dremio. Depois disso ele cria o plano de execução, levando em consideração as estatísticas das fontes de dados, assim como as suas funcionalidades. Depois o <em>coordinator</em> entra na fase de reescrita do plano de execução, para utilizar as <em>Data reflections</em> disponíveis, considerando sua ordenação, particionamento, distribuição e os recursos disponíveis da fonte de dados. Ele então repassa o plano de execução reescrito para os <em>executors nodes</em> processarem ou fazerem as requisições às fontes de dados. Os <em>executors</em> se utilizam das estruturas possíveis graças ao Apache Arrow para fazerem os processamentos em paralelo, no final um executor faz o <em>merge</em> dos dados retornados e entrega eles para o <em>coordinator</em>, que responde ao <em>client</em>.</p><p><strong>Deploy utilizando Hadoop: </strong>O Dremio tem diversos modos de entregar o que oferece, e um deles é utilizando um ambiente Hadoop. De forma geral o Coordinator fica responsável por solicitar recursos ao YARN Resource Manager, que ao alocar esses recursos para as execuções do Dremio provisiona executors dentro de Containers YARN, executados em Worker Nodes do ambiente Hadoop.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/459/1*gie14J3bCE4UzNEjNy40Qw.png" /></figure><p><strong>A engine de aprendizado do Dremio: </strong>Uma novidade recém implementada ao Dremio é essa Engine de aprendizado. Ela se propõe a fazer recomendações para os usuários e se adaptar as cargas de trabalho para se tornar uma ferramenta mais produtiva. Essa engine recomenda datasets similares aos que estão sendo utilizados aos usuários para serem realizados joins e aprende os joins que estão sendo utilizados com base no comportamento. Ela também adapta os esquemas utilizados automaticamente assim que são alterados na fonte dados, o que para um mundo de bancos não relacionais e várias transformações nos dados diárias é muito relevante. A outra feature dessa engine é que ela faz o cache dos metadados das fontes de dados mais utilizados, baseado nos padrões de acesso, o que em um ambiente com muitos dados e fontes de dados traz um aumento significativo para a performance.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=435db3d39c2f" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>