<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Guilherme Spadaccia Leme on Medium]]></title>
        <description><![CDATA[Stories by Guilherme Spadaccia Leme on Medium]]></description>
        <link>https://medium.com/@guilhermesleme?source=rss-a56b160e9aa2------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*WRPl_2KsPrraHc7ea2NkVQ.png</url>
            <title>Stories by Guilherme Spadaccia Leme on Medium</title>
            <link>https://medium.com/@guilhermesleme?source=rss-a56b160e9aa2------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 06:19:29 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@guilhermesleme/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Utilizando Javascript UDFs para otimizar suas queries no BigQuery]]></title>
            <link>https://medium.com/@guilhermesleme/utilizando-javascript-udfs-para-otimizar-suas-queries-no-bigquery-3296c8da6a15?source=rss-a56b160e9aa2------2</link>
            <guid isPermaLink="false">https://medium.com/p/3296c8da6a15</guid>
            <category><![CDATA[javascript]]></category>
            <category><![CDATA[query]]></category>
            <category><![CDATA[google-cloud-platform]]></category>
            <category><![CDATA[analytics]]></category>
            <category><![CDATA[bigquery]]></category>
            <dc:creator><![CDATA[Guilherme Spadaccia Leme]]></dc:creator>
            <pubDate>Fri, 21 Jul 2023 12:48:35 GMT</pubDate>
            <atom:updated>2023-07-21T12:48:35.920Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CR8dbnoQTn78D2zmYFl9VQ.png" /></figure><p>O BigQuery é uma ferramenta muito poderosa e que esconde alguns recursos. Recursos estes que podem melhorar e muito a qualidade do resultado de suas queries.</p><p>Neste artigo irei explorar o recurso de <a href="https://cloud.google.com/bigquery/docs/user-defined-functions">User-Defined Functions (UDFs) do BigQuery</a> que permite a construção de funções em Javascript que podem ser chamadas durante a execução de suas queries, combinando o melhor de dois mundos: a eficiência do SQL com a versatilidade de uma linguagem de programação.</p><h4>Minhas experiências com as UDFs</h4><p>Quando vi este recurso pela primeira vez, a primeira coisa que veio a minha mente foi “isso deve ser extremamente lento” e confesso que fiquei relutante em começar a usar o recurso, porém, para o meu caso de uso, as UDFs em JS foram um divisor de águas e vou explicar o porquê.</p><p>Quando iniciei meu projeto, escolhemos o BigQuery como ferramenta principal. Com o tempo as informações que precisavamos extrair foram ficando cada vez mais complexas e a implementação das regras de negócio apenas utilizando o BQ começaram a parecer impossíveis. Neste momento começamos a testar outras formas de resolver essas regras, por exemplo, utilizando Spark ou Python. Obviamente isso foi efetivo, porém, não ficamos realmente satisfeitos com o resultado, a solução começou a ficar heterogênea com mais ferramentas para desenvolver, configurar e suportar, sem contar que com novas ferramentas também começamos a lidar com diferentes tipos de limitações, erros e dificuldades. Em resumo, a solução se tornava viável, porém, houve um aumento da complexidade da stack, do custo e do tempo de implementação/manutenção.</p><p>Neste momento, nossos stakeholders estavam felizes, uma vez que o resultado havia sido obtido, no entanto, eu como líder técnico ainda estava com uma ponta de dúvida quanto a solução.</p><p>Então, junto com o time, decidimos voltar ao BigQuery para exaurir completamente todas as possibilidades de resolver nosso problema utilizando apenas essa ferramenta. Foi aí que conhecemos as UDFs do BigQuery.</p><p>Pelo compliance não irei abrir o contexto em que atuo, mas vou colocar um problema análogo para exemplificar nosso cenário e como as UDFs nos ajudaram e resolvê-los.</p><h4>Caso de uso</h4><p>Vamos considerar uma indústria que tenha um conjunto de máquinas. Essas máquinas possuem sensores que indicam o quanto ela está em uso, se estiver abaixo de 20%, demonstra uma subutilização da máquina e se estiver acima de 80%, uma sobreutilização, o restante indica que a máquina está funcionando normalmente. Nosso trabalho aqui é identificar os seguintes pontos:</p><ul><li>o estado em que a máquina se encontra: normal, subutilizada ou sobreutilizada (precisamos identificar também historicamente essas variações);</li><li>quanto tempo essa máquina ficou em cada um dos estados (considerando a sequência de cada alteração de estado). Exemplo: 25 min subutilizada, 20 min normal, 10 min sobreutilizada, 30 min normal.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bOp4gJv_bSTq_tiX2qAysg.png" /><figcaption>Visualização dos indicadores que precisam ser extraídos</figcaption></figure><p>Claro que é possível resolver este caso utilizando apenas SQL (vide o código na seção “solução em SQL” no final da publicação) porém, possivelmente teremos várias linhas de query e um script bem complexo, então tentaremos utilizar o recurso de UDF para simplificar essa lógica.</p><p>Primeiro vamos a estrutura da tabela que contém o log das máquinas. Para este caso de uso teremos uma tabela bem simples com apenas 3 colunas:</p><ul><li>id_maquina: ID que identifica a máquina</li><li>horario: Campo que indica o horário da leitura</li><li>percent_utilizacao: Indicativo do percentual de utilização da máquina</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*PFvMMyiwvrhzp11SS7iPmw.png" /><figcaption>Amostra de dados da tabela</figcaption></figure><p>Agora vamos para nossa query. Primeiro vamos fazer um agrupamento dos dados por ID da máquina e vamos colocar os outros dois campos como um array de struct:</p><pre>SELECT id_maquina,<br>  ARRAY_AGG(<br>    STRUCT(<br>      horario, <br>      percent_utilizacao<br>    )<br>  ) AS log_maquina<br>FROM test_udf<br>GROUP BY id_maquina</pre><p>Desta forma teremos uma tabela com apenas duas linhas, uma para cada máquina, da seguinte forma:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/619/1*o9A2DOpGzNAjCqGDeAU7dQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/615/1*JT8YMEaAynAr6vtTQhzWAw.png" /></figure><p>Agora vamos começar a trabalhar a nossa UDF. O objetivo será criar uma função capaz de extrair os indicadores que precisamos. No nosso caso queremos que nossa função seja executada uma vez para cada máquina e esperamos que ela receba como parâmetro o campo log_maquina que já contém todos os logs da máquina em questão.</p><p>Como nossa UDF é um código em Javascript, iremos transformar o array log_maquina em um JSON. Desta forma ficará muito simples passar esses valores de uma vez para a nossa UDF. Nosso código então ficará assim:</p><pre>WITH tmp_log AS (<br>  SELECT id_maquina,<br>    ARRAY_AGG(<br>      STRUCT(<br>        horario, <br>        percent_utilizacao<br>      )<br>    ) AS log_maquina<br>  FROM test_udf<br>  GROUP BY id_maquina<br>)<br><br>SELECT id_maquina, <br>  parser_log(TO_JSON_STRING(log_maquina)) as rule_result<br>FROM tmp_log</pre><p>Para transformar o array em JSON utilizamos a função TO_JSON_STRING do BQ, perceba que o retorno dessa função será o parâmetro de entrada da função parser_log, nossa UDF.</p><p>Finalmente vamos declarar a nossa UDF, fazemos isso da seguinte forma:</p><pre>CREATE TEMP FUNCTION parser_log(log_maquina STRING)</pre><p>O BigQuery exige que o retorno da função seja muito bem definido, desta forma precisamos declarar o schema do retorno. Para poder identificar as informações que nosso problema exige, iremos retornar os seguintes campos:</p><ul><li>hora_inicio: a hora em que a máquina entrou naquele estado</li><li>hora_fim: a hora em que a máquina saiu do estado</li><li>status: qual o estado em que a máquina estava</li><li>tempo_horas: quantas horas permaneceu naquele estado</li></ul><p>Desta forma nosso schema será:</p><pre>CREATE TEMP FUNCTION parser_log(log_maquina STRING)<br>RETURNS ARRAY&lt;STRUCT&lt;hora_inicio STRING, hora_fim STRING, status STRING, tempo_horas INT64&gt;&gt;<br>LANGUAGE js<br>AS &quot;&quot;&quot;<br><br>&quot;&quot;&quot;</pre><p>Agora estamos prontos para nos dedicar ao nosso código Javascript. Como definido no parâmetro da função parser_log, iremos receber uma String como parâmetro, então vamos precisar transformá-la em um JSON.</p><p>Em seguida, estamos prontos para iterar por esse JSON, lembrando que como os dados já foram agrupados por máquina, sabemos que cada chamada terá apenas eventos de uma mesma máquina, então vamos nos preocupar apenas em extrair os indicadores.</p><p>A lógica que utilizei foi bem simples, iterar pelo array e utilizar variáveis de memória para identificar as mudanças de estado da máquina. Como cada linha da nossa tabela corresponde a 1 hora, criei um contador incremental que a cada iteração contabilizará uma hora. Quando for identificado que o status mudou, insiro os indicadores no array de retorno, reinicio as variáveis e continuo o loop.</p><pre>var json = JSON.parse(log_maquina)<br>ret_json = []<br>mem_hora_inicio = null<br>mem_status = null<br>cont = 0<br><br>function get_status(val) {<br>  if (val &lt;= 20){<br>    return &quot;subutilizado&quot;<br>  }else if (val &gt;= 80){<br>    return &quot;sobretilizado&quot;<br>  }else{<br>    return &quot;normal&quot;<br>  }<br>}<br><br>for(i in json) {<br>  cont++;<br><br>  if(mem_hora_inicio == null){<br>    mem_hora_inicio = json[i][&#39;horario&#39;]<br>    mem_status = get_status(json[i][&#39;percent_utilizacao&#39;])<br>  }<br><br>  status = get_status(json[i][&#39;percent_utilizacao&#39;])<br>  <br>  if(status != mem_status){<br>    ret_json.push({&quot;hora_inicio&quot;:mem_hora_inicio,<br>                    &quot;hora_fim&quot;:json[i][&#39;horario&#39;],<br>                    &quot;status&quot;:mem_status,<br>                    &quot;tempo_horas&quot;:cont})<br><br>    cont = 0<br>    mem_hora_inicio = json[i][&#39;horario&#39;]<br>    mem_status = get_status(json[i][&#39;percent_utilizacao&#39;])<br>  }<br>}<br><br>return ret_json</pre><p>Agora nossa UDF está pronta, basta juntar ao nosso código SQL e executar:</p><pre>CREATE TEMP FUNCTION parser_log(log_maquina STRING)<br>RETURNS ARRAY&lt;STRUCT&lt;hora_inicio STRING, hora_fim STRING, status STRING, tempo_horas INT64&gt;&gt;<br>LANGUAGE js<br>AS &quot;&quot;&quot;<br>var json = JSON.parse(log_maquina)<br>ret_json = []<br>mem_hora_inicio = null<br>mem_status = null<br>cont = 0<br><br>function get_status(val) {<br>  if (val &lt;= 20){<br>    return &quot;subutilizado&quot;<br>  }else if (val &gt;= 80){<br>    return &quot;sobretilizado&quot;<br>  }else{<br>    return &quot;normal&quot;<br>  }<br>}<br><br>for(i in json) {<br>  cont++;<br><br>  if(mem_hora_inicio == null){<br>    mem_hora_inicio = json[i][&#39;horario&#39;]<br>    mem_status = get_status(json[i][&#39;percent_utilizacao&#39;])<br>  }<br><br>  status = get_status(json[i][&#39;percent_utilizacao&#39;])<br>  <br>  if(status != mem_status){<br>    ret_json.push({&quot;hora_inicio&quot;:mem_hora_inicio,<br>                    &quot;hora_fim&quot;:json[i][&#39;horario&#39;],<br>                    &quot;status&quot;:mem_status,<br>                    &quot;tempo_horas&quot;:cont})<br><br>    cont = 0<br>    mem_hora_inicio = json[i][&#39;horario&#39;]<br>    mem_status = get_status(json[i][&#39;percent_utilizacao&#39;])<br>  }<br>}<br><br>return ret_json<br><br>&quot;&quot;&quot;;<br><br>WITH tmp_log AS (<br>  SELECT id_maquina,<br>    ARRAY_AGG(<br>      STRUCT(<br>        horario, <br>        percent_utilizacao<br>      )<br>    ) AS log_maquina<br>  FROM test_udf<br>  GROUP BY id_maquina<br>)<br><br>SELECT id_maquina, <br>  parser_log(TO_JSON_STRING(log_maquina)) as rule_result<br>FROM tmp_log</pre><p>Assim, obtemos o seguinte retorno:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/903/1*GmkLP3JqxJcJr0SI0_YkoA.png" /><figcaption>Resultado da aplicação da UDF</figcaption></figure><p>Com isso conseguimos facilmente ler os indicadores que precisávamos. No dia 15/01/2022 a 1 hora, a máquina 12345 estava com funcionamento normal e permaneceu assim por 4 horas até que passou a estar sobreutilizada e manteve-se assim por 3 horas, em seguida voltou ao estado normal e assim por diante.</p><p>Este foi um exemplo simples de como as UDFs podem ser poderosas para reduzir a complexidade das queries no BigQuery e auxiliá-lo a extrair o melhor da ferramenta.</p><h4>Performance</h4><p>Este exemplo contava com um dataset muito reduzido, com apenas 60 linhas. Neste caso, para aplicar a UDF e processar os dados foi levado menos de 1 segundo, porém, irei apresentar as métricas da aplicação em um caso de uso real.</p><p>Para o processamento de uma tabela de 20.137.698 de registros (10.61GB de dados), aplicando uma UDF similar a citada no exemplo, que conta com um agrupamento e com um for que itera pelos itens de um array, foram levados 50 segundos para executar a query.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/677/1*gn7xYnnR7aa8SEhvzc2qPQ.png" /></figure><p>Porém, sempre se atente a implementação da sua UDF pois ela pode tornar sua query sim mais lenta.</p><p>Uma outra observação importante é que UDFs em Javascript <a href="https://cloud.google.com/bigquery/docs/best-practices-performance-functions#optimize_udfs">instanciam subprocessos do BigQuery</a> que levam tempo para serem provisionados, portanto apenas a utilização da UDF em Javascript já afeta a performance da sua query.</p><h4>Vantagens e desvantagens</h4><p>Tudo tem um trade-off, no caso das Javascript UDFs temos as seguintes vantagens:</p><ul><li>Redução de linha de código</li><li>Simplificação da aplicação de lógicas complexas</li><li>Evitar a utilização de recursos externos ao BigQuery (levar os dados para uma VM para rodar um código Python, por exemplo)</li><li>Utilização da capacidade de processamento paralelo do BigQuery</li></ul><p>Porém, temos também algumas desvantagens que merecem atenção:</p><ul><li>Possibilidade de tornar sua query mais lenta caso não tenha um cuidado especial com a lógica desenvolvida em Javascript</li><li>Dificuldade em debugar (não é possível debugar o código JS na UDF, em geral quando tive problemas com o código eu exportava o JSON gerado pelo meu agrupamento e executava o código JS fora do BQ apontando direto para o JSON, o que não é muito prático)</li></ul><h4>Solução em SQL</h4><p>Como havia dito, deixarei aqui um exemplo de código que resolve o mesmo problema utilizando apenas SQL:</p><pre>WITH tmp AS (<br>  SELECT *,<br>    CASE<br>      WHEN percent_utilizacao &lt;= 20 THEN &quot;SUB&quot;<br>      WHEN percent_utilizacao &gt;= 80 THEN &quot;SOB&quot;<br>      ELSE &quot;NORM&quot;<br>    END AS estado<br>  FROM test_udf<br>)<br><br>, lead_estado AS (<br>  SELECT ROW_NUMBER() OVER (PARTITION BY id_maquina ORDER BY horario ASC) as linha,<br>    *,<br>    LEAD(estado) OVER (PARTITION BY id_maquina ORDER BY horario ASC) as prox_estado,<br>    LAG(estado) OVER (PARTITION BY id_maquina ORDER BY horario ASC) as estado_anterior,<br>  FROM tmp<br>)<br><br>, mudanca_estado AS (<br>  SELECT *,<br>    IF(estado != prox_estado OR <br>        estado != estado_anterior OR <br>        prox_estado IS NULL OR <br>        estado_anterior IS NULL, &#39;x&#39;, &#39;&#39;) as mudanca<br>  FROM lead_estado<br>)<br><br>, linhas_relevantes AS (<br>  SELECT id_maquina,<br>    horario,<br>    estado<br>  FROM mudanca_estado <br>  WHERE mudanca = &#39;x&#39;<br>)<br><br>, inicio_fim_sujo AS (<br>  SELECT *,<br>    LEAD(estado) OVER (PARTITION BY id_maquina ORDER BY horario ASC) as prox_estado,<br>    LEAD(horario) OVER (PARTITION BY id_maquina ORDER BY horario ASC) as prox_horario,<br>  FROM linhas_relevantes<br>)<br><br>SELECT id_maquina,<br>  ARRAY_AGG(<br>    STRUCT(<br>      horario AS hora_inicio,<br>      prox_horario AS hora_fim,<br>      estado AS status,<br>      DATE_DIFF(prox_horario, horario, HOUR)+1 AS tempo_horas<br>    )<br>  ) AS rule_result<br>FROM inicio_fim_sujo<br>WHERE estado = prox_estado<br>GROUP BY id_maquina<br>ORDER BY id_maquina</pre><p>Com este código obtive o seguinte resultado:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/901/1*wT81Bmy41GjyTmHcMIPVgQ.png" /><figcaption>Resultado da solução utilizando apenas SQL</figcaption></figure><h4>Conclusão</h4><p>Vou ser sincero que precisei ser muito mais criativo para conseguir resolver esse caso utilizando apenas SQL e isso fará com que esse código tenha uma manutenção muito mais complexa. Se for necessário extrair um novo indicador, incluir uma nova variável, pode ser que tenha que descartar completamente minha solução SQL e precise refazê-la do zero.</p><p>Já o código com a UDF ficou muito mais amigável e simples. Incluir alguma nova validação ou alterar a regra de negócio será bem mais fácil. Sem contar que caso a complexidade dessa lógica continue a aumentar, conseguimos garantir que com a UDF isso será aplicável.</p><p>Um bom balanço entre o SQL e o Javascript pode ser utilizar o SQL para:</p><ul><li>Seleção e cruzamento dos dados de origem</li><li>Limpeza dos dados</li><li>Agrupamentos</li><li>Conversões de tipo</li><li>Aplicar agregações e janelamentos simples (que não reflitam regras de negócio complexas)</li></ul><p>E utilizar o Javascript para:</p><ul><li>Aplicar regras de negócio complexas (com o objetivo principal de reduzir a complexidade do SQL)</li></ul><p>Em suma, as Javascript UDFs podem ser muito poderosas e com certeza precisam ser bem utilizadas para poderem agregar o máximo de valor a sua query, tenho certeza que nestes casos você terá ganhos significativos no seu desenvolvimento.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3296c8da6a15" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Posso ensinar coisas novas ao ChatGPT?]]></title>
            <link>https://medium.com/@guilhermesleme/posso-ensinar-coisas-novas-ao-chatgpt-aca3a01f228c?source=rss-a56b160e9aa2------2</link>
            <guid isPermaLink="false">https://medium.com/p/aca3a01f228c</guid>
            <category><![CDATA[chatgpt]]></category>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Guilherme Spadaccia Leme]]></dc:creator>
            <pubDate>Sat, 25 Feb 2023 23:48:27 GMT</pubDate>
            <atom:updated>2023-03-01T03:38:42.742Z</atom:updated>
            <content:encoded><![CDATA[<p><em>Esse texto foi inspirado pelo projeto: </em><a href="https://github.com/varunshenoy/GraphGPT"><em>https://github.com/varunshenoy/GraphGPT</em></a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/655/1*5cS9WPOWAyseiYZFNItM6Q.png" /><figcaption>Imagem gerada por IA utilizando a ferramenta Midjourney</figcaption></figure><p>Bom, para começar o texto já vou responder a pergunta que fiz no título do post: “Podemos ensinar coisas novas ao ChatGPT?”</p><p>De forma técnica a resposta é NÃO. Certo, mas e de forma “não técnica”? Será que existe alguma forma de agregarmos algum tipo de conhecimento a ferramenta para que ela resolva algum problema específico que não o faria de forma nativa? Se eu te responder que existe como fazer isso, então talvez a resposta seja SIM, podemos ensinar coisas novas a ferramenta. Ficou confuso, afinal, dá ou não dá? Vou tentar explicar melhor.</p><p>Se formos considerar o tipo de modelo de aprendizado de máquina utilizado pelo time da OpenAI para criar o ChatGPT, de forma bem simplória, não tem como efetivamente ensinar coisas novas a ferramenta. Isso porque o modelo passa por um processo de treinamento e assim que é finalizado nada mais pode ser “ensinado” ao modelo, ele se torna estático, a não ser que seja retreinado.</p><p>Explicando agora com termos mais técnicos, o ChatGPT é um Large Language Model (LLM), um modelo neuronal supervisionado e não possui nenhum recurso de reinforcement learning e nem de fine tunning. Portanto o modelo gerado é estático e não tem nenhuma atualização de parâmetros, assim para aprender algo novo é preciso retreinar o modelo.</p><p>A forma de conseguirmos “ensinar” algo para o ChatGPT é utilizarmos seu recurso de armazenamento de contexto e aqui vale também explicar como a ferramenta lida com isso.</p><p>Se você já usou a ferramenta pelo menos uma vez deve ter ficado abismado com a capacidade de continuidade e fluidez da conversa, se não teve essa experiência, dê uma olhada na imagem abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/796/1*Qn5_pEoG-G82PweFhe3Ijg.png" /><figcaption>Exemplo de contexto utilizando o ChatGPT</figcaption></figure><p>Bom, nesse exemplo fica claro que o ChatGPT conseguiu manter o contexto da conversa sabendo que a formiga Tita no caso era a formiga que ele mesmo havia citado na primeira interação. Bom, mas como isso funciona?</p><p>Basicamente o modelo sempre leva em conta as últimas 4 mil palavras do texto em questão e a utiliza como entrada para gerar um novo resultado, vou citar outro exemplo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/808/1*zV72Fh3v8Xbna0mvLsP9eg.png" /><figcaption>Exemplo da utilização do contexto do ChatGPT</figcaption></figure><p>Aqui utilizei o contexto do ChatGPT para que ele pudesse resolver a equação “a + b”, na prática o que a ferramenta fez:</p><p>Na primeira interação tivemos</p><ul><li>Entrada: “Quanto é a + b?”</li><li>Resposta: “Eu não posso responder a essa pergunta sem saber os valores específicos de a e b. Por favor, forneça os valores de a e b para que eu possa calcular a soma.”</li></ul><p>Na segunda interação:</p><ul><li>Input: “Quanto é a + b? Eu não posso responder a essa pergunta sem saber os valores específicos de a e b. Por favor, forneça os valores de a e b para que eu possa calcular a soma. Considere que a = 1 e b = 2”</li><li>Resposta: Se a = 1 e b = 2, então a + b = 1 + 2 = 3. Portanto, a soma de a e b é igual a 3.</li></ul><p>Segue um outro exemplo, colocando direto, na primeira interação, todo o texto de uma só vez:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/780/1*yEB4wWDnfIDKAOkpkltaDQ.png" /><figcaption>Exemplo resolvendo o contexto em 1 interação</figcaption></figure><p>Agora sabemos que efetivamente não podemos ensinar a ferramenta, mas devido a sua capacidade de manter o contexto da conversa podemos simular um aprendizado novo.</p><p>Nesse exemplo vou ensinar o ChatGPT a representar relacionamentos, simulando um grafo. Para isso vou precisar usar o recurso de contexto parecido com o último exemplo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/794/1*F6jietSohsfDZu05lpWJyw.png" /><figcaption>Ensinando ao ChatGPT como gerar grafos</figcaption></figure><p>Na primeira parte do texto eu explico o que eu quero, que dado o estado atual de um grafo, ele me atualize esse estado gerando um novo grafo já resolvendo o prompt passado.</p><p>Para ajudar o ChatGPT coloco um exemplo de como quero que ele resolva.</p><p>Em seguida eu passo o estado incial, o prompt e pronto. A ferramenta utiliza todo o contexto já passado para resolver a questão.</p><p>Um ponto interessante aqui, que ressalta a grande capacidade da ferramenta, é como ela entende que Guilherme é o pai do Rafael, sendo que o termo “pai” não foi explicitado no prompt, mostrando uma capacidade incrível de processamento de texto.</p><p>Se eu seguir com a conversa:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/782/1*pShdkruk6IKZ6pz7M4KEzw.png" /><figcaption>Atualização do estado do grafo</figcaption></figure><p>Obsevem que eu não precisei explicar novamente o que eu queria, a ferramenta já “aprendeu” o que precisava. Na verdade agora sabemos que aquele texto inicial, onde explico como ele deve resolver o relacionamento, foi passado novamente como entrada, fazendo com que a ferramenta tivesse todo o contexto necessário para complementar o grafo.</p><p>Vamos tentar um exemplo mais complexo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/793/1*nbmh5KMKOX9HdSWYkhjBQw.png" /><figcaption>Exemplo mais complexo de conexão entre pessoas</figcaption></figure><p>Aqui podemos ver que a estrutura do texto é mais complicada e conta com mais pessoas envolvidas, mas isso não é problema para o ChatGPT, ele resolve perfeitamente as relações. Agora vamos tentar algo novo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/792/1*rWbwR6CA0HH-riJUYLa9_A.png" /><figcaption>Alteração e deleção de conexões</figcaption></figure><p>Aqui podemos ver que João não namora mais Maria, a ferramenta entendeu que a conexão deixou de existir e a deletou. Já Fernanda e Lucas tiveram uma atualização de “namorada” para “casadaCom”.</p><p>Isso é incrível, mesmo sem deixar explícito para o ChatGPT que poderia existir deleção ou alteração de conexões já existentes ele conseguiu resolver essas operações sem problema algum.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=aca3a01f228c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como não falhar em um projeto de dados: A pessoa certa para o trabalho certo]]></title>
            <link>https://medium.com/@guilhermesleme/como-n%C3%A3o-falhar-em-um-projeto-de-dados-a-pessoa-certa-para-o-trabalho-certo-de753a66aecf?source=rss-a56b160e9aa2------2</link>
            <guid isPermaLink="false">https://medium.com/p/de753a66aecf</guid>
            <category><![CDATA[engenharia-de-dados]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[gestão]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <dc:creator><![CDATA[Guilherme Spadaccia Leme]]></dc:creator>
            <pubDate>Wed, 15 Feb 2023 14:59:29 GMT</pubDate>
            <atom:updated>2023-02-15T14:59:29.480Z</atom:updated>
            <content:encoded><![CDATA[<p>Após mais de 12 anos atuando na área de TI, já estive em todo o tipo de projetos, alguns que deram super certo e outros que não deram tão certo assim.</p><p>Mas por que esses projetos falharam? Bom, obviamente existe uma infinidade de fatores que podem levar um projeto a ruína: Objetivos mal definidos ou mal alinhados com clientes/stakeholders, má gestão de recursos, falha no planejamento, entre diversos outros fatores.</p><p>Porém, neste artigo, focarei em um ponto específico, que antecede a maior parte dos outros: como escolher o profissional correto para resolver o problema da sua empresa.</p><p>Para isso vou começar citando um caso típico:</p><blockquote>Tenho muitos dados e gostaria de contratar um Cientista de Dados para extrair insights usando algoritmos de Inteligência Artificial.</blockquote><p>Bom, temos vários possíveis problemas aqui, como por exemplo: O que é entendido por “muitos dados”? Como você chegou na conclusão de que o profissional que você precisa é um Cientista de Dados? O que você entende por “insight”? Como você chegou na conclusão de que é realmente necessário algum algoritmo de Inteligência Artificial?</p><p>Talvez esse exemplo possa parecer absurdo para alguns, mas é muito comum as empresas não saberem exatamente o que precisa ser feito e qual profissional precisam contratar para realmente conseguir extrair o que precisam de seus dados. Então acabam contratando a pessoa errada para o papel errado, fazendo com que aquele projeto nunca atinja seu objetivo e termine, inevitavelmente, morrendo.</p><p>Tentarei demonstrar a minha visão de como uma área de dados deveria ser estruturada e quais os diferentes tipos de profissionais temos no mundo de dados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cqFYVH2rSyJH71LHb49CEA.png" /><figcaption>[1] Direfentes áreas de dados. Fonte: Imagem do autor</figcaption></figure><p>Na imagem [1] tento descrever grande parte das sub-áreas de dados e aqui explicarei o objetivo e impacto que cada uma pode ter em uma empresa. Do lado esquerdo da imagem, em “Áreas técnicas de desenvolvimento” listo as principais áreas de desenvolvimento. Nessa representação quanto mais alto na pirâmide maior a complexidade e quanto mais largo o bloco, maior sua capacidade de resolução de problemas. Tentarei explicar ponto a ponto o porquê dessa minha classificação.</p><p>Na seção “Sobreposição de escopo” tento trazer uma representação visual de como diferentes áreas podem atuar em pontos comuns, porém cada uma tem como sua atividade principal um foco diferente das demais.</p><p>E na última seção a direita, em “Áreas horizontais” trago outros componentes indispensáveis para serem considerados pensando em um projeto saudável de longo prazo.</p><p>Nos próximos tópicos detalharei cada um desses pontos.</p><h4>Data Lake / Data Warehouse / Lakehouse</h4><p>O Data Lake (apenas para simplificar, irei me referir a essa camada como Data Lake) deve ser a base de qualquer área de dados. A unificação de diferentes fontes de dados, estruturada ou não estruturada, em um único lugar acessível a toda companhia. Para mim essa é a definição mais simples de um Data Lake e também seu principal objetivo.</p><p>Aqui as principais preocupações devem ser a disponibilidade e a alta capacidade de distribuição dos dados. Claro, sempre seguindo todos os preceitos de governança de dados e segurança da informação que detalharei mais a frente.</p><p>Colocar o Data Lake como o bloco que mais tem capacidade de resolução de problema pode ser contraintuitivo, uma vez que o Data Lake por sí só não vai gerar insights e dificilmente afeta algum indicador de negócio, porém ele é a maior fonte viabilizadora da área de dados que irá possibilitar com que todas as outras áreas consigam focar em sua atividade específica.</p><p><strong>Profissional que atua neste nível: Engenheiro de Dados</strong></p><h4>BI e Data Visualization</h4><p>Na camada de BI começamos a levar em conta a regra de negócio para construção de cruzamentos de dados que respondam alguma questão de negócio. Como resultado desses cruzamento, podemos ter relatórios ou dashboards específicos ou generalistas que visam principalmente dar visibilidade aos dados da empresa. Também podemos ter a estruturação dos dados em tabelas fato e dimensão, contrução de views e data marts visando facilitar a extração das informações.</p><p>Já na parte de Data Visualization é onde temos representações visuais dos dados. Sabe o ditado “uma imagem vale mais que mil palavras”? É exatamente sobre isso que estamos falando. Um dashboard bem pensando e bem trabalhado é uma poderosa ferramenta para extração de insights e acompanhamento de indicadores.</p><p>Ambas camadas tem um grande potencial de responder diversas questões de negócio com um esforço baixo, uma vez que tem grande capacidade de serem generalistas.</p><p><strong>Profissionais que atuam neste nível: Engenheiro/Analista de BI, Engenheiro/Analista de Data Visualization</strong></p><h4>Analytics</h4><p>Nesta camada começamos a tabalhar com cruzamentos mais complexos de dados visando a extração de indicadores específicos. Enquanto na camada de BI esses cruzamentos são mais genéricos, aqui existe um aprofundamento muito maior. Para isso é necessário uma grande proximidade do profissional de Analytics com o time de negócio (geralmente com um especialista) e é feito um trabalho mais extenso no aprofundamento da regra de negócio, na limpeza dos dados e na construção de algoritmos e scripts que são capazes de extrair as informações desejadas.</p><p><strong>Profissionais que atuam neste nível: Engenheiro de Data Analytics (ou simplesmente Data Analytics ou Analista de Dados)</strong></p><h4>Data Science</h4><p>Após a empresa evoluir sua maturidade com dados e já ter todo um arcabouço técnico para armazenamento, distribuição e análise destes dados, ficará mais claro que alguns assuntos precisam de um trabalho e um aprofundamento especial.</p><p>Nesse momento podemos iniciar trabalhos estatístico mais profundos: análises de distribuição, testes de hipotése, modelagem estatística, entre outros, com o objetivo de obter um entendimento diferenciado dos dados, que agora irá combinar três grandes pilares: dados, negócio e estatística. Deste trabalho esperamos extrair insights poderosos que respondam questões latentes do negócio.</p><p>Todo esse trabalho requer um grupo de conhecimentos específicos, ou seja, também requer um perfil profissional específico.</p><p><strong>Profissionais que atuam neste nível: Cientista de Dados, Estatístico</strong></p><h4>Machine Learning</h4><p>Enquanto Data Science é muito mais focado no estudo e na descoberta, o time de Machine Learning tem um papel muito mais técnico, voltado para produtização do que foi desenvolvido pelo time de cientistas de dados.</p><p>Aqui é esperado um trabalho profundo com a implementação dos algoritmos de Machine Learning, o que requer: trabalho específico dos dados para garantir que o modelo desenvolvido esteja realmente atingindo os objetivos desejados, implementação de diversos modelos, tunning dos modelos, avaliação criteriosa dos resultados obtidos, entre outros.</p><p>Por se tratar do desenvolvimento de um produto, é esperado também uma preocupação com o ciclo de vida do que foi desenvolvido.</p><p><strong>Profissionais que atuam neste nível: Engenheiro de Machine Learning, Engenheiro de MLOps (ou apenas MLOps)</strong></p><h4>Arquitetura de dados</h4><p>As áreas citadas acima são áreas técnicas com foco no desenvolvimento e implementação da solução. Já o time de arquitetura de dados, apesar de também ser um time técnico, tem como foco principal desenhar como a solução final ficará no longo prazo, levando em conta: objetivos de longo prazo da empresa, análise criteriosa das diversas ferramentas de mercado, custo, escalabilidade do projeto e a viabilidade técnica.</p><p>Esse é um passo extremamente importante e idealmente deve ser feitos <strong>antes de começar qualquer projeto de dados.</strong></p><p><strong>Profissionais que atuam neste nível: Arquiteto de Dados</strong></p><h4>Governança de dados</h4><p>O time de governança é o guardião das boas práticas de uso, manipulação e armazenamento dos dados. São responsáveis por garantir que toda a empresa utilizará as informações de forma correta e assegurará que todo o projeto segue as normas da LGPD.</p><p><strong>Profissionais que atuam neste nível: Analista de governança de dados</strong></p><h4>Segurança da informação</h4><p>Time responsável por garantir a segurança de todo ambiente de TI, inclusive todo o ambiente de dados. Atualmente vimos vários tipos de vírus de computador que afetam principalmente bases de dados, como ransomware, que criptografam a base de dados e pedem um valor financeiro para decriptografar os dados.</p><p>Este é o único papel aqui listado que não é um profissional diretamente ligado a dados.</p><p><strong>Profissionais que atuam neste nível: Analista de segurança da informação</strong></p><h4>Sobreprosição de escopos</h4><p>Como demostrado no gráfico a direita da imagem [1] existe uma sobreposição de escopo das diferentes áreas de dados e provavelmente por isso haja tanta confusão nas empresas em relação ao papel de cada uma delas. Na imagem [2] coloquei um resumo dos diferentes profissionais e suas respectivas áreas, já considerando a possível sobreposição de escopo de cada uma delas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3rfLJxbHowxX7p8N3w1wyw.png" /><figcaption>[2] Diferentes profissionais de dados e cada área de atuação. Fonte: imagem do autor</figcaption></figure><h4>Alguns pontos relevantes</h4><p>Por fim, vou ressaltar alguns pontos que acho relevante em relação a estruturação do time de dados para que você evite falhar em seu projeto:</p><ol><li><strong>Nem todas as empresas têm maturidade para atuar em todas essas camadas.</strong> É preciso entender que uma empresa não atinge a maturidade necessária para desenvolver um algoritmo de Machine Learning ou de Advanced Analytics da noite para o dia, é necessário um trabalho grande para isso.</li><li><strong>Não, você não precisa contratar todos esses profissionais para ter uma área de dados. </strong>Mas obviamente não adianta contratar apenas um grupo de cientistas de dados para construir um Data Lake, seu projeto não dará certo. Entenda seu momento, sua necessidade e foque no profissional correto.</li><li><strong>Tire proveito da sobreposição de escopos da forma certa.</strong> Esse é um dos melhores caminhos para poder construir um time de dados enxuto, você pode ter um Engenheiro de Dados que faz a ingestão do dados e também constrói parte da camada de BI ou Dashboards, você pode ter um Cientista de Dados que constrói o modelo de machine learning ou um estatístico que também faz o Analytics. Porém, cuidado para não sobrecarregar seu time com tarefas completamente fora de seu escopo.</li><li><strong>Comece simples.</strong> A identificação que coloquei na imagem [1] sobre a “capacidade de resolução de problemas” é justamente referente a isso, muitas vezes um cruzamento simples de dados ou um dashboard é capaz de responder uma questão que em um primeiro momento pode parecer complexa. Evite começar o desenvolvimento de um algoritmo de Machine Learning, que é muito mais custoso e arriscado, sem ter avaliado possibilidades mais simples primeiro.</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=de753a66aecf" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>