<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Thiago Faria on Medium]]></title>
        <description><![CDATA[Stories by Thiago Faria on Medium]]></description>
        <link>https://medium.com/@thiagotfaria?source=rss-2817ad30bef5------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*1H6h30pvRr-GHAXv9CU7Ig.jpeg</url>
            <title>Stories by Thiago Faria on Medium</title>
            <link>https://medium.com/@thiagotfaria?source=rss-2817ad30bef5------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 09:35:48 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@thiagotfaria/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Praticando spark com solução real]]></title>
            <link>https://medium.com/@thiagotfaria/praticando-spark-com-solu%C3%A7%C3%A3o-real-141f1e8a6520?source=rss-2817ad30bef5------2</link>
            <guid isPermaLink="false">https://medium.com/p/141f1e8a6520</guid>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[pyspark]]></category>
            <category><![CDATA[spark]]></category>
            <dc:creator><![CDATA[Thiago Faria]]></dc:creator>
            <pubDate>Thu, 13 Mar 2025 10:58:00 GMT</pubDate>
            <atom:updated>2025-03-13T10:59:02.070Z</atom:updated>
            <content:encoded><![CDATA[<p>Um banco X solicitou que você detecte transações inválidas em dezembro de 2024.</p><p>Uma transação inválida é aquela que ocorre fora do horário normal de funcionamento do banco. Os seguintes são os horários de operação de todas as agências:</p><ul><li><strong>Segunda a sexta-feira:</strong> 09:00–16:00</li><li><strong>Sábado e domingo:</strong> Fechado</li><li><strong>Feriados públicos:</strong> 25 e 26 de dezembro</li></ul><p>Você precisa encontrar os IDs de transação de todas as transações inválidas que ocorreram em dezembro de 2024.</p><p><strong>Solução:</strong><br>Código PySpark:</p><pre>from pyspark.sql import SparkSession<br>from pyspark.sql.functions import col, dayofweek, month, year, hour, minute, dayofmonth<br><br># Inicializar sessão Spark<br>spark = SparkSession.builder.appName(&quot;InvalidTransactions&quot;).getOrCreate()<br><br># Dados de exemplo para 2024<br>data = [<br>    (2051, &#39;2024-12-03 10:15&#39;),<br>    (2052, &#39;2024-12-03 17:00&#39;),<br>    (2053, &#39;2024-12-04 10:00&#39;),<br>    (2054, &#39;2024-12-04 14:00&#39;),<br>    (2055, &#39;2024-12-05 08:59&#39;),<br>    (2056, &#39;2024-12-05 16:01&#39;),<br>    (2057, &#39;2024-12-06 09:00&#39;),<br>    (2058, &#39;2024-12-06 15:59&#39;),<br>    (2059, &#39;2024-12-07 12:00&#39;),<br>    (2060, &#39;2024-12-08 09:00&#39;),<br>    (2061, &#39;2024-12-09 10:00&#39;),<br>    (2062, &#39;2024-12-10 11:00&#39;),<br>    (2063, &#39;2024-12-10 17:30&#39;),<br>    (2064, &#39;2024-12-11 12:00&#39;),<br>    (2065, &#39;2024-12-12 08:59&#39;),<br>    (2066, &#39;2024-12-12 16:01&#39;),<br>    (2067, &#39;2024-12-25 10:00&#39;),<br>    (2068, &#39;2024-12-25 15:00&#39;),<br>    (2069, &#39;2024-12-26 09:00&#39;),<br>    (2070, &#39;2024-12-26 14:00&#39;),<br>    (2071, &#39;2024-12-26 16:30&#39;),<br>    (2072, &#39;2024-12-27 09:00&#39;),<br>    (2073, &#39;2024-12-28 08:30&#39;),<br>    (2074, &#39;2024-12-29 16:15&#39;),<br>    (2075, &#39;2024-12-30 14:00&#39;),<br>    (2076, &#39;2024-12-31 10:00&#39;)<br>]<br><br># Definir esquema<br>columns = [&quot;transaction_id&quot;, &quot;time_stamp&quot;]<br><br># Criar DataFrame<br>df = spark.createDataFrame(data, columns)<br><br># Filtrar transações de dezembro de 2024<br>df_december_2024 = df.filter((month(col(&#39;time_stamp&#39;)) == 12) &amp; (year(col(&#39;time_stamp&#39;)) == 2024))<br><br># Verificar se a transação ocorreu em um fim de semana (sábado ou domingo)<br>weekend_check = (dayofweek(col(&#39;time_stamp&#39;)).isin([1, 7]))<br><br># Verificar se a transação ocorreu fora do horário comercial (antes das 09:00 ou após as 16:00)<br>outside_business_hours = (hour(col(&#39;time_stamp&#39;)) &lt; 9) | (hour(col(&#39;time_stamp&#39;)) &gt; 16) | \<br>                          ((hour(col(&#39;time_stamp&#39;)) == 16) &amp; (minute(col(&#39;time_stamp&#39;)) &gt; 0))<br><br># Verificar se a transação ocorreu em um feriado público (25 ou 26 de dezembro)<br>public_holiday_check = ((dayofmonth(col(&#39;time_stamp&#39;)) == 25) | (dayofmonth(col(&#39;time_stamp&#39;)) == 26))<br><br># Combinar todas as condições para encontrar transações inválidas<br>invalid_transactions = df_december_2024.filter(weekend_check | outside_business_hours | public_holiday_check)<br><br># Exibir os IDs das transações inválidas<br>invalid_transactions.select(&quot;transaction_id&quot;).show()</pre><p><strong>Explicação:</strong></p><ul><li><strong>Filtrar por dezembro de 2024:</strong> A primeira condição filtra as transações que ocorreram em dezembro de 2024, utilizando as funções month() e year() para extrair o mês e o ano da coluna time_stamp.</li><li><strong>Verificar transações no fim de semana:</strong> A função dayofweek() identifica o dia da semana. Verificamos se a transação ocorreu no sábado (7) ou no domingo (1), que são dias não úteis para o banco.</li><li><strong>Verificar horário comercial:</strong> Para encontrar transações fora do horário de funcionamento, verificamos se o horário é antes das <strong>09:00</strong> ou depois das <strong>16:00</strong>. A função hour() extrai a hora, e também consideramos transações que ocorrem exatamente às <strong>16:01</strong> ou mais tarde, verificando se o valor dos minutos é maior que 0.</li><li><strong>Verificar feriados públicos:</strong> Os feriados considerados são <strong>25 e 26 de dezembro</strong>. Usamos a função dayofmonth() para filtrar transações que ocorreram nesses dias específicos.</li><li><strong>Detecção de transações inválidas:</strong> Combinamos todas essas condições usando o operador | (OU) para identificar qualquer transação que atenda a um dos critérios de invalidez.</li><li><strong>Exibir IDs das transações inválidas:</strong> Por fim, a função select() recupera os transaction_id das transações inválidas.</li></ul><p><strong>Saída:</strong><br>Quando o código for executado, ele exibirá os transaction_id de todas as transações inválidas.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=141f1e8a6520" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Executando notebooks sparksql no VsCode com Interactive Sessions, sem nenhuma instalação em com…]]></title>
            <link>https://medium.com/@thiagotfaria/executando-notebooks-sparksql-no-vscode-com-interactive-sessions-sem-nenhuma-instala%C3%A7%C3%A3o-em-com-109283491fc1?source=rss-2817ad30bef5------2</link>
            <guid isPermaLink="false">https://medium.com/p/109283491fc1</guid>
            <category><![CDATA[interactive-session]]></category>
            <category><![CDATA[pyspark]]></category>
            <category><![CDATA[docker]]></category>
            <category><![CDATA[glue]]></category>
            <category><![CDATA[aws]]></category>
            <dc:creator><![CDATA[Thiago Faria]]></dc:creator>
            <pubDate>Sun, 02 Mar 2025 01:44:06 GMT</pubDate>
            <atom:updated>2025-03-03T10:14:40.935Z</atom:updated>
            <content:encoded><![CDATA[<h3>Executando notebooks sparksql no VsCode com Interactive Sessions, sem nenhuma instalação em com poucos comandos.</h3><p>A integração do AWS Glue com Jupyter Notebooks oferece uma poderosa combinação para análises de dados e processamento distribuído com PySpark, tudo de forma interativa e sem a necessidade de configurar clusters completos. Neste artigo, vamos guiá-lo por cada etapa necessária para configurar um ambiente Jupyter integrado com o AWS Glue Interactive Sessions utilizando Docker, além de mostrar como acessar esse ambiente através do Visual Studio Code.</p><p><strong>Requisitos:</strong></p><ol><li>Docker desktop instalado</li><li>Visual Code instalado</li></ol><p><strong>Passo 1: Preparando o Dockerfile</strong><br>O primeiro passo para configurar o ambiente é entender o que acontece dentro do Dockerfile. Esse arquivo define a imagem Docker usada para criar o ambiente com suporte ao AWS Glue. Vamos aos detalhes:</p><ul><li><strong>Base Image</strong>: Usamos a imagem oficial jupyter/base-notebook como ponto de partida, que já inclui o Jupyter Notebook configurado para você.</li><li><strong>Instalação do AWS CLI</strong>: Mudamos para o usuário root para permitir a instalação de pacotes, como o AWS CLI, que facilita a interação com os serviços da AWS.</li><li><strong>Instalação do AWS Glue Interactive Sessions</strong>: O pacote aws-glue-sessions é instalado para garantir a compatibilidade do Glue com nosso ambiente Jupyter.</li><li><strong>Configuração do Jupyter</strong>: Ajustes são feitos para configurar diretórios essenciais e garantir que o Jupyter tenha as permissões necessárias.</li><li><strong>Instalação dos Kernels para PySpark e Spark</strong>: Para garantir que os códigos Spark sejam executados corretamente, instalamos os kernels necessários com o comando install-glue-kernels.</li><li><strong>Configuração das Credenciais da AWS</strong>: Copiamos os arquivos de credenciais da AWS para dentro do container, garantindo que o ambiente tenha as permissões corretas para acessar os serviços da AWS.</li><li><strong>Retorno ao Usuário Jovyan</strong>: Garantimos que o processo final seja executado com as permissões adequadas ao usuário padrão do Jupyter.</li></ul><p><strong>Passo 2: Configuração do Docker Compose</strong><br>Agora, com o docker-compose.yml, configuramos os detalhes de como o container será gerenciado:</p><ul><li><strong>Definindo o Serviço Jupyter</strong>: Especificamos que o container será construído a partir do Dockerfile que acabamos de configurar.</li><li><strong>Mapeamento de Portas</strong>: A porta 9999 do host será mapeada para a porta 8888 do container, que é a porta padrão do Jupyter.</li><li><strong>Token de Acesso</strong>: Defnimos um token de acesso padrão.</li><li><strong>Volume de Persistência</strong>: Para garantir que seus arquivos não se percam, montamos um volume para persistir dados.</li></ul><p><strong>Passo 3: Como Executar o Ambiente</strong><br>Com o Dockerfile e o Docker Compose configurados, agora é hora de colocar tudo em funcionamento:</p><ol><li>Clone o repositório contendo o Dockerfile e o docker-compose.yml:</li></ol><pre>git clone https://github.com/thiagotfaria/jupyter-glue-aws-interactive-session.git</pre><p>2. Construa e inicie o container:</p><pre>docker-compose up -d --build</pre><p>3. Abra seu navegador e acesse o Jupyter Notebook através do seguinte link:</p><pre>http://localhost:9999/?token=&lt;seu_token&gt;</pre><p><strong>Passo 4: Usando AWS Glue Interactive Sessions no Jupyter</strong><br>Agora que o ambiente Jupyter está configurado, você pode facilmente iniciar sessões interativas com AWS Glue diretamente do Jupyter. Para fazer isso, basta adicionar o código abaixo no seu notebook:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IQwDgwyo4oXUgGUI_3wn7A.png" /></figure><ol><li>Crie um notebook do tipo Glue Pyspark.</li></ol><pre>from awsglue.sessions import GlueSession<br>from pyspark.sql import SparkSession<br><br>glue_session = GlueSession()<br>spark = glue_session.spark_session</pre><p><strong>Passo 5: Utilizando o AWS Glue Interactive Sessions no Visual Studio Code</strong><br>Para aqueles que preferem usar o Visual Studio Code, a configuração também é simples:</p><p>Abra o Visual Studio Code e instale a extensão Jupyter:</p><p>Vá para <strong>View &gt; Extensions</strong> e busque por “Jupyter”.</p><p>2. Crie um novo notebook (.ipynb).</p><p>3. Selecione o kernel apropriado:</p><p>No canto superior direito, selecione “Select Kernel” e depois “Existing Jupyter Server”.</p><p>4. Informe o servidor e o token de acesso.</p><p>5. Selecione o kernel Glue PySpark e execute seus scripts PySpark como faria normalmente.</p><p><strong>Passo 5: Atenção com os custos</strong></p><p>Interactive sessions são cobrados de acordo com o número de DPU hora. Por default, um notebook AWS Glue Studio, é desligado após 12hs, se uma celula é executada como interactive sesssion, a sessão passa a ter um timeout de 48hs. Esse timeout pode ser configurado passando o magic %idle_timeout. Para mais informações veja, <a href="https://docs.aws.amazon.com/glue/latest/dg/manage-notebook-sessions.html#change-default-timeout">Managing notebooks sesssions</a>. Esse magic deve ser configurado em minutos, uma boa prática é sempre informar esse tempo limite.</p><p>A cobrança do uso de IS se aplicará somente se você usá-las para desenvolvimento de código de ETL. A AWS cobra por sessões interativas com base no tempo em que a sessão fica ativa e no número de DPUs. As sessões interativas têm tempos limite de ociosidade configuráveis. As sessões interativas exigem um mínimo de 2 DPUs e têm um padrão de 5 DPUs. Há uma duração mínima de cobrança de um minuto para cada sessão interativa provisionada.</p><p><strong>Conclusão</strong><br>Este guia apresentou um passo a passo para configurar um ambiente Jupyter com AWS Glue Interactive Sessions dentro de um container Docker. Essa configuração é ideal para análises de dados, processamento distribuído com PySpark e facilita o trabalho de DevOps em ambientes de desenvolvimento ou provas de conceito. Além disso, permite a execução interativa de código no Glue sem a necessidade de um cluster Spark local. Com essa estrutura pronta, você pode explorar o processamento de dados em grande escala de forma eficiente, seja no jupyter ou diretamente no Visual Studio Code.</p><p>Link do projeto no github: <a href="https://github.com/thiagotfaria/jupyter-glue-aws-interactive-session">https://github.com/thiagotfaria/jupyter-glue-aws-interactive-session</a></p><p>Outras referências:</p><ul><li><a href="https://aws.amazon.com/pt/glue/pricing/">Integração de dados com tecnologia sem servidor - Preço do AWS Glue - AWS</a></li><li><a href="https://docs.aws.amazon.com/glue/latest/dg/interactive-sessions-chapter.html">Building AWS Glue jobs with interactive sessions</a></li><li><a href="https://docs.aws.amazon.com/pt_br/glue/latest/dg/interactive-sessions-vscode.html">Uso de sessões interativas com o Microsoft Visual Studio Code</a></li><li><a href="https://repost.aws/knowledge-center/glue-manage-interactive-sessions">Manage AWS Glue interactive sessions</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=109283491fc1" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>