<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Mateus Moura on Medium]]></title>
        <description><![CDATA[Stories by Mateus Moura on Medium]]></description>
        <link>https://medium.com/@mateus_moura?source=rss-42ebb9c3d558------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*lz6WVqZu_8fcn_-4y_L2gw.jpeg</url>
            <title>Stories by Mateus Moura on Medium</title>
            <link>https://medium.com/@mateus_moura?source=rss-42ebb9c3d558------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 08:47:44 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@mateus_moura/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[How to use Software, DevOps and Data Engineer to build a Data Lake on AWS]]></title>
            <link>https://medium.com/@mateus_moura/how-to-use-software-devops-and-data-engineer-to-build-a-data-lake-on-aws-3a5328be8bea?source=rss-42ebb9c3d558------2</link>
            <guid isPermaLink="false">https://medium.com/p/3a5328be8bea</guid>
            <category><![CDATA[software-engineering]]></category>
            <category><![CDATA[infrastructure-as-code]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[devops]]></category>
            <dc:creator><![CDATA[Mateus Moura]]></dc:creator>
            <pubDate>Tue, 23 May 2023 22:15:06 GMT</pubDate>
            <atom:updated>2023-05-23T22:15:06.758Z</atom:updated>
            <content:encoded><![CDATA[<h4>In this article I would like to share a project where I apply my knowledge on Software, Data and DevOps Engineer.</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*m-oKZbYqhbXUZm8Jv7lnAA.jpeg" /><figcaption>Picture by <a href="https://unsplash.com/ko/@javaistan?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Afif Ramdhasuma</a> on <a href="https://unsplash.com/pt-br/fotografias/-V_-57TIHTM?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><h3>Introduction</h3><p>I am passionate about Technology field, I have experience in Software Development, DevOps, Cloud Computing and Data Engineer. I decided to combine these skills to build an end-to-end project on AWS, building a Data Lake that stores historical vehicle price data from the FIPE table in Brazil. The project’s goal is to consolidate these data in a Data Warehouse and the focus is in the application backend, thus many technology tools are used, including Ptyhon for Web Scraping and Terraform for Infrastructure deployment.</p><p>In the following section I talk about each of these tools and how they were used to bring the project to life and put it into production.</p><blockquote><a href="https://veiculos.fipe.org.br/">FIPE Table</a>: It is a table in Brazil that express the vehicle mean values in the national market, working as a reference for futher negotiations.</blockquote><blockquote>The project is being made available on github through the <a href="https://github.com/MouraM4/fipe_data_engineer_project">link</a>.</blockquote><h3>Architecture</h3><p>One of the first steps when building a project from scratch is designing the architecture. It is important to include all resources that will be used and a pipeline from the beginning to the end of the application. Figure 1 show the project diagram.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*t18d3_ZCyBYVPCgVT-HWiA.png" /><figcaption><strong>Figure 1: </strong>Project architecture.</figcaption></figure><p>The first step is to build an application to do the Web Scraping on the FIPE website using Pyhton and Resquests. We send the extracted JSON to an AWS Kinesis Firehose, which sends the data to a bucket in S3, creating the first layer of Data Lake, the bronze layer. After the data is ingested into the bronze layer, it is converted from JSON to .parquet format by Glue and saved in another bucket in S3, the Silver layer. Then, the data can be queried by Redshift Spectrum using SQL language or by a BI tool.</p><p>The entire infrastructure was created using Infrastructure as Code (IaC) tools, which are Terraform and Serverless Framework. Furthemore, the entire project is being built on AWS through a CI/CD pipeline using Github Actions.</p><h3>Web Scraping</h3><p>The first step is to extract data from FIPE table, for this we are using Python, but it could be any programming language. The website doesn’t share any kind of integration API for this, so we need to scrape the web page to consolidate the data.</p><p>For that, we are using some endpoints that the website retrieves to get the vehicle data in JSON format. To interact with these endpoints, a Python class was developed. The Following code represents some of the created methods, you can check the project’s <a href="https://github.com/MouraM4/fipe_data_engineer_project">Github</a> repository to see the entire code.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/eedb3da7c92b05ef83b26a465ae0705d/href">https://medium.com/media/eedb3da7c92b05ef83b26a465ae0705d/href</a></iframe><p>For example, to get all vehicle brands registered in Brazil, we can do a POST HTTP request to the endpoint “veiculos.fipe.org.br/api/veiculos/ConsultarMarcas”, as shown in Figure 2 in Postman.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ED_wPu-_sq6M9iJ-7TzPCg.png" /><figcaption><strong>Figure 2:</strong> Get all vehicle brands from FIPE Table.</figcaption></figure><p>Since all requests to endpoints returns data in JSON format, it is possible to process them using Python and send them to AWS Kinesis Firehose using Boto3.</p><p>The file <strong><em>app/get_car_infos.py </em></strong>has the main logic and is executed by an AWS Lambda, responsible for calling all developed methods of FIPE table and AWS services, located in the helpers directory of the project. Figure 3 demonstrates a local execution of the code and the extraction of JSONs from the FIPE table website.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2J86MUcTt04TRknnWtu8Zg.png" /><figcaption><strong>Figure 3:</strong> Web Scraping local execution.</figcaption></figure><p>The Web Scraping code has many details that will not be covered in this article, as it would take too much time. But, you can check all code in the project’s Github repository and any kind of suggestions for improvement, questions or comments about the code are welcome.</p><h3>AWS Lambda</h3><p>The application is deployed on AWS Lambda [1], which is a serverless service where the server-side aspects are managed by AWS, making deployment and maintenance easier.</p><p>In general, the AWS Lambda architecure is represented by figure 4. It is a service triggered by events that could be an API Gateway Endpoint, SQS queue messages or SNS, a scheduled trigger or even new files coming to a specific S3 Bucket. All these events will trigger the Lambda and the code will be executed. AWS Lambda supports various programming language, such as Java, Go, PowerShell, Node. js, C#, Python, e Ruby [2].</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_SZEAR0XrbbkIYlKRrRGtQ.png" /><figcaption><strong>Figure 4:</strong> General AWS Lambda architecture.</figcaption></figure><blockquote>To interact with AWS services, such as Kinesis Firehose, we have used the boto3 library [3].</blockquote><h3>Serverless Framework</h3><p>One way to create the AWS Lambda is using IaC services, such as Cloudformation, where JSON templates are generated to create the service [4]. But for Lambda, we can use the Node.JS Serverless Framework where it is possible to generate templates through .yml configuration files, as shown in the code below.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7f02322d212f3065ec1a6abfbcc08df0/href">https://medium.com/media/7f02322d212f3065ec1a6abfbcc08df0/href</a></iframe><p>It is declared in this file the AWS Lambda name, the configuration such as runtime (Python, Node, Ruby, etc), all the application permissions needed to interact with other AWS services and which <strong>.py </strong>file should be executed by Lambda. In the project, the serverless.yml file configures and points to the <strong>get_car_infos_api.py </strong>application, that is, whenever Lambda is activated, it will execute the logic presented in the file.</p><p>With the created configuration file, we can deploy it through Serverless Framework, for that it is needed to execute the command “<strong>sls deploy” </strong>in the terminal and follow the deploy, as exemplified in figure 5.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/842/1*V_gzi9pyACvBeMDeecINrQ.png" /><figcaption><strong>Figure 5:</strong> AWS Lambda deploy with Serverless Framework</figcaption></figure><p>Figure 6 shows Lambda after deploying process on AWS console.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*liDIfChnx10NHaB6Au8moA.png" /><figcaption><strong>Figure 6:</strong> AWS Lambda Console.</figcaption></figure><h3>How AWS was used to build the project</h3><p>AWS is a cloud provider that offers several resourses to build an IT infrastructure on the cloud, so it’s not necessary to have on-premises hardware to build a production project from scratch. Some of its resources are servers with EC2, storage with S3, Machine Learning with Sagemaker, lambda functions for building serverless microservices and etc [5].</p><p>We are using some of this resources to build the project, but the objective is not to explain in deep details each one of them, thus references will be left for further reading.</p><h3>AWS S3</h3><p>S3 is a storage service where we can save objects in a structured, semi-structured and unstructured format, such as CSV, JSON, audio, images and text.</p><p>It was used to build the Data Lake, being divided into two layers, the Bronze and Silver. At Bronze, it was created the “fipe-project-bronze-layer“ to store data extracted from the FIPE website in JSON format, which are sent through Kinesis Firehose, represented in figure 7.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*i7MOCWPlQGvsbRZMPlDXWQ.png" /><figcaption><strong>Figure 7: </strong>Data Lake Bronze Layer.</figcaption></figure><p>Once the raw data is in the Bronze Layer, it was created a Glue Job that converts the files to .parquet format, in order to increase reading performance by Redshift, as shown in figure 8 and 9.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/770/1*a1aZg7NsePeZ1mUlKjDHmQ.png" /><figcaption><strong>Figure 8: </strong>Data Lake data Ingestion pipeline.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bJaynV9-jQvNZ3JBX1HBpw.png" /><figcaption><strong>Figure 9: </strong>Data Lake silver layer.</figcaption></figure><h3>Kinesis Firehose</h3><p>Kinesis Firehose is an Extract, Transform and Load (ETL) tool for a Data Lake, its pipeline can be represented by figure 10 [6]. In the project, the ingestion step is executed by the Lambda Functions that performs the Web Scraping and send the data in JSON format to Kinesis Firehose, being responsible for aggregating and loading them to Bronze Layer.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4lQST7-G3qLdBguFfP5v2A.png" /><figcaption><strong>Figure 10: </strong>General Kinesis Firehose flowchart.</figcaption></figure><h3>Glue</h3><p>Glue is a service used in the project to perform the ETL between the Bronze and Silver layers, where its main function is to convert data from CSV format to Parquet format, in order to increase the performance of JSON files reading [6].</p><h3>Redshift</h3><p>Redshift is a Data Warehouse tool managed by AWS where it is possible to perform SQL queries to analyse data from a Data Lake. In the project, it was used the Redshift Spectrum, that is able to connect with Silver Layer and perform queries in .parquet files.</p><h3>Infrastructure as Code — Terraform</h3><p>All project’s infrastructure, except by Glue, were created using Terraform, that is an Infrastructure as Code (IaC) tool where automates the creation of resources in cloud computing providers using code [7]. Terraform’s language is declarative, where resources object blocks ared declared and, when Terraform is running, it interacts with the integration APIs of providers such as AWS, Azure and GCP to create resources.</p><p>The advantage of using IaC tools is to avoid manual failures, because once the services are declared using codes, the developer can create several identical resources (with small differences, such as the name or tags) in an automated way, this mitigates the possibility of human error, as the chance of missing a step when creating the resource is minimal. Another advantage is scalability, since it is possible to replicate the entire infrastructure in different accounts, projects or scopes, thus bringing greater security in the process of deploying the project’s infrastructure.</p><p>Terraform works by command lines, and we must run them to create the entire infrastructure, the main commands are:</p><blockquote><strong>terraform init</strong>: It is used to initialize Terraform according to the declared provider;</blockquote><blockquote><strong>terraform plan</strong>: This command generates an execution plan with the resources that Terraform have to create;</blockquote><blockquote><strong>terraform apply</strong>: It creates the infrastructure on the Cloud;</blockquote><blockquote><strong>terraform fmt</strong>: This command format the code of <strong>.tf </strong>files using programming convention from the language, for example aligning equal signs (“=”).</blockquote><p>In addition to executing the commands, it is necessary to create some initial files to work with the tool, for example, to declare the type of provider we are going to use, as shown in the code below.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/276b2e619d44eb305ac8866e0709f0e9/href">https://medium.com/media/276b2e619d44eb305ac8866e0709f0e9/href</a></iframe><h3>Best practices</h3><p>Terraform is one of my favorite tools to work with and I could create an article talking only about it and its advantages, however, it is important to write about Terraform’s main good practices.</p><h3>Terraform Backend</h3><p>Terraform creates a state file called <strong>terraform.tfstate </strong>to keep a “picture” of created infrastrucutre. Basically, it is a JSON file and it allows the tool to identify changes on the files of <strong><em>.tf </em></strong>format and generates an execution plan with actions of create, update or delete resources, for example: If a S3 object is declared, Terraform will check the <strong>terraform.tfstate </strong>and validate if it is a new resource to be deployed, updated or deleted.</p><p>But, it is not a best practice sharing the state file with other developers, so we can use Terraform’s remote backend, which is nothing more than a bucket in AWS where we will store this state file. That way, whenever a developer needs to change the infrastructure, just run the terraform init command and the file will be downloaded to the person’s machine and it will be possible to make updates to the infrastructure. An example of how to declare remote backend is represented in the code below.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ca7d01b381cdac750f9f4dd0ea3b8ec3/href">https://medium.com/media/ca7d01b381cdac750f9f4dd0ea3b8ec3/href</a></iframe><h3>Using Terraform Variables</h3><p>One of the advantages of using Terraform is creating variables that will be used by all resources throughout the code. The code below exemplifies a block of type locals where we can declare the tags that all resources will have in common, such as department, project and Owner.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/d00dd479adc0ddd84c76c1b93ad6a4c2/href">https://medium.com/media/d00dd479adc0ddd84c76c1b93ad6a4c2/href</a></iframe><h3>Deploying with Github Actions (CI/CD)</h3><p>Building a project from scratch is always a challenge, as many features, codes and integrations need to be created and tested, and one way to build the entire project in an automated way is to use some Continuous Integration and Continuous Delivery (CI/CD) tool such as CircleCI, Jenkins, Github Actions and etc. In the project, Github Actions was used since all the source code is hosted on Github.</p><p>The advantage of using a CI/CD tool is that we can deploy several applications and infrastructures in an automated way, thus mitigating possible human errors, in addition to being easy to replicate in other projects.</p><h3>How we use github Actions CI/CD</h3><p>To use the github actions CI/CD, it is necessary to create a directory called <strong>.github/workflows </strong>at the project root and implement a deploy workflow in configuration files of format <strong>.yml</strong>. In the project, we have a file to deploy Lambda on AWS “serverless_application.yml”, in it we use a Docker image with Node.js, install the serverless framework and then deploy it with the sls deploy command.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6ad9b946c4fa037b8837718976f17000/href">https://medium.com/media/6ad9b946c4fa037b8837718976f17000/href</a></iframe><p>In file “terraform_infrastructure.yml”, there is the deployment of the project’s infrastructure using Terraform, and for that, we use a Docker image with Terraform installed and execute the tool’s deploy commands.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7626f8beff910ba5982831bf8c8608dc/href">https://medium.com/media/7626f8beff910ba5982831bf8c8608dc/href</a></iframe><p>In both cases, pipeline execution only happens when the main branch is merged.</p><h3>Results</h3><p>With all resources created and in production, it is possible to query data from Data Lake Silver data using Redshift Spectrum. As an example, we can run the following query in the Redshift Spectrum console itself to analyze the evolution of the price of a vehicle, for example, the Renault Kwid.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/be0af7d0d59f612d0f01251dc24c9fa5/href">https://medium.com/media/be0af7d0d59f612d0f01251dc24c9fa5/href</a></iframe><p>The Kwid price evolution chart is represented by figure 11.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/1*LOYrD8Nhy4MRDfgE8hbrdQ.png" /><figcaption><strong>Figure 11: </strong>Renault Kwid price evolution.</figcaption></figure><p>Additionally, it is possible to analyse other measures, such as count the number of distinct vehicle brands present in FIPE table or even selecting them, as shown in figure 12.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/632/1*A6cWgMk8a6DQ5uRkuiFvBw.png" /><figcaption><strong>Figure 12: </strong>Vehicle brands present on FIPE table.</figcaption></figure><h3>Conclusion</h3><p>Developing an end-to-end project using Software Engineer, Data and DevOps Engineer is not an easy job, because it involves many details in each step, but the learning curve is huge, since we can apply our knowledge in practice and have contact with tools never used before, for example Github Actions, AWS Glue, Kinesis Firehose and Redshift, which I had to learn from the beginning, and with some tutorials and following the documentation, I was able to learn to use the tools and integrate them into the project.</p><p>To summarize, the project shows a little bit of how to build a data lake, create a Python application to do web scraping, how to use Terraform and AWS to build a complete project in production in the cloud.</p><h3>References</h3><p>[1] <a href="https://docs.aws.amazon.com/lambda/latest/dg/welcome.html">https://docs.aws.amazon.com/lambda/latest/dg/welcome.html</a></p><p>[2] <a href="https://docs.aws.amazon.com/lambda/latest/dg/lambda-runtimes.html">https://docs.aws.amazon.com/lambda/latest/dg/lambda-runtimes.html</a></p><p>[3] <a href="https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/firehose.html">https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/firehose.html</a></p><p>[4] <a href="https://aws.amazon.com/cloudformation/">https://aws.amazon.com/cloudformation/</a></p><p>[5] <a href="https://docs.aws.amazon.com/whitepapers/latest/aws-overview/introduction.html">https://docs.aws.amazon.com/whitepapers/latest/aws-overview/introduction.html</a></p><p>[6] <a href="https://docs.aws.amazon.com/glue/latest/dg/add-job.html">https://docs.aws.amazon.com/glue/latest/dg/add-job.html</a></p><p>[7] <a href="https://developer.hashicorp.com/terraform/docs">https://developer.hashicorp.com/terraform/docs</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3a5328be8bea" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como usar Engenharia de Software, DevOps e Dados para criar um Data Lake na AWS]]></title>
            <link>https://medium.com/data-hackers/como-usar-engenharia-de-software-devops-e-dados-para-criar-um-data-lake-na-aws-af2ba277981e?source=rss-42ebb9c3d558------2</link>
            <guid isPermaLink="false">https://medium.com/p/af2ba277981e</guid>
            <category><![CDATA[infrastructure-as-code]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[devops]]></category>
            <category><![CDATA[software-engineering]]></category>
            <category><![CDATA[aws]]></category>
            <dc:creator><![CDATA[Mateus Moura]]></dc:creator>
            <pubDate>Tue, 23 May 2023 22:13:40 GMT</pubDate>
            <atom:updated>2023-06-25T20:47:36.021Z</atom:updated>
            <content:encoded><![CDATA[<h4>Nesse artigo, compartilho um projeto onde coloco em prática os meus conhecimentos e habilidades de Engenharia de Software, Dados e DevOps.</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*m-oKZbYqhbXUZm8Jv7lnAA.jpeg" /><figcaption>Foto de <a href="https://unsplash.com/ko/@javaistan?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Afif Ramdhasuma</a> na <a href="https://unsplash.com/pt-br/fotografias/-V_-57TIHTM?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><h3>Introdução</h3><p>Sou apaixonado pela área de tecnologia, tenho experiência nas áreas de Engenharia de Software, DevOps, Cloud e Dados, portanto reuni os conhecimentos de cada área para desenvolver um projeto end-to-end para a construção de um Data Lake na AWS de dados históricos da tabela FIPE. O objetivo do projeto é consolidar os dados de preços históricos de veículos no Brasil e disponibilizá-los em um Data Warehouse, todo o foco do projeto está no backend da aplicação, portanto diversas tecnologias e ferramentas são utilizadas, desde a criação do Web Scraping em Python até a infraestrutura feita com o Terraform.</p><p>Nas próximas seções, apresento cada uma delas e como foram utilizadas para tirar o projeto do papel e colocá-lo em produção.</p><blockquote>O projeto está sendo disponibilizado no github através do <a href="https://github.com/MouraM4/fipe_data_engineer_project">link</a>.</blockquote><h3>Arquitetura</h3><p>Uma das primeiras etapas ao criar um projeto do zero é desenhar a arquitetura, é importante colocar todos os recursos que serão utilizados bem como um fluxo de início, meio e fim da aplicação. A figura 1 mostra o diagrama do projeto.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*t18d3_ZCyBYVPCgVT-HWiA.png" /><figcaption><strong>Figura 1: </strong>Arquitetura do projeto.</figcaption></figure><p>O primeiro passo é realizar um Web Scraping no site da <a href="https://veiculos.fipe.org.br/">FIPE</a> usando Python e Requests, depois enviamos os JSONs extraídos para um Kinesis Firehose na AWS, que envia os dados para um bucket no S3, criando a primeira camada do nosso Data Lake, a camada bronze. Após a ingestão dos dados para a camada Bronze, os dados são convertidos de JSON para o formato .parquet pelo Glue e são salvos na camada Silver. Então, os dados podem ser consultados pelo Redshift Spectrum usando linguagem SQL ou por alguma ferramenta de BI.</p><p>Toda a infraestrutura foi criada por ferramentas de IaC (Infrastructure as Code), sendo elas o Terraform e o Servlerss Framework, além disso, todo o projeto está sendo construído na AWS através de um fluxo de CI/CD, pelo Github Actions.</p><h3>Web Scraping</h3><p>A primeira etapa do projeto consiste em obter os dados da tabela FIPE utilizando Python ou outra linguagem de programação. Uma vez que o site não disponibiliza nenhum tipo de API para a extração dessas informações, foi necessário realizar um processo de Web Scraping para consolidar os dados.</p><p>Para isso, foram utilizados diversos endpoints pelos quais o site faz requisições para obter os dados dos veículos em formato JSON. Então, uma classe para interagir com esses endpoints foi desenvolvida e o trecho de código abaixo representa parte dos métodos criados. É possível consultar todos os métodos no repositório do projeto no <a href="https://github.com/MouraM4/fipe_data_engineer_project">Github</a>.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/eedb3da7c92b05ef83b26a465ae0705d/href">https://medium.com/media/eedb3da7c92b05ef83b26a465ae0705d/href</a></iframe><p>Por exemplo, para obter todas as marcas registradas no Brasil, pondemos realizar uma consulta HTTP do tipo post no endpoint “veiculos.fipe.org.br/api/veiculos/ConsultarMarcas”, como mostra a figura 2 no Postman.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ED_wPu-_sq6M9iJ-7TzPCg.png" /><figcaption><strong>Figura 2:</strong> Consulta de todas as marcas usando o endpoint da tabela FIPE.</figcaption></figure><p>Dado que toda requisição nos endpoints retornam os dados em formato JSON, é possível tratá-los usando Python e enviá-los para o Kinesis Firehose da AWS através do Boto3.</p><p>O arquivo <em>app/get_car_infos.py</em> contém a lógica principal e é executado por um Lambda na AWS, sendo ele responsável por chamar as classes da tabela FIPE e dos serviços da AWS, que se encontram no diretório <em>helpers</em> do projeto. A figura 3 demonstra uma execução local do código e a extração dos JSONs do site da tabela FIPE.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2J86MUcTt04TRknnWtu8Zg.png" /><figcaption><strong>Figura 3:</strong> Exemplo da execução local do Web Scraping.</figcaption></figure><p>A lógica para realizar o Web Scraping tem diversos detalhes que não serão apresentados no artigo, já que tomaria muito tempo, porém todo o código está sendo disponibilizado no github e qualquer tipo de sugestão de melhoria, dúvidas ou comentários sobre o código são bem vindas.</p><h3>AWS Lambda</h3><p>A aplicação está hospedada no AWS Lambda [1], que é um serviço serverless onde toda a parte de servidor é abstraída e gerenciada pela AWS, facilitando o seu deploy e manutenção.</p><p>De maneira geral, a arquitetura de um AWS Lambda está sendo representada pela figura 4. Trata-se de um serviço disparado por eventos, sendo esses de diversos tipos, podendo ser um endpoint do API Gateway, mensagens no SQS ou SNS, um trigger com schedule ou até mesmo novos arquivos em um determinado Bucket, todos esses eventos vão executar o Lambda e uma determinada lógica de programação, podendo ela ser escrita em diversas linguagens, como Java, Go, PowerShell, Node. js, C#, Python, e Ruby [2].</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_SZEAR0XrbbkIYlKRrRGtQ.png" /><figcaption><strong>Figura 4:</strong> Arquitetura geral do AWS Lambda.</figcaption></figure><blockquote>Para interagir com os serviços da AWS, como o Kinesis Firehose, foi utilizado o boto3 [3].</blockquote><h3>Serverless Framework</h3><p>Uma das maneiras de criar o AWS Lambda é através do serviço de IaC da AWS, o Cloudformation, onde templates em JSON são gerados para a criação dos diversos serviços [4]. Mas para o Lambda, existe o Serverless Framework do Node.JS onde é possível gerar templates através de arquivos de configurações .yml, como mostra o código abaixo.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7f02322d212f3065ec1a6abfbcc08df0/href">https://medium.com/media/7f02322d212f3065ec1a6abfbcc08df0/href</a></iframe><p>Nesse arquivo, declaramos qual é o nome do AWS Lambda, as configurações, como o runtime (Python, Node, Ruby e etc), todas as permissões que a aplicação precisará para interagir com os serviços da AWS e qual arquivo .py deverá ser executado pelo Lambda. No projeto, o arquivo serverless.yml faz a configuração e aponta para a aplicação get_car_infos_api.py, ou seja, sempre que o Lambda ativar, vamos executar a lógica presente no arquivo.</p><p>Após ter o arquivo de configuração criado, para fazer o deploy através do framework, basta executar o comando no terminal “<strong>sls deploy</strong>” (desde que o node e o serverless framework estejam instalados) e acompanhar o deploy, como exemplifica a figura 5.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/842/1*V_gzi9pyACvBeMDeecINrQ.png" /><figcaption><strong>Figura 5:</strong> Exemplo do deploy do Lambda usando Serverless Framework</figcaption></figure><p>A figura 6 mostra o AWS Lambda após finalizar o deploy. Portanto, toda a aplicação para extração dos dados da tabela FIPE foi criada em Python e está em produção na AWS.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*liDIfChnx10NHaB6Au8moA.png" /><figcaption><strong>Figura 6:</strong> AWS Lambda Console</figcaption></figure><h3>Como a AWS e seus recursos foram utilizados para a construção do projeto</h3><p>A AWS é um provedor de computação em nuvem, que oferece diversos serviços e recursos como servidores com a EC2, armazenamento com o S3, Machine Learning com o Sagemaker, funções lambdas para a construção de microsserviços serverless e etc [5].</p><p>No projeto, usamos algum desses serviços, o objetivo não é explicar em detalhes cada um deles, portanto referências serão deixadas para uma leitura mais aprofundada.</p><h3>AWS S3</h3><p>O S3 é um serviço de armazenamento da AWS onde podemos armazenar objetos, podendo ser arquivos estruturados, semiestruturados e não estruturados, como CSV, JSON, áudio, imagem, textos e etc.</p><p>No projeto, o S3 foi utilizado para a construção do Data Lake, sendo dividido em duas camadas, a camada Bronze e a Silver. Na Bronze, criamos o bucket “fipe-project-bronze-layer“ para o armazenamento dos dados extraídos do site da FIPE no formato JSON, que são enviados através do Kinesis Firehose, representado na figura 7.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*i7MOCWPlQGvsbRZMPlDXWQ.png" /><figcaption><strong>Figura 7: </strong>Camada Bronze do Data Lake.</figcaption></figure><p>Uma vez que os dados <em>raw</em> estão na camada Bronze, criamos um Job no Glue que converte os arquivos para o formato .parquet, a fim de aumentar a performance de leitura dos arquivos por parte do Redshift, como mostram as figuras 8 e 9.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/770/1*a1aZg7NsePeZ1mUlKjDHmQ.png" /><figcaption><strong>Figura 8: </strong>Fluxo da ingestão de dados no Data Lake.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bJaynV9-jQvNZ3JBX1HBpw.png" /><figcaption><strong>Figura 9: </strong>Camada Silver do Data Lake.</figcaption></figure><h3>Kinesis Firehose</h3><p>O Kinesis Firehose é um serviço de Extração e Carregamento (ETL — <em>Extract, Transform and Load</em>) de dados para um Data Lake, seu pipeline pode ser representado pela figura 10 [6]. No projeto, a etapa de ingestão é executada pelas funções lambdas que realizam o web scraping e enviam os dados no formato JSON para o Kinsesis Firehose, sendo responsável por agregá-los e carregá-los na camada bronze do Data Lake.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4lQST7-G3qLdBguFfP5v2A.png" /><figcaption><strong>Figura 10: </strong>Fluxograma geral do Kinesis Firehose.</figcaption></figure><h3>Glue</h3><p>O Glue é um serviço utilizado no projeto para realizar o ETL entre a camada Bronze e Silver, onde sua principal função é converter os dados do formato CSV para o formato Parquet, a fim de aumentar a performance de leitura dos arquivos JSON [6].</p><h3>Redshift</h3><p>O Redshift é um Data Warehouse gerenciado pela AWS onde é possível realizar queries em SQL para analisar os dados de um Data Lake. No projeto, foi utilizado o Redshift Spectrum, que é capaz de se conectar com a camada Silver do Data Lake e realizar consultas nos arquivos .parquet usando SQL.</p><h3>Infraestrutura como Código — Terraform</h3><p>Toda a infraestrutura do projeto, exceto a etapa do Glue, foi criada usando o Terraform, trata-se de uma ferramenta de IaC (Infrastructure as Code) onde podemos automatizar a construção de recursos nos provedores de computação em nuvem usando código [7]. A linguagem do Terraform é do tipo declarativa, onde declaramos blocos de objetos de cada recurso e, no momento da execução do Terraform, ele interage com as APIs de integração dos provedores como a AWS, Azure e GCP para criar os serviços.</p><p>A vantagem de usar uma ferramenta como essa está na mitigação de falhas manuais, pois uma vez que os serviços de <em>Cloud</em> estão declarados por códigos, o desenvolvedor consegue criar diversos recursos iguais (com pequenas diferenças, como o nome ou tags) de forma automatizada, isso mitiga a possibilidade de falha humana, já que a chance de se esquecer alguma etapa ao criar o recurso é mínima. Outra vantagem é a de escalabilidade, já que é possível replicar toda a infraestrutura em contas, projetos ou escopos diferentes, trazendo dessa forma uma segurança maior no processo de deploy da infraestrutura do projeto.</p><p>O Terraform funciona por linhas de comandos, e devemos executá-los para criar a infraestrutura, os principais comandos são:</p><blockquote><strong>terraform init</strong>: Para inicializar o Terraform de acordo com o provedor declarado;</blockquote><blockquote><strong>terraform plan</strong>: Esse comando gera um plano de execução dos recursos que o Terraform pretende criar;</blockquote><blockquote><strong>terraform apply</strong>: Executa a ação de criar os recursos na nuvem;</blockquote><blockquote><strong>terraform fmt</strong>: Esse comando formata o código dos arquivos .tf de acordo com a convenção da linguagem, como alinhar os sinais de igual (“=”).</blockquote><p>Além da execução dos comandos, é necessário criar alguns arquivos iniciais para trabalhar com a ferramenta, por exemplo, declarar o tipo de provedor que vamos usar, como mostra o código abaixo.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/276b2e619d44eb305ac8866e0709f0e9/href">https://medium.com/media/276b2e619d44eb305ac8866e0709f0e9/href</a></iframe><h3>Boas Práticas</h3><p>O Terraform é uma das minhas ferramentas preferidas para se trabalhar e daria para criar um artigo falando só dela e de suas vantagens, porém, é importante escrever sobre as principais boas práticas do Terraform.</p><h3>Terraform Backend</h3><p>Sempre que criamos a infraestrutura com o Terraform, o arquivo <strong>terraform.tfstate </strong>será gerado. Basicamente, esse arquivo é um JSON que contém a “foto” dos recursos criados na AWS, isso permite que a ferramenta identifique mudanças nos arquivos com a extensão .tf e gere um plano de execução com as ações de criar, atualizar ou deletar os recursos, por exemplo: ao declarar um objeto em algum arquivo .tf com os parâmetros de um bucket no S3, o Terraform consulta o arquivo de estado e identifica que o bucket é um recurso novo a ser construído, portanto ele gera um plano de execução, preservando os demais recursos e retorna uma ação de criar o bucket em questão.</p><p>Porém, não é uma boa prática compartilhar esse arquivo com outros desenvolvedores, por isso podemos usar o backend remoto do Terraform, que nada mais é que um bucket na AWS onde vamos armazenar esse arquivo de estado. Dessa forma, sempre que algum desenvolvedor precisar mexer na infraestrutura, basta executar o comando <strong>terraform init</strong> que o arquivo será baixado para a máquina da pessoa e será possível fazer atualizações na infraestrutura. Um exemplo de como declarar esse arquivo está representado no código abaixo.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ca7d01b381cdac750f9f4dd0ea3b8ec3/href">https://medium.com/media/ca7d01b381cdac750f9f4dd0ea3b8ec3/href</a></iframe><h3>Uso de variáveis</h3><p>Uma das vantagens de se usar o Terraform é criar variáveis que serão utilizadas por todos os recursos ao longo do código. O código abaixo exemplifica um bloco do tipo <strong>locals </strong>onde podemos declarar as tags que todos os recursos terão em comum, como por exemplo o departamento, projeto e Owner.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/d00dd479adc0ddd84c76c1b93ad6a4c2/href">https://medium.com/media/d00dd479adc0ddd84c76c1b93ad6a4c2/href</a></iframe><h3>Fluxo de Deploy com o Github Actions (CI/CD)</h3><p>Construir um projeto do zero é sempre um desafio, já que diversos recursos, códigos e integrações precisam ser criadas e testadas, uma maneira de fazer todo o build do projeto de maneira automatizada é usar alguma ferramenta de CI/CD (Continuous Integration/Continuous Delivery) como o CircleCI, Jenkins, Github Actions e etc. No projeto, foi utilizado o Github Actions já que todo o código fonte está hospedado Github.</p><p>A vantagem de se usar uma ferramenta de CI/CD é que conseguimos fazer o deploy de diversas aplicações e infraestruturas de maneira automatizada, mitigando dessa forma, possíveis erros humanos, além de ser fácil de replicar para outros projetos.</p><h3>Como usamos o CI/CD do github Actions</h3><p>Para usar o CI/CD do github actions, basta criar um diretório <strong>.github/workflows </strong>na raiz do projeto e declarar o fluxo de deploy em arquivos de configuração do tipo <strong>.yml</strong>. No projeto, temos um arquivo para fazer o deploy do Lambda na AWS “serverless_application.yml”, nele usamos uma imagem Docker com Node.js, instalamos o serverless framework e depois realizamos o deploy com o comando sls deploy.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6ad9b946c4fa037b8837718976f17000/href">https://medium.com/media/6ad9b946c4fa037b8837718976f17000/href</a></iframe><p>No arquivo “terraform_infrastructure.yml”, temos o deploy da infraestrutura do projeto usando o Terraform, e para isso, usamos uma imagem Docker com o Terraform instalado e executamos os comandos de deploy da ferramenta.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7626f8beff910ba5982831bf8c8608dc/href">https://medium.com/media/7626f8beff910ba5982831bf8c8608dc/href</a></iframe><p>Em ambos os casos, a execução do pipeline só acontece quando for realizado um <strong>merge </strong>na branch <strong>main.</strong></p><h3>Resultados</h3><p>Com todos os recursos criados e em produção, podemos consultar os dados na camada Silver do Data Lake usando o Redshift Spectrum. Como exemplo, podemos executar a seguinte query no próprio console do Redshift Spectrum para analisar a evolução do preço de algum veículo, por exemplo, o Renault Kwid.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/be0af7d0d59f612d0f01251dc24c9fa5/href">https://medium.com/media/be0af7d0d59f612d0f01251dc24c9fa5/href</a></iframe><p>O gráfico da evolução do preço do Kwid está sendo representado pela figura 11.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/1*LOYrD8Nhy4MRDfgE8hbrdQ.png" /><figcaption><strong>Figura 11: </strong>Preço do Renault Kwid</figcaption></figure><p>Além disso, é possível analisar outras métricas, como por exemplo contar o número de marcas distintas presentes na tabela FIPE ou até mesmo selecioná-las, como mostra a figura 12.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/632/1*A6cWgMk8a6DQ5uRkuiFvBw.png" /><figcaption><strong>Figura 12: </strong>Marcas registradas na tabela FIPE.</figcaption></figure><h3>Conclusão</h3><p>Desenvolver um projeto end-to-end usando Engenharia de Software, Dados e DevOps não é uma tarefa simples, pois envolve muitos detalhes em cada etapa, porém o aprendizado é muito grande, já que podemos aplicar na prática nossos conhecimentos e ter contato com ferramentas nunca utilizadas antes, por exemplo o Github Actions, AWS Glue, Kinesis Firehose e Redshift, que precisei aprender a usar do início, sendo que com alguns tutoriais e seguindo a documentação, pude aprender a usar as ferramentas e integrá-las no projeto.</p><p>Em suma, o projeto mostra o um pouco de como construir um data lake, criar uma aplicação em Python para fazer o web scraping, como usar o Terraform e a AWS para a construção de um projeto completo e em produção na nuvem.</p><h3>Referências</h3><p>[1] <a href="https://docs.aws.amazon.com/lambda/latest/dg/welcome.html">https://docs.aws.amazon.com/lambda/latest/dg/welcome.html</a></p><p>[2] <a href="https://docs.aws.amazon.com/lambda/latest/dg/lambda-runtimes.html">https://docs.aws.amazon.com/lambda/latest/dg/lambda-runtimes.html</a></p><p>[3] <a href="https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/firehose.html">https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/firehose.html</a></p><p>[4] <a href="https://aws.amazon.com/cloudformation/">https://aws.amazon.com/cloudformation/</a></p><p>[5] <a href="https://docs.aws.amazon.com/whitepapers/latest/aws-overview/introduction.html">https://docs.aws.amazon.com/whitepapers/latest/aws-overview/introduction.html</a></p><p>[6] <a href="https://docs.aws.amazon.com/glue/latest/dg/add-job.html">https://docs.aws.amazon.com/glue/latest/dg/add-job.html</a></p><p>[7] <a href="https://developer.hashicorp.com/terraform/docs">https://developer.hashicorp.com/terraform/docs</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=af2ba277981e" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-hackers/como-usar-engenharia-de-software-devops-e-dados-para-criar-um-data-lake-na-aws-af2ba277981e">Como usar Engenharia de Software, DevOps e Dados para criar um Data Lake na AWS</a> was originally published in <a href="https://medium.com/data-hackers">Data Hackers</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como utilizamos o Sagemaker para fazer o deploy automatizado de modelos de Machine Learning.]]></title>
            <link>https://medium.com/building-soulkey/como-utilizamos-o-sagemaker-para-fazer-o-deploy-automatizado-de-modelos-de-machine-leaning-f6df12b0e199?source=rss-42ebb9c3d558------2</link>
            <guid isPermaLink="false">https://medium.com/p/f6df12b0e199</guid>
            <dc:creator><![CDATA[Mateus Moura]]></dc:creator>
            <pubDate>Tue, 03 Aug 2021 13:31:29 GMT</pubDate>
            <atom:updated>2021-08-03T14:28:28.619Z</atom:updated>
            <content:encoded><![CDATA[<h3>Como utilizamos o SageMaker para fazer o deploy automatizado de modelos de Machine Learning.</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*j0PH-FYpX5NHxAR7YBkcPQ.jpeg" /><figcaption>Foto por <a href="https://unsplash.com/@askkell">Andy</a> no <a href="https://unsplash.com/s/photos/human-and-robot">Unsplash</a></figcaption></figure><h3>Introdução</h3><p>A Keycash é uma <em>fintech</em> que fornece <a href="https://blog.keycash.io/credito-e-financiamento/conhecendo-o-credito-com-garantia-imobiliaria/">crédito com garantia imobiliária (CGI)</a> para pessoas físicas de todo o Brasil. Portanto, para o nosso negócio, é essencial precificar imóveis em todo o país, e por isso temos diversos modelos preditivos para todas as regiões e para diferentes tipos de imóveis.</p><p>Uma das etapas finais da construção dos nossos modelos, é fazer o deploy de tal forma que seja possível colocá-los em produção e acessá-los através de um <strong>Endpoint</strong>. Para isso, podemos lançar mão de vários recursos da AWS, como por exemplo servir os modelos criados através de uma máquina EC2 utilizando o Flask.</p><p>Porém, com o SageMaker da AWS, podemos empacotar o nosso próprio algoritmo de <em>Machine Learning (ML)</em>, treiná-lo e realizar o <em>deploy</em> criando um <em>endpoint</em> para solicitar requisições no modelo. Esse artigo tem como objetivo explicar como utilizamos o SageMaker para automatizar o processo de deploy, além de citar todos os componentes da arquitetura implementada para integrar esse processo com uma ferramenta de CI/CD. A ideia não é explicar detalhadamente cada serviço, por isso é interessante que o leitor esteja familiarizado com alguns termos e ferramentas, como:</p><ul><li>SageMaker</li><li>S3</li><li>Bitbucket</li><li>CircleCI</li><li>Docker</li><li>Elastic Container Registry</li></ul><p>Portanto, o artigo se divide nas seguintes seções:</p><ol><li>Como criar uma imagem Docker capaz de utilizar o recursos de <strong><em>multi-model server</em></strong> do SageMaker.</li><li>Como configurar um repositório no Bitbucket para a integração com o CircleCI e arquitetura implementada.</li></ol><h3>1 — Imagem Docker com Multi-Model Server (MMS)</h3><p>Para criar um endpoint no SageMaker capaz de importar diversos modelos, é necessário criar uma imagem<em> </em>Docker<em> </em>no <strong><em>Elastic Container Registry</em></strong> (ECR) que vai executar os algoritmos sempre que uma nova requisição for feita no <em>endpoint</em>, e um dos interesses em utilizar o SageMaker como ferramenta para o deploy<em>, </em>é a possibilidade de fazer o <em>host</em> de múltiplos modelos no mesmo endpoint <a href="https://docs.aws.amazon.com/sagemaker/latest/dg/multi-model-endpoints.html">[1]</a>.</p><p>A vantagem principal de utilizar esse recurso é a possibilidade de usar um serviço já gerenciado pela AWS, sem precisar criar e dar manutenção numa EC2 e num framework de API como o Flask. Além da otimização do custo, pois no caso de endpoint “simples” é necessário <strong><em>n</em></strong> endpoints para <strong><em>n</em></strong> modelos, portanto <strong><em>n </em></strong>instâncias diferentes. Agora, com o MMS, é possível ter um único endpoint para <strong><em>n </em></strong>modelos, logo uma única instância.</p><h3>Configurando um Container Docker do tipo Multi-Model Server</h3><p>O <strong>Docker</strong> tem a função de criar <em>containers </em>com imagens onde podemos importar códigos e executá-los, permitindo a padronização de pacotes e versões, além disso os <em>containers </em>são isolados e permitem a reprodutibilidade dos código inseridos <a href="https://docs.docker.com/get-started/overview/">[2]</a>.</p><p>Para criar um <em>container </em>capaz de servir múltiplos modelos<em>, </em>o Docker precisa de um arquivo chamado <strong>Dockerfile</strong>,<em> </em>que é onde especificamos todas as dependências e pacotes que serão instalados na imagem para executar um código em específico, além de outros arquivos e funções auxiliares (chamados de artefatos), como mostra a estrutura de diretório abaixo.</p><p>Estrutura de diretório com os artefatos de MLOps.</p><p>Os códigos utilizados estão presentes no <a href="https://bitbucket.org/keycash_ds/mlops_medium_code/src/main/">repositório</a> público da Keycash 🚀</p><h3>Model Handler</h3><p>O <strong><em>multi-model server</em></strong> espera um <strong><em>model handler, </em></strong>que é um <em>script</em> Python e que implementa funções para fazer o <em>load</em> de um modelo a partir do S3, fazer predições dos dados da requisição no endpoint, processar o output e retornar ao endpoint <a href="https://github.com/aws/amazon-sagemaker-examples/blob/master/advanced_functionality/multi_model_bring_your_own/multi_model_endpoint_bring_your_own.ipynb">[3]</a>.</p><h3>Dockerd-entrypoint</h3><p>Com o dockerd-entrypoint.py, vamos importar o <strong><em>inference toolkit </em></strong><a href="https://pypi.org/project/sagemaker-inference/">[7]</a><strong><em> </em></strong>e usar a função <strong><em>model_server.start_model_server </em></strong>para iniciar o multi-model server. Podemos notar que a chamada para o <strong><em>model_server.start_model_server </em></strong>tem como argumento o <em>model handler</em> do passo anterior <a href="https://github.com/aws/amazon-sagemaker-examples/blob/master/advanced_functionality/multi_model_bring_your_own/multi_model_endpoint_bring_your_own.ipynb">[3]</a>.</p><h3>Dockerfile</h3><p>No <strong><em>Dockerfile, </em></strong>vamos copiar o model <em>handler</em> da primeira etapa e especificar o arquivo do passo anterior como um entrypoint, além de instalar todos os pacotes, presentes no requirements.txt, necessários para executar os modelos <a href="https://github.com/aws/amazon-sagemaker-examples/blob/master/advanced_functionality/multi_model_bring_your_own/multi_model_endpoint_bring_your_own.ipynb">[3]</a>.</p><h3>Script Shell</h3><p>O script shell tem a função de construir o container e a imagem Docker no ECR.</p><h3>Configuração do endpoint para vários modelos</h3><h4>Importar os modelos no host</h4><p>Agora que a imagem Docker foi criada no ECR, podemos configurar o endpoint do Sagemaker para ser do tipo <strong>multi-model </strong>e para isso, precisamos especificar onde estão os modelos no S3, ou seja, o caminho relativo onde dentro estão presentes os arquivos .tar.gz que queremos fazer o deploy. Além disso, é necessário configurar o modo do endpoint como “MultiModel”, o nome do modelo “geral” e qual imagem está sendo utilizada. O código abaixo mostra como fazer essa etapa e usa as APIs e funções do SageMaker integradas com o Boto3 <a href="https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html">[4]</a>.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b6cc436fffae277401d8393714faf52a/href">https://medium.com/media/b6cc436fffae277401d8393714faf52a/href</a></iframe><p>Nessa etapa, precisamos criar o nome para o endpoint, definir o tipo e o número de instâncias que serão utilizadas.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/fe94a6f31422620a58099152c8bd9814/href">https://medium.com/media/fe94a6f31422620a58099152c8bd9814/href</a></iframe><p>Com todas as configurações em mãos, basta criar o endpoint, como mostra o código abaixo.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f5f152388890910d229e53b6d10edf14/href">https://medium.com/media/f5f152388890910d229e53b6d10edf14/href</a></iframe><h4>Testar o endpoint</h4><p>Depois que o endpoint está com o status “InService”, podemos realizar uma requisição passando os dados de input e o modelo no qual queremos invocar.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/185185119786626c0dfc8c176cc36fdd/href">https://medium.com/media/185185119786626c0dfc8c176cc36fdd/href</a></iframe><h3>2 — Como configurar um repositório no Bitbucket para a integração com o CircleCI e arquitetura implementada.</h3><p>Uma vez que configuramos um bucket no S3 para armazenar os modelos de ML e configuramos o endpoint do SageMaker para “ollhar” sempre para esse bucket, podemos acrescentar inúmeros modelos e quando formos fazer uma requisição no endpoint, podemos passar para o parâmetro EndpointName o nome do modelo que queremos invocar <a href="https://docs.aws.amazon.com/sagemaker/latest/dg/invoke-multi-model-endpoint.html">[5]</a>.</p><p>Portanto, tendo o bucket configurado e uma imagem Docker criada, seguimos o seguinte fluxo de deploy dentro do CircleCI:</p><p>Quando os modelos são desenvolvidos, usualmente os salvamos em um bucket no S3 no formato .pkl, porém o SageMaker espera importar os modelos no formato compactado .tar.gz, pois ele automaticamente descompacta o diretório e acessa o arquivo no formato .pkl <a href="https://sagemaker.readthedocs.io/en/stable/api/inference/model.html">[6]</a>.</p><p>Portanto, para utilizar o CircleCI como forma de automatizar o processo de deploy dos modelos, configuramos o Bitbucket com uma estrutura de diretórios divididos por conjunto de modelos e dentro um arquivo .env, que contém todos os caminhos de onde os modelos foram salvos no S3, com formato pickle.</p><p>Quando damos o merge da branch auxiliar para as de development ou de produção, o CircleCI verifica se existem atualizações no arquivo requirements.txt.</p><p>Caso exista alguma alteração, o CircleCI vai executar o script build_and_push.sh novamente, e criar/atualizar a imagem Docker com as novas dependências e, consequentemente, atualizar o endpoint de múltiplos modelos, além de compactar os modelos salvos em .pkl para .tar.gz e salvar no bucket do endpoint de múltiplos modelos.</p><p>Caso não exista nenhuma alteração no arquivo requirements.txt, não há a necessidade de atualizar a imagem Docker e o endpoint no SageMaker, portanto o CircleCI vai apenas converter os modelos .pkl em .tar.gz e salvar no bucket que o SageMaker está “olhando”.</p><p>Portanto, a arquitetura que o time de Data Science da Keycash está utilizando para realizar o deploy de modelos de ML, é a apresentada abaixo.</p><h3>Conclusão</h3><p>O Amazon SageMaker é uma ferramenta da AWS que facilita muito o processo de <em>deploy</em> de modelos de Machine Learning através de suas APIs, além de oferecer recursos para otimização de custo e que suporta vários modelos em um único endpoint, como o Multi-Model Server. Ademais, integrar todo esse processo e recursos da AWS em uma arquitetura robusta que utiliza ferramentas de CI/CD, como o CircleCI, facilita muito o trabalho de um cientista de dados em seu cotidiano, pois o deploy dos modelos passa a depender apenas de um commit no Bitbucket.</p><p>Caso tenham alguma observação ou dúvida, não deixem de comentar ou entrar em contato conosco! Nos vemos no próximo artigo :)</p><h3>Referências</h3><p>[1] <a href="https://docs.aws.amazon.com/sagemaker/latest/dg/multi-model-endpoints.html">https://docs.aws.amazon.com/sagemaker/latest/dg/multi-model-endpoints.html</a></p><p>[2] <a href="https://docs.docker.com/get-started/overview/">https://docs.docker.com/get-started/overview/</a></p><p>[3] <a href="https://github.com/aws/amazon-sagemaker-examples/blob/master/advanced_functionality/multi_model_bring_your_own/multi_model_endpoint_bring_your_own.ipynb">https://github.com/aws/amazon-sagemaker-examples/blob/master/advanced_functionality/multi_model_bring_your_own/multi_model_endpoint_bring_your_own.ipynb</a></p><p>[4]<a href="https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html">https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html</a></p><p>[5] <a href="https://docs.aws.amazon.com/sagemaker/latest/dg/invoke-multi-model-endpoint.html">https://docs.aws.amazon.com/sagemaker/latest/dg/invoke-multi-model-endpoint.html</a></p><p>[6] <a href="https://sagemaker.readthedocs.io/en/stable/api/inference/model.html">https://sagemaker.readthedocs.io/en/stable/api/inference/model.html</a></p><p>[7] <a href="https://pypi.org/project/sagemaker-inference/">https://pypi.org/project/sagemaker-inference/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f6df12b0e199" width="1" height="1" alt=""><hr><p><a href="https://medium.com/building-soulkey/como-utilizamos-o-sagemaker-para-fazer-o-deploy-automatizado-de-modelos-de-machine-leaning-f6df12b0e199">Como utilizamos o Sagemaker para fazer o deploy automatizado de modelos de Machine Learning.</a> was originally published in <a href="https://medium.com/building-soulkey">building-soulKey</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>