<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Marcilio Duarte on Medium]]></title>
        <description><![CDATA[Stories by Marcilio Duarte on Medium]]></description>
        <link>https://medium.com/@marcilio.dfn?source=rss-a107dfa0b2ea------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*DkChqXfsp16XI-pyrLA5NQ.jpeg</url>
            <title>Stories by Marcilio Duarte on Medium</title>
            <link>https://medium.com/@marcilio.dfn?source=rss-a107dfa0b2ea------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 08:33:06 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@marcilio.dfn/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[AI Festival 2025: 5 constatações, 1 dúvida e as 6 melhores lições (para mim) sobre o estado da IA…]]></title>
            <link>https://medium.com/@marcilio.dfn/ai-festival-2025-5-constata%C3%A7%C3%B5es-1-d%C3%BAvida-e-as-6-melhores-li%C3%A7%C3%B5es-para-mim-sobre-o-estado-da-ia-96233915109b?source=rss-a107dfa0b2ea------2</link>
            <guid isPermaLink="false">https://medium.com/p/96233915109b</guid>
            <category><![CDATA[technology]]></category>
            <category><![CDATA[ai-bubble]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <dc:creator><![CDATA[Marcilio Duarte]]></dc:creator>
            <pubDate>Sat, 18 Oct 2025 22:33:58 GMT</pubDate>
            <atom:updated>2025-10-20T22:22:23.647Z</atom:updated>
            <content:encoded><![CDATA[<h3>AI Festival 2025: 5 constatações, 1 dúvida e as 6 melhores lições (para mim) sobre o estado da IA no BR e no mundo no fim de 2025.</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*Sv6L3X1-9x-uI5VRQilA0g.jpeg" /><figcaption>Foto do evento retirada pelo autor</figcaption></figure><h3>Sumário</h3><p><a href="https://medium.com/@marcilio.dfn/ai-festival-2025-5-constata%C3%A7%C3%B5es-1-d%C3%BAvida-e-as-6-melhores-li%C3%A7%C3%B5es-para-mim-sobre-o-estado-da-ia-96233915109b#c7ae"><strong><em>1. Contextualizando</em></strong></a><strong><em><br></em></strong><a href="https://medium.com/@marcilio.dfn/ai-festival-2025-5-constata%C3%A7%C3%B5es-1-d%C3%BAvida-e-as-6-melhores-li%C3%A7%C3%B5%C3%B5es-para-mim-sobre-o-estado-da-ia-96233915109b#75fb"><strong><em>2. O que já está certo</em></strong></a><strong><em><br></em></strong><a href="https://medium.com/@marcilio.dfn/ai-festival-2025-5-constata%C3%A7%C3%B5es-1-d%C3%BAvida-e-as-6-melhores-li%C3%A7%C3%B5%C3%B5es-para-mim-sobre-o-estado-da-ia-96233915109b#c620"><strong><em>3. O que ainda é incerto: a pergunta de milhões</em></strong></a><strong><em><br></em></strong><a href="https://medium.com/@marcilio.dfn/ai-festival-2025-5-constata%C3%A7%C3%B5es-1-d%C3%BAvida-e-as-6-melhores-li%C3%A7%C3%B5%C3%B5es-para-mim-sobre-o-estado-da-ia-96233915109b#9301"><strong><em>4. O que eu peguei de melhor no AI Festival 2025</em></strong></a></p><p><a href="https://medium.com/@marcilio.dfn/ai-festival-2025-5-constata%C3%A7%C3%B5es-1-d%C3%BAvida-e-as-6-melhores-li%C3%A7%C3%B5%C3%B5es-para-mim-sobre-o-estado-da-ia-96233915109b#4ccc"><em>∘ 4.1 Guilherme Silveira (Co-Founder e CIO da Alura): Vibe coding, a revolução da programação e a influência da IA</em></a></p><p><a href="https://medium.com/@marcilio.dfn/ai-festival-2025-5-constata%C3%A7%C3%B5es-1-d%C3%BAvida-e-as-6-melhores-li%C3%A7%C3%B5%C3%B5es-para-mim-sobre-o-estado-da-ia-96233915109b#f0cd"><em>∘ 4.2 Carlos Mazzei (CTO do Itaú Unibanco): Desenvolvendo a Inteligência Itaú — uma arquitetura de IA multiagentes com foco no cliente</em></a></p><p><a href="https://medium.com/@marcilio.dfn/ai-festival-2025-5-constata%C3%A7%C3%B5es-1-d%C3%BAvida-e-as-6-melhores-li%C3%A7%C3%B5%C3%B5es-para-mim-sobre-o-estado-da-ia-96233915109b#333e"><em>∘ 4.3 Dr. Claudionor Coelho Jr. (Pesquisador da Santa Clara University e investidor da Ridge Security): Estratégias no oceano azul para LLMs e agentes</em></a></p><p><a href="https://medium.com/@marcilio.dfn/ai-festival-2025-5-constata%C3%A7%C3%B5es-1-d%C3%BAvida-e-as-6-melhores-li%C3%A7%C3%B5%C3%B5es-para-mim-sobre-o-estado-da-ia-96233915109b#6621"><em>∘ 4.4 Ted Gola (Líder de Produto para Criadores do Google): Criatividade avançada com Google AI</em></a></p><p><a href="https://medium.com/@marcilio.dfn/ai-festival-2025-5-constata%C3%A7%C3%B5es-1-d%C3%BAvida-e-as-6-melhores-li%C3%A7%C3%B5%C3%B5es-para-mim-sobre-o-estado-da-ia-96233915109b#5544"><em>∘ 4.5 Fangzhou Chen (Head of Business Strategy na Manus AI): Como construímos a Manus</em></a></p><p><a href="https://medium.com/@marcilio.dfn/ai-festival-2025-5-constata%C3%A7%C3%B5es-1-d%C3%BAvida-e-as-6-melhores-li%C3%A7%C3%B5%C3%B5es-para-mim-sobre-o-estado-da-ia-96233915109b#fdfa"><em>∘ 4.6 Alexandre Messina (Embaixador e Enterprise GTM da Lovable): Construindo com IA 10x mais rápido — Vibe coding e a nova forma de comunicação nas empresas</em></a></p><p><a href="https://medium.com/@marcilio.dfn/ai-festival-2025-5-constata%C3%A7%C3%B5es-1-d%C3%BAvida-e-as-6-melhores-li%C3%A7%C3%B5%C3%B5es-para-mim-sobre-o-estado-da-ia-96233915109b#e17f"><strong><em>5. Conclusão: entre o hype e a realidade</em></strong></a></p><h3>1. Contextualizando</h3><p>Na semana passada participei do <strong>AI Festival 2025</strong>, promovido pela StartSe, e saí de lá com a cabeça fervendo.</p><p><strong>Foram dois dias intensos de palestras, painéis e conversas sobre o tema do momento: </strong>Neymar Jr. vai ou não para a Copa de 2026?<strong> </strong>Hahaha, brincadeira! Obviamente, foi sobre a tal da “<strong>Inteligência Artificial</strong>.”</p><p>Lá eu vi técnicos, pesquisadores, executivos, empreendedores, gente do Brasil e de fora, todos envolvidos com o tema. Foi uma loucura.</p><p>Para quem tem um perfil mais técnico como eu, foi uma grande mistura de sentimentos. Fiquei migrando entre <strong>o encantamento e a realidade </strong>e me questionando o tempo todo sobre onde realmente estamos nessa corrida global.</p><p>Por isso, deixo aqui minhas reflexões — uma mistura de constatações, dúvidas e aprendizados sobre o que vi por lá.</p><h3>2. O que já está certo</h3><p>Após o evento, tive a sensação de confirmar várias coisas que circulavam na minha mente nos últimos tempos. Todas elas são simples, amplamente debatidas e não são nenhuma novidade. Mas como meu objetivo é contribuir, preciso dizer:</p><p><strong>1. Vivemos um hype absurdo e gigantesco.</strong> Vendo tantas soluções e profissionais de perfis diferentes reunidos em um mesmo lugar por conta de um assunto como se ele fosse a coisa mais importante do mundo, não tem como pensar diferente.</p><p><strong>2. Realmente perdemos a batalha pelo uso do termo “IA”</strong>. Assim como muitos profissionais da área, eu nunca gostei da forma como o conceito vem sendo usado — banalizado, distorcido e, às vezes, esvaziado de sentido. Mas essa luta acabou. O termo “IA” colou. Está nas capas de revistas, nos pitches de startups, nos relatórios de mercado, na boca dos executivos, já era. Parem de sonhar. Não tem mais volta. E por mais que o clássico em mim ainda se incomode, resistir só atrapalha, precisamos aprender a usar o termo da forma como o mundo o entende, se quisermos continuar a trazer mais lucidez às mesas de discussão.</p><p><strong>3. As empresas estão correndo contra o tempo</strong>. De um lado, as big techs — Google, OpenAI, Anthropic, Meta, entre outras — investem pesado em modelos, nuvens e ecossistemas de agentes. Do outro, as empresas demandantes de soluções, de MPEs a grandes corporações, correm para embarcar “IA” em seus produtos e processos. O discurso de “não podemos ficar para trás” e o sentimento de “temos que aproveitar essa oportunidade” dominam, e isso está acelerando uma onda de adoção, experimentação e adaptação raramente vista na história recente da tecnologia. Não foi assim com o Metaverso, por exemplo.</p><p><strong>4. Há muitos “encantadores de executivos” por aí.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*ftc8DyVvJgMp8Cr8.png" /><figcaption>Imagem gerada por IA pelo autor</figcaption></figure><p>Consultorias, startups e profissionais que surfam no hype para vender soluções com pouca base técnica, baixo grau de segurança e integração duvidosa estão pipocando por aí em maior número do que os advogados. Alguém precisa avisar nossos executivos que nem tudo que brilha em IA é ouro — e muitas empresas correm o risco de comprometer dados e processos por falta de ceticismo técnico.</p><p><strong>5. Quem trabalha com dados e tecnologia precisa continuar aprendendo. </strong>A velocidade das transformações é brutal, e quem não se desenvolver continuamente corre o risco de virar um profissional defasado e ser substituído por um bot ou por um júnior que saiba usar bem as LLMs em meses, não em anos. Isso é uma realidade que vai se tornar cada vez mais comum.</p><p>E se antes isso ainda parecia discurso de quem vive muito próximo da área técnica, o evento mostrou que essa é a realidade de todos os setores.</p><p>O que Mazzei apresentou do Itaú, o Messina com a Lovable, a Fangzhou com a Manus e o Ted, com os números do Google, deixam claro que a IA já não é mais tema de laboratório — é infraestrutura de negócio.</p><p>Cada um à sua maneira mostrou que o movimento é inevitável: a<strong>s empresas que estão liderando essa onda não estão “experimentando IA”, estão operando com ela no centro das suas decisões.</strong></p><h3>3. O que ainda é incerto: a pergunta de milhões</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*vTxQYJYvTaXKDBHy.png" /><figcaption>Imagem gerada por IA pelo autor</figcaption></figure><p><strong>Estamos vivendo uma bolha?</strong> Onde isso vai parar?</p><p>Meus amigos, como eu queria ter certeza nessa resposta.</p><p><strong>Há sinais fortes de que sim, estamos em uma bolha</strong> — investimentos exagerados, valuations fora da realidade e uma euforia que lembra os primórdios da internet, do blockchain e do metaverso.</p><p>A história nos mostra que <strong>grandes ciclos tecnológicos quase sempre vêm acompanhados de ondas especulativas</strong>, e o atual momento da IA não parece ser exceção.</p><p>O investimento em infraestrutura cresceu exponencialmente, mas <strong>os retornos concretos ainda são incertos</strong>, e <strong>o volume de novas startups e ferramentas lançadas mensalmente beira o insustentável</strong>.</p><p>A sensação é de que estamos cada vez mais próximos da hora em que a quebradeira vai começar, pois é assim que a inovação funciona.</p><p>Por outro lado, também há <strong>sinais de que não</strong>.</p><p>Estamos em uma era de muita produção de conhecimento aplicado e t<strong>em muita gente muito inteligente e muito competente tentando fazer com que as promessas se cumpram e que não estejamos em uma bolha.</strong></p><p>Vimos, em um passado recente, o surgimento de diversas startups que operaram durante anos de forma hiper alavancada — sustentadas por altos, e muitas vezes questionados, investimentos de anjos e fundos — sem gerar lucro algum, até que alguns desses negócios finalmente viraram.</p><p>No meio dos encantadores de executivos, <strong>tem muita empresa construindo produtos reais e que beiram ao revolucionário,</strong> como é o caso da world.org, que foi uma das palestrantes no evento. No evento vimos vários casos assustadores de como a IA está impactando as áreas da educação, saúde, agricultura, finanças, etc.</p><p>E esse dilema — entre promessa e entrega — ficou muito evidente no evento. Ao mesmo tempo em que vimos cases maduros, como o do Itaú com sua arquitetura multiagente, também vimos empresas e ferramentas ainda em estágio inicial. É um retrato fiel do momento: <strong>uma indústria que já entrega resultados concretos, mas ainda se descobre enquanto corre</strong>.</p><p>Em outras palavras, acho difícil concluir qualquer coisa agora, mas se eu fosse apostar minhas fichas em algo, eu diria que o mais provável é que estejamos vivendo <strong>um mix de ambos</strong>: <strong>um excesso de promessas sustentado por um movimento genuíno e transformador.</strong> Viveremos algo muito transformador, mas ao mesmo tempo veremos muita quebradeira.</p><h3>4. O que eu peguei de melhor no AI Festival 2025</h3><p>Para além dessas discussões sobre hype, bolha e etc, também vi muita coisa bacana no AI Festival. Pelo formato do evento, não foi possível participar de tudo porque muitas das palestras eram simultâneas, mas do que eu assisti, eis aqui um pouquinho das falas que eu mais gostei:</p><h4>4.1 Guilherme Silveira (Co-Founder e CIO da Alura): Vibe coding, a revolução da programação e a influência da IA</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*0o-5IDkPH48Da5hy.jpeg" /><figcaption>Foto de slide do palestrante</figcaption></figure><p>A fala do Guilherme foi, sem dúvidas, uma das melhores do evento.</p><p>Ele iniciou explicando que no meio do hype e da democratização de acesso às IAs, o holofote deixou de estar nos modelos em si e passou para as <strong>aplicações e ferramentas interativas</strong> que tornam a IA realmente útil e produtiva na vida das pessoas.</p><p>Outro ponto bacana é que ele foi um dos poucos que abordou <strong>como a IA está mudando o dia a dia de quem vive programando, </strong>e que é preciso saber, no meio de tanta ferramenta nova, <strong>como identificar as melhores e como usá-las de forma orquestrada e integrada aos nossos ambientes para vivenciar essa revolução em todo seu potencial</strong>.</p><p>Para embasar sua fala, ele trouxe dados recentes das pesquisas <strong>Código Fonte (2025)</strong> e <strong>Stack Overflow Developer Survey (2025)</strong>.</p><p>Os números mostram que <strong>95,5% dos devs já utilizam IA no trabalho</strong>, e <strong>mais de 76% afirmam se sentir mais produtivos</strong> com o uso dessas ferramentas (outros 19% parcialmente).</p><p>Ainda assim, apenas <strong>30% confiam plenamente na qualidade do código gerado por IA</strong>, enquanto <strong>46% confiam parcialmente</strong> — o que revela que o entusiasmo vem acompanhado de cautela técnica.</p><p>Entre as ferramentas, o <strong>ChatGPT</strong> segue como a mais utilizada (mais de 60%), embora ele tenha deixado claro que <strong>nem sempre é a melhor para programar</strong>.</p><p>Segundo ele, ferramentas como <strong>Claude, Gemini e Cursor</strong> vêm se destacando por entenderem melhor o contexto de código e integrarem-se de forma mais fluida às IDEs.</p><p>Já entre as IDEs, <strong>VS Code</strong> continua soberano, com <strong>mais de 50% de uso</strong>, seguido por Visual Studio, IntelliJ e Cursor.</p><p>Ele também apresentou uma classificação interessante, agrupando o ecossistema de ferramentas que considera mais promissor:</p><ul><li><strong>Chatbots:</strong> ChatGPT, Gemini App, Claude.ai, Qwen Chat</li><li><strong>IDEs:</strong> Cursor, Warp, JetBrains AI, Windsurf</li><li><strong>Cloud IDEs:</strong> Replit, Lovable, Bolt, v0</li><li><strong>Extensões:</strong> GitHub Copilot, Cline, Roo, Kilo, Refact.ai</li><li><strong>CLI:</strong> Claude Code, Gemini CLI, Amp, Aider Chat</li><li><strong>Full Agents:</strong> Devin, OpenAI Codex, Jules, Cursor Web</li></ul><p>E sobre os modelos em si, o “pelotão de elite” do momento para ele inclui <strong>GPT-5, Gemini 2.5 Pro, Claude 4.1 Opus e Grok</strong>. Em seguida vêm <strong>DeepSeek R, GLM-4.5, Qwen3-Coder e Kimi K2</strong>.</p><p>Ao final, ele reforçou o discurso de que estamos entrando na era do <strong>“Vibe Coding”</strong> — era esta marcada pelo ato <strong>de programar de forma mais fluida, integrada e colaborativa</strong>, em que o desenvolvedor deixa de apenas escrever código e passa a <strong>orquestrar inteligências</strong>.</p><h4>4.2 Carlos Mazzei (CTO do Itaú Unibanco): Desenvolvendo a Inteligência Itaú — uma arquitetura de IA multiagentes com foco no cliente</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*BZQFkb7bxaTw1izA.jpeg" /><figcaption>Foto de slide do palestrante</figcaption></figure><p>A palestra do Mazzei foi, para mim, uma das mais interessantes justamente por vir de uma instituição tradicional como o Itaú que nos últimos anos tem buscado se reinventar por completo.</p><p>Ele mostrou que, mesmo em estruturas grandes e complexas, é possível <strong>trabalhar com IA de forma estruturada, segura e centrada no cliente</strong> — e o mais impressionante é o nível altíssimo de maturidade técnica do que já está sendo feito por lá.</p><p>O ponto central da apresentação foi a <strong>arquitetura de IA multiagente</strong> do banco.</p><p>Se eu absorvi bem, eles já tem uma camada de agentes especializados que “conversam” entre si, coordenados por uma inteligência principal — a batizada de <em>Inteligência Itaú</em>.</p><p>Esses agentes lidam com diferentes áreas, como <strong>investimentos, Pix e canais de comunicação com PJs</strong>, trocando informações e executando tarefas de forma orquestrada, quase invisível para o cliente final.</p><p>A ideia é simples, mas poderosa: <strong>para o cliente, tudo começa com um único ponto de entrada</strong> — e a IA se encarrega de orquestrar toda a complexidade que acontece nos bastidores.</p><p>Isso garante uma experiência fluida, personalizada e muito mais eficiente.</p><p>Ele também detalhou a <strong>arquitetura em camadas</strong> que sustenta essa operação:</p><ul><li><strong>LLM:</strong> a base cognitiva, responsável por interpretar contexto e intenção;</li><li><strong>Ferramentas:</strong> APIs, bases vetoriais, SQL e memória de curto e longo prazo;</li><li><strong>Memória:</strong> que guarda o histórico e o contexto para evitar redundâncias;</li><li><strong>Orquestração:</strong> onde entram rotas, workflows e filas de mensagens;</li><li><strong>UI e Evals:</strong> que analisam, medem e aprimoram o desempenho da IA.</li></ul><p>Um ponto que me chamou atenção foi a preocupação com <strong>segurança, governança e confiabilidade</strong>. O Itaú não trata IA como brinquedo de laboratório, mas como <strong>infraestrutura crítica</strong>, sujeita a políticas internas de uso responsável.</p><p>Lá eles já avançaram a ponto de desenvolver a <strong>RAI Itaú, </strong>uma Política interna que trata sobre o uso responsável de IA na empresa, além do <strong>HAX Itaú</strong>, um conjunto de diretrizes de UX que orienta a criação de experiências centradas no usuário.</p><p>Outro destaque foi o <strong>modelo de dados</strong> que dá suporte a tudo isso: o Itaú está migrando para um modelo <strong>Data Mesh</strong>, com dados <strong>democratizados e governados por domínios</strong>, operando em infraestrutura distribuída na AWS.</p><p>Essa mudança permite que cada área tenha autonomia sobre seus dados, mas dentro de um padrão de interoperabilidade, governança e segurança.</p><p>E para colocar a cereja no bolo, ele apresentou o <strong>Instituto de Ciência e Tecnologia Itaú</strong>, voltado à pesquisa de ponta em IA, robótica, computação quântica e ciência de dados e responsável por desenvolver e divulgar publicamente a maior base de dados de texto curada — e uma das maiores do tipo — criada especificamente para treinar grandes modelos de linguagem em português.</p><p>O instituto está recebendo grandes investimentos do banco visando o futuro e atua em parceria com universidades brasileiras de ponta como <strong>USP e UFG</strong>, além de possuir alianças com <strong>Stanford e MIT.</strong> Segundo ele, já são mais de <strong>170 bolsistas</strong> apoiados em projetos de mestrado e doutorado.</p><p>A fala do Mazzei mostrou que <strong>a IA no Itaú já não é um experimento — é parte da estrutura do banco</strong>.</p><h4>4.3 Dr. Claudionor Coelho Jr. (Pesquisador da Santa Clara University e investidor da Ridge Security): Estratégias no oceano azul para LLMs e agentes</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*t7BZdjPpLcu2rwfKcvPKQQ.png" /><figcaption>Foto de slide do palestrante</figcaption></figure><p>A palestra do Dr. Claudionor, um dos top AI executives to watch de 2025, segundo a PixieBrix, foi daquelas extremamente realistas e técnicas, do tipo que te dá um balde de água fria ao mesmo tempo em que te faz se sentir um burro — e isso não é uma crítica, muito pelo contrário, eu sou dos que gosta desse choque de realidade!</p><p>Ele começou abordando um ponto que raramente aparece em palestras sobre IA: <strong>a limitação estrutural dos LLMs</strong>.</p><p>Segundo Claudionor, o grande desafio não é o tamanho do modelo, o número de parâmetros ou o custo de treinamento, mas sim o fato de que <strong>um modelo monolítico não escala na mesma proporção que a complexidade dos problemas reais</strong>.</p><p>Em outras palavras, <em>os LLMs não encontram o bug — não porque faltam tokens, mas porque o mundo é exponencialmente mais complexo do que eles conseguem representar.</em></p><p>A solução que ele defende — e que já vem sendo testada em várias frentes — é o que chamou de <strong>transição do modelo monolítico para o sistema multiagente</strong>.</p><p>Em vez de um modelo tentando fazer tudo, teremos <strong>vários agentes especializados</strong>, orquestrados por uma camada superior que define contexto, memória e planejamento.</p><p>Cada agente faz uma parte pequena da tarefa, mas de forma precisa e previsível, o que <strong>reduz alucinações e aumenta a confiabilidade</strong>.</p><p>Do ponto de vista arquitetural, ele mostrou que essa virada de chave representa três grandes transformações:</p><ul><li>de <strong>LLMs genéricos</strong> para <strong>sistemas multiagentes contextuais</strong>;</li><li>de <strong>data lakes</strong> (onde jogamos tudo) para <strong>data knowledge</strong>, com dados estruturados, versionados e temporalmente correlacionados;</li><li>de <strong>prompts estáticos</strong> para <strong>context engineering</strong>, com <strong>memória persistente e grafos de conhecimento</strong>.</li></ul><p>Além disso, uma das falas dele é crucial para virar o jogo no mundo corporativo:</p><blockquote><em>“A maior parte dos dados corporativos é privada. Nenhum modelo aberto — nem OpenAI, nem Anthropic — jamais viu esses dados. A inteligência real do negócio está dentro das empresas.”</em></blockquote><p>No fundo, ele está dizendo que <strong>o diferencial competitivo da IA não é o modelo, é o contexto</strong> — e que quem souber orquestrar bem seus dados internos vai sair na frente, com ou sem modelo próprio.</p><p>No final, a mensagem foi clara: <strong>o futuro da IA corporativa será multiagente, contextual e orquestrado.</strong></p><p>Os agentes de IA são o próximo passo natural dessa evolução — e a corrida agora é pra construir <strong>sistemas que saibam coordenar inteligência, dados e propósito</strong> dentro das organizações.</p><p>No final, ele encerrou dizendo algo que ficou martelando na minha cabeça:</p><blockquote><em>“</em>o futuro da IA não será sobre responder perguntas, mas sobre executar — uma transição de <em>reasoning</em> para <em>execution</em>, e de modelos isolados para sistemas orquestrados<em>.”</em></blockquote><p>Mas ele também deixou claro que até lá <strong>ainda temos muito chão pra andar.</strong></p><h4>4.4 Ted Gola (Líder de Produto para Criadores do Google): Criatividade avançada com Google AI</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*dmbFfrY2XlGdlQHm.jpeg" /><figcaption>Foto de slide do palestrante</figcaption></figure><p>A palestra do Ted foi uma mistura interessante de <strong>dados, tendências e criatividade</strong>.</p><p>Foi uma daquelas apresentações que começam tranquilas, mas que, conforme os números vão aparecendo, você começa a assustar — no bom sentido.</p><p>Ele começou apresentando uma série de dados que mostram o quanto o Brasil está mergulhado até o pescoço na IA generativa.</p><p>De acordo com dados que ele levou do <strong>Google Global AI Pulse </strong>e do relatório <strong>The Economic Impact of Generative AI (McKinsey)</strong>:</p><ul><li>O uso de IA generativa nas buscas do Google cresceu <strong>150% em apenas 18 meses</strong> (entre janeiro/2023 e junho/2024);</li><li><strong>97% dos brasileiros</strong> já ouviram falar de IA;</li><li><strong>69% já usaram IA generativa</strong> ao menos uma vez;</li><li><strong>29%</strong> usam com frequência;</li><li>E o dado que mais me impressionou: <strong>74% dos pequenos negócios (MEIs e MPEs)</strong> já utilizam IA em alguma etapa das operações.</li></ul><p>Ted usou esses dados pra reforçar um ponto: <strong>a IA generativa deixou de ser “tendência” e virou infraestrutura criativa</strong>. Hoje, as pessoas não estão mais “experimentando IA” — elas estão <strong>trabalhando com ela</strong> para criar coisas reais.</p><p>No evento, ele mostrou uma série de exemplos de buscas por criação de imagens, vídeos, apresentações, textos, animações, músicas, livros, currículos, marcas e até produtos inteiros.</p><p>Segundo ele, a IA está se tornando o novo <strong>ferramental de expressão e produção</strong>, tão básico quanto um pacote do Office foi nos anos 2000.</p><p>Para eles, estamos entrando em um cenário de <strong>criatividade avançada</strong> em que as IAs não irão substituir a criatividade humana — <strong>mas ampliar o alcance dos criadores e empreendedores </strong>a partir da eliminação bloqueios criativos, acelerando processos de testes de hipótese e democratizando o acesso à criação digital de forma geral.</p><p>É como se cada pessoa passasse a ter um “coprodutor” particular trabalhando em segundo plano.</p><p>No fundo, o que o Ted mostrou é que a IA já deixou de ser um tema de especialistas, <strong>ela virou parte do cotidiano do brasileiro comum e </strong>ainda tem muito a nos oferecer em termos de produtividade e criatividade.</p><h4>4.5 Fangzhou Chen (Head of Business Strategy na Manus AI): Como construímos a Manus</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*JF9sgwHpDaw7NeqjTNHQ8Q.jpeg" /><figcaption>Foto de slide do palestrante</figcaption></figure><p>A palestra da Fangzhou Chen foi curta, mas inspiradora no que tange aos temas de empreendedorismo e <strong>avanço da inteligência autônoma</strong>.</p><p>Enquanto muitos ainda falam de IA como uma assistente que “ajuda a pensar”, a Manus AI já está alguns passos à frente — criando <strong>agentes que pensam, decidem e executam tarefas de forma independente</strong>, em nuvem.</p><p>Tudo isso porque eles identificaram uma “dor” comum no uso das aplicações “tradicionais” de IA, que é a de você ter que ficar parado esperando o retorno dos prompts para depois usar o CTRL+C e CTRL+V, trocar de página no browser ou de app no pc para testar o resultado e começar tudo de novo caso não funcione.</p><p>Daí eles pensaram na Manus como uma solução para <strong>transformar inteligência em ação real</strong>.</p><p>A proposta da empresa é simples, mas ousada: fazer com que a IA não apenas gere respostas, mas <strong>resolva problemas concretos</strong>, com o mínimo de intervenção humana possível.</p><p>Lançada em março de 2025, a Manus AI já atingiu <strong>3 milhões de usuários no Windows</strong>, em <strong>mais de 190 países</strong>, e — pasme — <strong>30% dessa base é brasileira</strong>.</p><p>O sucesso rápido, segundo Fangzhou, se deve ao fato de que a ferramenta é <strong>prática, acessível e realmente útil no dia a dia</strong>.</p><blockquote><em>“A maioria das pessoas não se importa com o código. O que importa é que o problema seja resolvido. A inteligência deve ser o produto, não a ferramenta.”</em></blockquote><p>Essa frase resume bem o espírito da Manus.</p><p>A plataforma foi construída para <strong>funcionar de forma autônoma</strong>, executando tarefas na nuvem sem depender do computador do usuário. Cada atividade é tratada como uma <strong>máquina virtual isolada</strong>, o que garante segurança e evita qualquer impacto local.</p><p>Na prática, enquanto você trabalha, responde e-mails ou até assiste a vídeos, a IA executa processos inteiros em paralelo — de forma contínua e adaptativa, <strong>aprendendo com cada interação</strong>.</p><p>Ela destacou que o foco agora não está mais em “gerar conteúdo”, mas sim em <strong>agir com eficiência e segurança</strong>, resolvendo demandas reais.</p><p>Para eles, o grande salto da IA não é só cognitivo, mas também operacional: <strong>a capacidade de agir autonomamente com confiabilidade</strong>.</p><p>Outro ponto que chamou atenção foi o modelo de negócio:</p><p>Eles oferecem <strong>1.000 créditos gratuitos</strong> ao usuário iniciante, e depois adotam planos pagos de assinatura, como o <strong>Manus Starter (US$ 39/mês)</strong> e o <strong>Manus Pro (US$ 199/mês)</strong>, com limites maiores de execução e prioridade de processamento.</p><p>Apesar de jovem — apenas sete meses desde o lançamento — , a empresa já se posiciona como uma das principais referências em <strong>IA autônoma aplicada a produtividade pessoal e corporativa</strong>.</p><p>A palestra terminou com uma frase que, para mim, resume bem o espírito da empresa:</p><blockquote><em>“O verdadeiro valor da IA não está em pensar, mas em fazer.”</em></blockquote><h4>4.6 Alexandre Messina (Embaixador e Enterprise GTM da Lovable): Construindo com IA 10x mais rápido — Vibe coding e a nova forma de comunicação nas empresas</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*dbWdDnlo_SOtQ74u.jpeg" /><figcaption>Foto de slide do palestrante</figcaption></figure><p>A palestra do Messina foi uma das mais práticas e recheadas de exemplos que eu participei, além de ser uma das mais inspiradoras para quem tem ideias empreendedoras.</p><p>Gostei muito da fala de abertura dele sobre como <strong>a construção com IA pode gerar uma revolução na forma como nos comunicamos e criamos dentro das empresas.</strong></p><p>Isso porque, com as IAs atuais, o desenvolvedor (ou até alguém não técnico) <strong>descreve o que quer em linguagem natural</strong>, constrói suas primeiras versões de suas aplicações e isso otimiza muito as conversas e o desenvolvimento com times de UX e TI, por exemplo.</p><p>É uma mudança de paradigma dentro das empresas. Até então, a cultura corporativa seguia o ciclo clássico: <strong>alguém tem uma ideia → escreve um PRD → entrega para o time técnico → espera semanas ou meses por um protótipo</strong>. Mas com o <em>Vibe Coding</em>, isso tende a se inverter cada vez mais: <strong>primeiro se cria, depois se valida</strong>.</p><p>Nas palavras dele, é a <strong>“democratização da criação digital” e “a construção é a nova forma de comunicação”</strong>.</p><p>E dentro disso, ele apresentou a Lovable como a plataforma que materializa esse conceito, permitindo que <strong>qualquer pessoa — mesmo sem saber programar — possa criar produtos, dashboards e aplicações completas com IA</strong>.</p><p>Claro que a ferramenta ainda tem muitas limitações, mas quando questionado sobre isso ele disse que eles estão trabalhando cada vez mais na disponibilização de formas de integração entre o que é desenvolvido pela plataforma com outras ferramentas.</p><p>E não é errado dizer que mesmo em seu estado atual ela tem uma grande utilidade, afinal, de acordo com os dados que ele levou, já são <strong>mais de 500 mil criadores no Brasil</strong> e <strong>mais de 100 mil projetos desenvolvidos</strong>, o que dá uma boa dimensão do impacto que a ferramenta está tendo.</p><p>Além disso, o Messina mostrou ainda <strong>casos reais de empresas brasileiras que estão usando Lovable para aumentar produtividade e reduzir custos</strong>.</p><p>Em um deles, a <strong>Memed</strong> reduziu o tempo de entrega de novas features <strong>de seis para dois meses</strong>, mantendo a qualidade do produto. Outro caso foi o da <strong>Walljobs</strong>, que construiu o próprio CRM com Lovable — mais adaptado às suas necessidades — e passou a <strong>economizar cerca de R$ 200 mil por ano</strong> em assinaturas.</p><p>Além disso, ele apresentou uma lista de ferramentas que empresas têm recriado internamente com IA — desde formulários e bases de conhecimento até CRMs e sistemas de gestão — com economias que variam de <strong>R$ 60 mil a R$ 500 mil por ano</strong>, dependendo da aplicação.</p><p>Ele também compartilhou <strong>cinco dicas de Vibe Coding</strong> para aumentar a produtividade das equipes:</p><ol><li><strong>Fazer prompts por voz</strong> (usando ferramentas como Willow) — economia média de 1h por dia;</li><li><strong>Subir o design system da empresa no knowledge base</strong>, pra manter consistência visual e identidade de marca;</li><li><strong>Usar assistentes de PRD</strong> no primeiro prompt de dashboard (como o Lovable PRD Generator);</li><li><strong>Manter um diretório de prompts de referência</strong>, com boas práticas e exemplos prontos;</li><li><strong>Antes de implementar grandes mudanças, conversar com o chat</strong> para validar ideias e cenários.</li></ol><p>Em resumo, a fala dele mostrou que <strong>o “Vibe Coding” não é só uma técnica — é uma nova mentalidade, e que há muitas oportunidades tanto para quem atua no mundo corporativo quanto para quem quer empreender.</strong></p><h3>5. Conclusão: entre o hype e a realidade</h3><p>Saí do AI Festival com uma sensação que mistura <strong>empolgação e sobriedade.</strong></p><p>Por um lado, é impossível não se impressionar com o ritmo das mudanças, com a criatividade das aplicações e com a inteligência das pessoas que estão moldando esse novo mundo. Por outro, é inevitável não sentir que estamos também vivendo um momento de <strong>excesso, ansiedade e deslumbramento</strong>.</p><p>Fato é que a IA não é mais uma promessa distante — ela está cada vez mais entre nós e o que mais me marcou nesses dois dias foi perceber que <strong>as empresas e os profissionais que realmente estão fazendo a diferença não estão tentando “usar IA” — estão tentando resolver problemas de forma mais inteligente</strong>.</p><p><strong>Há, sim, muitos encantadores de executivos vendendo fumaça</strong>, mas também há muita gente séria construindo o futuro. Cabe a nós, como profissionais de dados, tecnologia e produto, <strong>manter o ceticismo técnico e a curiosidade ativa</strong>, aprendendo rápido, questionando mais rápido ainda e separando o que é barulho do que é valor.</p><p>A IA vai continuar evoluindo — e sim, provavelmente há uma bolha por aí. Mas mesmo quando ela estourar, muita coisa vai permanecer, <strong>e</strong> <strong>o que ficar tende a ser revolucionário.</strong></p><p><a href="https://www.linkedin.com/in/marcilioduarte98/"><strong><em>Linkedin</em></strong></a><strong><em>:</em></strong> <br><strong><em>@marcilioduarte | Economics and Data Science</em></strong></p><p>#InteligenciaArtificial<br>#AIFestival2025<br>#IAnoBrasil<br>#DataScience<br>#Tecnologia<br>#AIBubble</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=96233915109b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[From Data Preparation to Deployment: The End-to-End Machine Learning Development Process]]></title>
            <link>https://medium.com/@marcilio.dfn/from-data-preparation-to-deployment-the-end-to-end-machine-learning-development-process-b0ee045bfe0b?source=rss-a107dfa0b2ea------2</link>
            <guid isPermaLink="false">https://medium.com/p/b0ee045bfe0b</guid>
            <category><![CDATA[classification]]></category>
            <category><![CDATA[deployment]]></category>
            <category><![CDATA[gradio]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[credit]]></category>
            <dc:creator><![CDATA[Marcilio Duarte]]></dc:creator>
            <pubDate>Sun, 07 May 2023 21:14:12 GMT</pubDate>
            <atom:updated>2023-05-07T23:40:06.516Z</atom:updated>
            <content:encoded><![CDATA[<h4>An example using German creditworthiness data, classification models, and Gradio app.</h4><p><strong>Table of Contents:</strong></p><p>· <a href="#5c8e">1. Introduction:</a><br> ∘ <a href="#88b2">1.1 Categorical Data Description:</a><br> ∘ <a href="#9737">1.2 Importing Data and Libs</a><br>· <a href="#008f">2. Exploratory Data Analysis (EDA) and Data Preparation</a><br> ∘ <a href="#c8c2">3. Applying and Evaluating Models</a><br> ∘ <a href="#8012">3.1 Selecting Features</a><br> ∘ <a href="#3617">3.2 Model Applying With Personalized Pipeline </a><br> ∘ <a href="#38cb">3.3 Model Optmization With GridSearchCV and Final Results</a><br> ∘ <a href="#8aff">3.4 Model Saving</a><br>· <a href="#4010">4. Developing a Gradio App and Deploying It on Hugging Face</a><br> ∘ <a href="#137a">4.1 Hugging Face</a></p><h3>1. Introduction:</h3><p>The objective of this case study is to develop a machine learning project from scratch. To achieve this goal, we’ll use Kaggle’s dataset for German creditworthiness, which can be obtained <a href="https://www.kaggle.com/datasets/mpwolke/cusersmarildownloadsgermancsv"><strong>here</strong></a><strong>.</strong></p><p>To decide which machine learning model to use, we’ll test 3 classification models: Logistic Regression, Decision Tree Classifier, and Random Forest Classifier, all available in Python&#39;s sklearn library. To optimize the workflow and improve model performance, we will create a customized pipeline for model application and use GridSearchCV for parameter optimization. At least, we’ll build our application using the Gradio app library available in python. The end result will be an app that predicts the creditworthiness of clients for bank managers and credit analysts.</p><p>As I’m Brazilian, it is worth mentioning that the feature selection process will be performed according to the regulations of the Central Bank of Brazil.</p><p>Furthermore, we’ll use <a href="https://online.stat.psu.edu/stat508/resource/analysis/gcd"><strong>this previous work from Pennsylvania State University</strong></a> as a reference in some parts of the code. Also, the entire project can be accessed on <a href="https://huggingface.co/spaces/marcilioduarte/Credit-Worthiness-Risk-Classification"><strong>hugging</strong> </a>and <a href="https://github.com/marcilioduarte/portfolio/tree/main/completed/german_credit_risk_app"><strong>github</strong></a><strong>.</strong></p><h4>1.1 Categorical Data Description:</h4><p>Before delving into the code, here’s the description of the categorical features. I had to do this because it was not well documented anywhere, so it took me sometime and it may help you a lot:</p><pre>Creditability:<br>- 1: credit-worthy<br>- 0: not credit-worthy<br><br>Account Balance:<br>- 1: no running account<br>- 2: no balance or debit<br>- 3: 0 &lt;= … &lt; 200 DM<br>- 4: … &gt;= 200 DM or checking account for at least 1 year<br><br>Payment Status of Previous Credit:<br>- 0: hesitant payment of previous credits<br>- 1: problematic running account / there are further credits running but at other banks<br>- 2: no previous credits / paid back all previous credits<br>- 3: no problems with current credits at this bank<br>- 4: paid back previous credits at this bank<br><br>Purpose:<br>- 0: other<br>- 1: new car<br>- 2: used car<br>- 3: items of furniture<br>- 4: radio / television<br>- 5: household appliances<br>- 6: repair<br>- 8: vacation<br>- 9: retraining<br>- 10: business<br><br>Value Savings/Stocks:<br>- 1: not available / no savings<br>- 2: &lt; 100,- DM<br>- 3: 100,- &lt;= … &lt; 500,- DM<br>- 4: 500,- &lt;= … &lt; 1000,- DM<br>- 5: &gt;= 1000,- DM<br><br>Length of current employment:<br>- 1: unemployed<br>- 2: &lt;= 1 year<br>- 3: 1 &lt;= … &lt; 4 years<br>- 4: 4 &lt;= … &lt; 7 years<br>- 5: &gt;= 7 years<br><br>Instalment per cent:<br>- 1: &gt;= 35<br>- 2: 25 &lt;= … &lt; 35<br>- 3: 20 &lt;= … &lt; 25<br>- 4: &lt; 20<br><br>Sex &amp; Marital Status:<br>- 1: male: divorced / living apart<br>- 2: male: single<br>- 3: male: married / widowed<br>- 4: female<br><br>Guarantors:<br>- 1: none<br>- 2: Co-Applicant<br>- 3: Guarantor<br><br>Duration in Current address:<br>- 1: &lt; 1 year<br>- 2: 1 &lt;= … &lt; 4 years<br>- 3: 4 &lt;= … &lt; 7 years<br>- 4: &gt;= 7 years<br><br>Most valuable available asset:<br>- 1: not available / no assets<br>- 2: Car / Other<br>- 3: Savings contract with a building society / Life insurance<br>- 4: Ownership of house or land<br><br>Concurrent Credits:<br>- 1: at other banks<br>- 2: at department store or mail order house<br>- 3: no further running credits<br><br>Type of apartment:<br>- 1: free apartment<br>- 2: rented flat<br>- 3: owner-occupied flat<br><br>No of Credits at this Bank:<br>- 1: one<br>- 2: two or three<br>- 3: four or five<br>- 4: six or more<br><br>Occupation:<br>- 1: unemployed / unskilled with no permanent<br>- 2: unskilled with permanent residence<br>- 3: skilled worker / skilled employee / minor civil servant<br>- 4: executive / self-employed / higher civil servant<br><br>No of dependents:<br>- 1: 3 and more<br>- 2: 0 to 2<br><br>Telephone:<br>- 1: no<br>- 2: yes<br><br>Foreign Worker:<br>- 1: no<br>- 2: yes</pre><h4>1.2 Importing Data and Libs</h4><p>The first thing we need to do is to import the libs we’ll use and create a dataframe with our data.</p><pre>import pandas as pd<br>import numpy as np<br>import plotly.express as px<br><br><br>from sklearn.linear_model import LogisticRegression<br>from sklearn.ensemble import RandomForestClassifier<br>from sklearn.tree import DecisionTreeClassifier<br>from sklearn.feature_selection import RFECV<br>from sklearn.model_selection import train_test_split, cross_val_score, GridSearchCV<br>from sklearn.metrics import f1_score, precision_score, recall_score, roc_curve, auc, confusion_matrix<br><br>import matplotlib.pyplot as plt<br>import seaborn as sns<br><br>import pickle<br>import gradio as gr<br><br>df = pd.read_csv(&#39;https://raw.githubusercontent.com/marcilioduarte/portfolio/main/completed/german_credit_risk_app/data/raw/german_credit.csv&#39;)</pre><p><em>Note: If you’re getting started with python and don’t have these libs installed, you need to install it first. Google (or chatgpt) something like “how to pip install lib XXX in python using windows/linux/mac” and you shall be fine.</em></p><h3>2. Exploratory Data Analysis (EDA) and Data Preparation</h3><p>The Exploratory Data Analysis (EDA) is a critical step in the machine learning process as it allows us to understand the data we are working with, identify patterns, and detect anomalies. By performing EDA, we can gain insights into the distribution of data, the relationships between variables, and the potential biases in the data.</p><p>This information is essential in selecting the appropriate machine learning algorithms, defining the features to be used, and determining the best approaches to data preparation and model selection.</p><p>And since we’ve mentioned data preparation, let’s explain it as well.</p><p>Data preparation is the step that follows EDA. In fact, on this step we make the changes we’ve detected on our EDA. Usually it involves cleaning and transforming raw data into a format suitable for analysis. This includes dealing with missing or incorrect data, removing outliers, and scaling the data to a consistent range.</p><p>Without a proper understanding of the data, machine learning models are likely to be inaccurate and unreliable, leading to poor performance in real-world applications. On the other hand, when we do a good EDA, we can make a good data preparation as well and this can greatly improve the accuracy and reliability of our models.</p><p>Therefore, EDA and data preparation plays a crucial role in ensuring the success of machine learning projects. A important note though is that no matter how you do it, the process of EDA and data manipulation (usually) is the most time-consuming one.</p><p>With that said, as in this case in particular my goal is to show the whole ML development process, we’ll stick to the basics. We’ll examine our dataframe, check for null values in the columns, obtain the column values (categories, in the case of categorical columns) and their proportions within the columns, plot some histograms and follow the steps applied in the same case study by professors of The Pennsylvania State University. This will gain us some time and it’s actually a good method, since we’re talking about the basics + the steps applied on a work of a renomade university. So let’s do this.</p><pre>df</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZtYRHvjA8DhB922CkvF2yw.png" /></figure><pre>df.info(null_counts=True)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/513/1*g5jI5HHjVZitbe80n9HNDA.png" /></figure><pre>for i in df.columns:<br>    print(f&#39;\n{i}:\n&#39;)<br>    print(df[i].value_counts(normalize=True, ascending=True))<br>    print(&#39;\n-------------------\n&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/669/1*oncA8iiXlNfanDQu0ku7KQ.png" /></figure><pre>df.hist(figsize=(20,15))</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mcQKmUU2uzoGrYsYVp9jYQ.png" /></figure><p>Now, let’s make our first and simple manipulation.</p><p>According to Resolution №4,656 of the Central Bank of Brazil, in order to prevent discrimination and ensure equity in the credit evaluation process, banks are prohibited from using information of racial or ethnic origin, gender, sexual orientation, marital status, religion, political opinion, health, or disability for the purpose of credit risk assessment.</p><p>Although the data is about German credit, my simulation is for brazilian banks. So I’ll drop the columns “Sex and Marital Status” and “Foreign Worker.”</p><p>I’ll also drop the column ‘Telephone’ because it’s irrelevant for our analysis.</p><pre>df.drop(columns=[&#39;Sex &amp; Marital Status&#39;, &#39;Foreign Worker&#39;, &#39;Telephone&#39;], inplace=True)</pre><p>Okay, so we have a dataset with 1000 rows and 18 columns with no null values. Also, we have a few columns that are trully numeric (like age), but most of the features are categorical texts encoded in numeric characters.</p><p>Furthermore, as the professors of PSU noticed, most of these categorical columns do not have a good distribution of values within its categories. We can confirm this by looking at the results of our “value_counts” step and our histograms step. Usually, this problem is called oversampling ou undersampling, so we have to fix that before building our model, and we can do this by grouping a few categories that represented a small part of the column observations. They did it for 9 columns.</p><blockquote>In their words:</blockquote><blockquote><em>“Depending on the cell proportions given in the one-way table above two or more cells are merged for several categorical predictors. We present below the final classification for the predictors that may potentially have any influence on Creditability<br></em>- <em>Account Balance: No account (1), None (No balance) (2), Some Balance (3)<br></em>- <em>Payment Status: Some Problems (1), Paid Up (2), No Problems (in this bank) (3)<br></em>- <em>Savings/Stock Value: None, Below 100 DM, [100, 1000] DM, Above 1000 DM<br></em>- <em>Employment Length: Below 1 year (including unemployed), [1, 4), [4, 7), Above 7<br></em>- <em>Sex/Marital Status: Male Divorced/Single, Male Married/Widowed, Female<br></em>- <em>No of Credits at this bank: 1, More than 1<br></em>- <em>Guarantor: None, Yes<br></em>- <em>Concurrent Credits: Other Banks or Dept Stores, None<br></em>- <em>Purpose of Credit: New car, Used car, Home Related, Other</em>”</blockquote><p>So let’s do the same thing here.</p><pre>columns = [<br> &#39;Account Balance&#39;,<br> &#39;Payment Status of Previous Credit&#39;,<br> &#39;Value Savings/Stocks&#39;,<br> &#39;Length of current employment&#39;,<br> &#39;No of Credits at this Bank&#39;,<br> &#39;Guarantors&#39;,<br> &#39;Concurrent Credits&#39;,<br> &#39;Purpose&#39;]<br><br>account_balance_map = {4: 3} ## Some balance (3)<br>payment_status_map = {4: 3, 0: 1} ## No problems at this bank (3), ## Some problems (1)<br>value_savings_map = {4: 3} ## DM betwenn [100, 1000] (3)<br>employment_length_map = {2: 1} ## Below 1 year (or unemployed) (1)<br>no_credits_map = {3: 2, 4: 2} ## More than 1 (2)<br>guarantors_map = {3: 2} ## Guarantor (yes) (2)<br>concurrent_credits_map = {2: 1} ## Other Banks or Dept Stores (1)<br>purpose_map = {5: 3, 6: 3, 0: 4, 8: 4, 10: 4, 9: 4}  ## Home related (3),  ## Other (4)<br><br>mapping_dict = {<br>    &#39;Account Balance&#39;: account_balance_map,<br>    &#39;Payment Status of Previous Credit&#39;: payment_status_map,<br>    &#39;Value Savings/Stocks&#39;: value_savings_map,<br>    &#39;Length of current employment&#39;: employment_length_map,<br>    &#39;No of Credits at this Bank&#39;: no_credits_map,<br>    &#39;Guarantors&#39;: guarantors_map,<br>    &#39;Concurrent Credits&#39;: concurrent_credits_map,<br>    &#39;Purpose&#39;: purpose_map<br>}<br><br>for col in columns:<br>    df[col] = df[col].replace(mapping_dict[col])<br>    print(f&#39;\n{col}:\n&#39;)<br>    print(pd.crosstab(index=df[col], columns=df[&#39;Creditability&#39;], normalize=True, margins=True, margins_name=&#39;Total&#39;))<br>    print(&#39;\n-------------------\n&#39;)   </pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/573/1*5rz5J_w0TC7hsvFfiWx6bQ.png" /></figure><p>Check how we fixed the problem looking at the totals of our distributions.</p><p>As the professors said:</p><p><em>“*Cross-tabulation of the 9 predictors as defined above with Creditability is shown below. The proportions shown in the cells are column proportions and so are the marginal proportions. For example, 30% of 1000 applicants have no account and another 30% have no balance while 40% have some balance in their account. Among those who have no account 135 are found to be Creditable and 139 are found to be Non-Creditable. In the group with no balance in their account, 40% were found to be on-Creditable whereas in the group having some balance only 1% are found to be Non-Creditable.”*</em></p><p>With that done, let’s create dummies for all the categorical columns.</p><pre>df.columns</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/755/1*pa08c5Xa4S41CZwEjEimXw.png" /></figure><pre>categ_columns = [&#39;Account Balance&#39;,<br>       &#39;Payment Status of Previous Credit&#39;, &#39;Purpose&#39;,<br>       &#39;Value Savings/Stocks&#39;, &#39;Length of current employment&#39;,<br>       &#39;Instalment per cent&#39;, &#39;Guarantors&#39;, &#39;Duration in Current address&#39;,<br>       &#39;Most valuable available asset&#39;, &#39;Concurrent Credits&#39;,<br>       &#39;Type of apartment&#39;, &#39;No of Credits at this Bank&#39;, &#39;Occupation&#39;,<br>       &#39;No of dependents&#39;]<br>df = pd.get_dummies(df, columns=categ_columns)<br>df</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5SR6uncCVoB2thPYymZ7vw.png" /></figure><pre>df.columns</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/746/1*nlK-rNrufn9EzIoC5GsuBA.png" /></figure><h4>3. Applying and Evaluating Models</h4><h4>3.1 Selecting Features</h4><p>Before applying our model, we need to select our features (X’s). There are many ways to do that, like analysing correlation between the features and the predicted variable (and within another features), or using lasso and ridge regularization to punish variables with smaller influence on our Y variable, among other things. But since in this case we have a lot of variables, I’ll apply the function Recursive Feature Elimination With Cross Validation (RFECV) available in sklearn.</p><p>The goal of RFECV is to find the optimal subset of features that maximizes the performance of a machine learning model. In brief, the idea of RFECV is to start with all the features and recursively eliminate the least important features until the desired number of features is reached. At each step, a cross-validation score is calculated to evaluate the performance of the model. This process is repeated for different subsets of features, and the subset with the highest cross-validation score is selected as the optimal subset.</p><p>Let’s check it out in practice.</p><pre>y=df[&#39;Creditability&#39;]<br>x=df.drop(columns=&#39;Creditability&#39;)<br><br><br>model = LogisticRegression()<br>rfecv = RFECV(model, min_features_to_select=10, cv=10, scoring=&#39;f1&#39;)<br>rfecv.fit(x, y)<br><br>nft = rfecv.n_features_<br>selected_features = x.columns[rfecv.support_]<br>print(&#39;Number of selected features:\n&#39;, nft, &#39;\nSelected features:\n&#39;,selected_features)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1008/1*GFJsvsY5LuM75m4vCWPTSQ.png" /></figure><p>The features that gives us the best f1 score on a LREG model are the 22 features above.</p><pre>y = df[&#39;Creditability&#39;]<br>x = df[[&#39;Account Balance_1&#39;, &#39;Account Balance_2&#39;, &#39;Account Balance_3&#39;,<br>       &#39;Payment Status of Previous Credit_1&#39;,<br>       &#39;Payment Status of Previous Credit_3&#39;, &#39;Purpose_1&#39;, &#39;Purpose_4&#39;,<br>       &#39;Value Savings/Stocks_1&#39;, &#39;Value Savings/Stocks_3&#39;,<br>       &#39;Value Savings/Stocks_5&#39;, &#39;Length of current employment_1&#39;,<br>       &#39;Length of current employment_4&#39;, &#39;Instalment per cent_4&#39;,<br>       &#39;Guarantors_1&#39;, &#39;Duration in Current address_1&#39;,<br>       &#39;Duration in Current address_2&#39;, &#39;Most valuable available asset_1&#39;,<br>       &#39;Most valuable available asset_4&#39;, &#39;Concurrent Credits_3&#39;,<br>       &#39;Type of apartment_1&#39;, &#39;No of Credits at this Bank_1&#39;, &#39;Occupation_1&#39;]]</pre><h4>3.2 Model Applying With Personalized Pipeline</h4><p>Now we’re going to create a set of functions that will gain us some time when testing different models. At the end, we will combine all this functions in one, as in a pipeline and then we will apply it.</p><p>More in detail, our code implements a machine learning pipeline that trains and evaluates different classification models (Logistic Regression, Decision Tree Classifier, and Random Forest Classifier) on a given dataset.</p><p>The get_train_test() function splits the data into training and testing sets, while model_apply() applies the model to the training data and predicts outcomes for the testing data.</p><p>The evaluate_model() function computes various evaluation metrics (F1 score, precision, recall, and ROC AUC) and visualizes the results using a confusion matrix and ROC curve. When working with classification models, these evaluations are some of the recommended ones.</p><p>The validation_with_cv() function performs cross-validation to evaluate the model&#39;s performance, and the pipeline() function chains all these steps together.</p><p>And finally, the for loop iterates over the models, applies the pipeline to each model, and stores the results in a pandas dataframe. Check it out below:</p><pre>def get_train_test(x, y, ts=0.7, rs=42):<br>  x_train, x_test, y_train, y_test = train_test_split(x, y, train_size=ts, random_state=rs)<br>  return x_train, x_test, y_train, y_test<br><br>def model_apply(model, x_train, y_train, x_test):<br>  model.fit(x_train, y_train)<br>  yHat = model.predict(x_test)<br>  return yHat<br><br>def evaluate_model(y_test, yHat, model):<br>  print(f&#39;Evaluating {model} model:&#39;)<br>  print(&#39;\n&#39;)<br><br>  f1 = f1_score(y_test,yHat)<br>  precision = precision_score(y_test,yHat)<br>  recall = recall_score(y_test,yHat)<br>  fpr, tpr, threshold = roc_curve(y_test, yHat)<br>  roc_auc = auc(fpr, tpr)<br>  cfm = confusion_matrix(y_test, yHat)<br>  print(f&#39;F1 Score: {f1.round(2)};\nPrecision: {precision.round(2)};\nRecall: {recall.round(2)};\nROC AUC score: {roc_auc.round(2)}&#39;)<br>  print(&#39;\n-------------------------------\n&#39;)<br><br>  fig, (ax1, ax2) = plt.subplots(ncols=2, figsize=(10,4))  <br>  ax1.plot(fpr, tpr, color=&#39;darkorange&#39;, lw=2, label=&#39;ROC Curve&#39;)<br>  ax1.plot([0, 1], [0, 1], color=&#39;navy&#39;, lw=2, linestyle=&#39;--&#39;)<br>  ax1.set_xlabel(&#39;False Positive Rate&#39;)<br>  ax1.set_ylabel(&#39;True Positive Rate&#39;)<br>  ax1.set_title(&#39;ROC Curve&#39;)<br>  ax1.legend(loc=&quot;lower right&quot;)  <br>  sns.heatmap(cfm, annot=True, cmap=&#39;Blues&#39;, ax=ax2)<br>  ax2.set_xlabel(&#39;Predicted&#39;)<br>  ax2.set_ylabel(&#39;True&#39;)<br>  ax2.set_title(&#39;Confusion Matrix&#39;)  <br>  plt.show()<br><br>  return f1, precision, recall, roc_auc, cfm  <br><br>def validation_with_cv(model, x_train, y_train):<br>    print(f&#39;{model} results with cross-validation:&#39;)<br>    print(&#39;\n&#39;)<br><br>    scoring_metrics = [&#39;precision&#39;, &#39;recall&#39;, &#39;f1&#39;]<br>    cvscores = {}<br>    for metric in scoring_metrics:<br>        scores = cross_val_score(model, x_train, y_train, scoring=metric, cv=10)<br>        cvscores[f&#39;{metric}_std&#39;] = np.std(scores).round(2)<br>        cvscores[f&#39;mean_{metric}&#39;] = np.mean(scores).round(2)<br>    <br>    print(&#39;Cross-validation results:&#39;)<br>    for metric, score in cvscores.items():<br>        print(f&#39;{metric}: {score}&#39;)<br>    print(&#39;------------------\n&#39;)  <br>  <br>    return cvscores<br><br>def pipeline(x, y, model):<br>    x_train, x_test, y_train, y_test = get_train_test(x, y)<br>    yHat = model_apply(model, x_train, y_train, x_test)<br>    f1, precision, recall, roc_auc, cfm = evaluate_model(y_test, yHat, model)<br>    cvscores = validation_with_cv(model, x_train, y_train)<br>    return f1, precision, recall, roc_auc, cfm, cvscores[&#39;f1_std&#39;], cvscores[&#39;mean_f1&#39;], cvscores[&#39;precision_std&#39;], cvscores[&#39;mean_precision&#39;], cvscores[&#39;recall_std&#39;], cvscores[&#39;mean_recall&#39;]<br><br>lreg = LogisticRegression()<br>dtc = DecisionTreeClassifier()<br>rfc = RandomForestClassifier()<br><br>models = {&#39;Logistic Regression&#39;: lreg, <br>     &#39;Decision Tree Classifier&#39;: dtc, <br>     &#39;Random Forest Classifier&#39;: rfc}<br><br>first_results = []<br>for model_name, model in models.items():<br>    f1, precision, recall, roc_auc, cfm, f1_std, mean_f1, precision_std, mean_precision, recall_std, mean_recall = pipeline(x, y, model=model)<br>    first_results.append({&#39;Model&#39;: model_name,<br>                &#39;CV Mean Precision&#39;: mean_precision.round(2),<br>                &#39;CV Mean F1&#39;: mean_f1.round(2),<br>                &#39;CV Mean Recall&#39;: mean_recall.round(2),          <br>                &#39;Test Precision&#39;: precision.round(2),<br>                &#39;Test F1&#39;: f1.round(2),<br>                &#39;Test Recall&#39;: recall.round(2),<br>                })<br>print(&#39;------------------------\nTable of results:\n&#39;)<br>first_results = pd.DataFrame(first_results)<br>first_results</pre><pre>lreg = LogisticRegression()<br>dtc = DecisionTreeClassifier()<br>rfc = RandomForestClassifier()<br><br>models = {&#39;Logistic Regression&#39;: lreg, <br>     &#39;Decision Tree Classifier&#39;: dtc, <br>     &#39;Random Forest Classifier&#39;: rfc}<br><br>first_results = []<br>for model_name, model in models.items():<br>    f1, precision, recall, roc_auc, cfm, f1_std, mean_f1, precision_std, mean_precision, recall_std, mean_recall = pipeline(x, y, model=model)<br>    first_results.append({&#39;Model&#39;: model_name,<br>                &#39;CV Mean Precision&#39;: mean_precision.round(2),<br>                &#39;CV Mean F1&#39;: mean_f1.round(2),<br>                &#39;CV Mean Recall&#39;: mean_recall.round(2),          <br>                &#39;Test Precision&#39;: precision.round(2),<br>                &#39;Test F1&#39;: f1.round(2),<br>                &#39;Test Recall&#39;: recall.round(2),<br>                })<br>print(&#39;------------------------\nTable of results:\n&#39;)<br>first_results = pd.DataFrame(first_results)<br>first_results</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/745/1*KHgVgyUcdp_K5iJFG6Adfg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/742/1*SJHVpy0hk_TLcMHRPTurqg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/697/1*zp6ZUsCgH1OXtVU5izx-Zw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/697/1*zp6ZUsCgH1OXtVU5izx-Zw.png" /></figure><p>Based on a quick analysis of our first table of results, we can gain some valuable insights:</p><p>1. The Decision Tree Classifier (DTC) model performed the worst, regardless of whether we consider the models with cross-validation or with test data.</p><p>2. When comparing the Logistic Regression (LR) and Random Forest Classifier (RFC) models, we observed that the Logistic Regression outperformed the RFC in almost all the metrics analyzed, except for the CV Mean Precision metric.</p><p>3. Moreover, in order to improve our precision scores, we should try out some strategies to achieve better results. Precision is a metric that measures the proportion of true positives among all instances that are predicted as positive. In our model, the predicted variable is equal to 1 when a client is creditworthy and 0 when they are not. Therefore, true positives are the instances where the model correctly identifies a creditworthy client, and false positives are the instances where the model incorrectly identifies a non-creditworthy client as creditworthy.</p><p>Let’s try to achieve a minimum precision score of 0.8, which means that our model should make good recommendations for creditworthiness in at least 80% of cases and a risky recomendation in 20% of cases where the model misidentifies a risky client as non-risky. To achieve that we will try to optimize our 2 best model’s parameters with GridSearchCV.</p><h4>3.3 Model Optmization With GridSearchCV and Final Results</h4><p>Now, we will perform a hyperparameter tuning for our best models (LRC and RFC) using the GridSearchCV method from the scikit-learn library. Hyperparameters are adjustable parameters that are not learned during model training, and they are often set before training begins. The goal of hyperparameter tuning is to find the optimal combination of hyperparameters that produce the best model performance on our dataset.</p><p>Starting with the LRC model, in our code, we will define a dictionary of hyperparameters called “lg_params”. The first hyperparameter will be “fit_intercept”, which is a boolean (true/false) that determines whether or not the model should include an intercept term in the logistic regression equation. The second hyperparameter, “penalty”, determines the type of regularization to be applied to the model. There are four options: “l1”, “l2”, “elasticnet”, and None. “l1” and “l2” correspond to L1 and L2 regularization, respectively, while “elasticnet” is a combination of both. “None” indicates that no regularization will be applied.</p><p><em>Note: regularization is a technique used to prevent overfitting by adding a penalty term to the loss function of a model during training. Loss (or cost) function is a measure of how well the model fits the data</em>. <em>The penalty term encourages the model to have smaller weights or simpler coefficients, which helps to avoid fitting the noise in the training data and instead generalize well to new data. It is commonly used in logistic regression, but it’s also used in other types of models. The two most popular types of regularization are L1 regularization (also known as Lasso) and L2 regularization (also known as Ridge). L1 regularization adds a penalty proportional to the absolute value of the weights, while L2 regularization adds a penalty proportional to the square of the weights</em></p><p>The “solver” hyperparameter in logistic regression determines the algorithm used to find the optimal coefficients for the model that minimize the cost function. Different algorithms have different ways of solving this optimization problem, and some algorithms may be better suited for certain types of data or certain types of optimization problems.</p><p>For example, the “lbfgs” algorithm uses a quasi-Newton method that approximates the Hessian matrix of the cost function and has good performance for small to medium-sized datasets. The “liblinear” algorithm uses a coordinate descent method that is efficient for high-dimensional data. The “sag” algorithm uses a stochastic gradient descent method that can handle large datasets. The “saga” algorithm is an extension of “sag” that can handle l1 regularization penalty.</p><p>The fourth hyperparameter, “max_iter”, determines the maximum number of iterations that the optimization algorithm should run before stopping. The fifth hyperparameter, “random_state”, determines the random seed used to initialize the random number generator.</p><p>Then, we will create an instance of the GridSearchCV class, passing the logistic regression model (“lreg”), the hyperparameter dictionary (“lg_params”), a cross-validation scheme with 10 folds (“cv=10”), and the scoring metric to be optimized (“precision”). Finally, we’ll fit the GridSearchCV object to the training data (x_train, y_train) to search for the optimal hyperparameters that maximize the precision score.</p><pre>x_train, x_test, y_train, y_test = get_train_test(x,y)<br>lg_params = {<br>    &#39;fit_intercept&#39;: [True, False],<br>    &#39;penalty&#39;: [&#39;l1&#39;, &#39;l2&#39;, &#39;elasticnet&#39;, None],<br>    &#39;solver&#39;: [&#39;lbfgs&#39;, &#39;liblinear&#39;, &#39;newton-cg&#39;, &#39;newton-cholesky&#39;, &#39;sag&#39;, &#39;saga&#39;],   <br>    &#39;max_iter&#39;: [50, 100, 300],     <br>    &#39;random_state&#39;: [None, 42]<br>            }<br><br>grid_lg = GridSearchCV(lreg, lg_params, cv=10, scoring=&#39;precision&#39;)<br><br>grid_lg.fit(x_train, y_train)</pre><p>Now, we’ll do the same for the RFC models, but in this case we need a different dictionary of hyperparameters. The first hyperparameter we’ll use, “n_estimators”, defines the number of decision trees that will be used in the random forest. The values that we’ll test are 10, 50, and 100.</p><p><em>Note: decision trees are a type of algorithm used in machine learning for classification and regression tasks. They are a hierarchical structure composed of nodes, where each node represents a decision based on a feature or attribute of the input data. The tree is built recursively by partitioning the data into subsets based on the value of the feature that provides the most information gain at each level of the tree. The leaves of the tree represent the final decision or prediction. A random forest is an ensemble machine learning algorithm that combines multiple decision trees to improve their performance and reduce the risk of overfitting. It randomly samples the training data and features for each tree to create a diverse set of models that can better capture the complexity and variance of the dataset. The final prediction is made by aggregating the predictions of all trees, usually by taking the majority vote for classification tasks or the average for regression tasks.</em></p><p>The second hyperparameter, “max_depth”, determines the maximum depth (in branches) of each decision tree in the random forest. A higher max depth can lead to overfitting, while a lower max depth can lead to underfitting. The values we’ll test are None (unlimited depth), 5, and 10.</p><p>The third hyperparameter, “min_samples_split”, defines the minimum number of samples (observations) required to split an internal node in each decision tree. A higher value can lead to underfitting, while a lower value can lead to overfitting. The values we’ll test are 2, 10, and 100.</p><p>The fourth hyperparameter, “random_state”, determines the seed used by the random number generator. This ensures that the random forest model can be reproduced exactly the same way. The values we’ll test are None (random), and 42 (a fixed seed).</p><p><em>Note: the number 42 is commonly used as the random state parameter in machine learning algorithms as a nod to Douglas Adams’ book “The Hitchhiker’s Guide to the Galaxy.” In the book, the number 42 is famously described as the “Answer to the Ultimate Question of Life, the Universe, and Everything.” While using the number 42 does not have any practical benefits for the performance of the algorithm, it has become a tradition among data scientists and machine learning practitioners as a fun and nerdy reference to the book.</em></p><pre>rf_params = {<br>    &#39;n_estimators&#39;     : [10, 50, 100],<br>    &#39;max_depth&#39;        : [None, 5, 10],<br>    &#39;min_samples_split&#39;: [2, 10, 100],<br>    &#39;random_state&#39;     : [None, 42]<br>}<br>grid_rf = GridSearchCV(rfc, rf_params, cv=10, scoring=&#39;precision&#39;)<br>grid_rf.fit(x_train, y_train)</pre><p>Now, let’s print out the results:</p><pre>print(&#39;Logistic Regression Results:&#39;)<br>lg_best_param = grid_lg.best_params_<br>lg_best_score = grid_lg.best_score_<br>print(f&#39;GridSearch best params: \n{lg_best_param}.\nGridSearch best precision score: {lg_best_score.round(2)}.&#39;)<br>print(&#39;\n--------------------------------\n&#39;)<br>print(&#39;Random Forest Classifier Results:&#39;)<br>rf_best_param = grid_rf.best_params_<br>rf_best_score = grid_rf.best_score_<br>print(f&#39;GridSearch best params: \n{rf_best_param}.\nGridSearch best precision score: {rf_best_score.round(2)}.&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/809/1*6USm2Owk85n9DM-JH8H_xQ.png" /></figure><p>Finally, let’s evaluate the optmized models and append the final results to a dataframe.</p><pre>lreg = LogisticRegression(fit_intercept=True, max_iter=50, penalty=&#39;l2&#39;, random_state=None, solver=&#39;lbfgs&#39;)<br>lrmodel = lreg.fit(x_train, y_train)<br>lr_final_yHat = lrmodel.predict(x_test)<br><br>lr_cvscores_final_precision = cross_val_score(lreg, x_train, y_train, scoring=&#39;precision&#39;, cv=10)<br>lr_cvscores_std_final_precision = np.std(lr_cvscores_final_precision).round(2)<br>lr_cvscores_mean_final_precision = np.mean(lr_cvscores_final_precision).round(2)<br><br>lr_cvscores_final_f1 = cross_val_score(lreg, x_train, y_train, scoring=&#39;f1&#39;, cv=10)<br>lr_cvscores_std_final_f1 = np.std(lr_cvscores_final_f1).round(2)<br>lr_cvscores_mean_final_f1 = np.mean(lr_cvscores_final_f1).round(2)<br><br>lr_cvscores_final_recall = cross_val_score(lreg, x_train, y_train, scoring=&#39;recall&#39;, cv=10)<br>lr_cvscores_std_final_recall = np.std(lr_cvscores_final_recall).round(2)<br>lr_cvscores_mean_final_recall = np.mean(lr_cvscores_final_recall).round(2)<br><br>lr_test_f1, lr_test_precision, lr_test_recall, lr_test_roc_auc, lr_test_cfm = evaluate_model(y_test=y_test, yHat=lr_final_yHat, model=lrmodel)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/523/1*WBIp9UustYKcQpUpPE75OA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/845/1*k9kgjj9TJsJloLS1ARXoiQ.png" /></figure><pre>final_results = []<br>final_results.append({&#39;Model&#39;: &#39;Optimized LR&#39;,<br>                   &#39;CV Mean Precision&#39;   : lr_cvscores_mean_final_precision,<br>                   &#39;CV Mean F1&#39;     : lr_cvscores_mean_final_f1,<br>                   &#39;CV Mean Recall.&#39;: lr_cvscores_mean_final_recall,<br>                   &#39;Test Precision&#39; : lr_test_precision.round(2),<br>                   &#39;Test F1&#39; : lr_test_f1.round(2),<br>                   &#39;Test Recall&#39; : lr_test_recall.round(2)<br>                   })</pre><pre>rfc = RandomForestClassifier(max_depth=None, min_samples_split=10, n_estimators=10, random_state=42)<br>rfcmodel = rfc.fit(x_train, y_train)<br>rfc_final_yHat = rfcmodel.predict(x_test)<br><br>rfc_cvscores_final_precision = cross_val_score(rfc, x_train, y_train, scoring=&#39;precision&#39;, cv=10)<br>rfc_cvscores_std_final_precision = np.std(rfc_cvscores_final_precision).round(2)<br>rfc_cvscores_mean_final_precision = np.mean(rfc_cvscores_final_precision).round(2)<br><br>rfc_cvscores_final_f1 = cross_val_score(rfc, x_train, y_train, scoring=&#39;f1&#39;, cv=10)<br>rfc_cvscores_std_final_f1 = np.std(rfc_cvscores_final_f1).round(2)<br>rfc_cvscores_mean_final_f1 = np.mean(rfc_cvscores_final_f1).round(2)<br><br>rfc_cvscores_final_recall = cross_val_score(rfc, x_train, y_train, scoring=&#39;recall&#39;, cv=10)<br>rfc_cvscores_std_final_recall = np.std(rfc_cvscores_final_recall).round(2)<br>rfc_cvscores_mean_final_recall = np.mean(rfc_cvscores_final_recall).round(2)<br><br>rfc_test_f1, rfc_test_precision, rfc_test_recall, rfc_test_roc_auc, rfc_test_cfm = evaluate_model(y_test=y_test, yHat=rfc_final_yHat, model=rfcmodel)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/818/1*z5U4ttac_hI8QdhrE31cgA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/845/1*3VQn3PKTbMS5U7hSMpnQ1A.png" /></figure><pre>final_results.append({&#39;Model&#39;: &#39;Optimized RF&#39;,<br>                   &#39;CV Mean Precision&#39;   : rfc_cvscores_mean_final_precision,<br>                   &#39;CV Mean F1&#39;     : rfc_cvscores_mean_final_f1,<br>                   &#39;CV Mean Recall.&#39;: rfc_cvscores_mean_final_recall,<br>                   &#39;Test Precision&#39; : rfc_test_precision.round(2),<br>                   &#39;Test F1&#39; : rfc_test_f1.round(2),<br>                   &#39;Test Recall&#39; : rfc_test_recall.round(2)<br>                   })</pre><pre>final_results = pd.DataFrame(final_results)<br>final_results</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/776/1*KYr3IrN7kFHU56sjPebQdw.png" /></figure><p>After comparing the initial results with the results obtained after parameter optimization using GridSearchCV, I’ll opt for the Random Forest Classifier model with optimized parameters. Unlike the Logistic Regression model, it either matched or outperformed the previous results across all metrics, whether with or without cross-validation.</p><p>The optimized Logistic Regression model performed the same as the one with non-optimized parameters, and it only performed better than the optimized RFC model in the F1 and Recall metrics of optimized test model.</p><p>Although we could not attain a desired average precision of 0.8 with cross-validation, the model still looks very good. So, as a result, we will save the RFC model with optimized parameters using pickle and proceed with developing the application.</p><h4>3.4 Model Saving</h4><p>This part of the process is where the modelation phase gets to an end. To save the model, we can simply define a path where we want to save our file ant then run this code:</p><pre>path =  &#39;german_credit_risk\model\model.pickle&#39;<br>with open(path, &#39;wb&#39; ) as file:<br>    pickle.dump(rfcmodel,file)</pre><p>As a good practice and a simplyfier step to our next step, we can also save our train and test data and our final yhat.</p><pre>files = {&#39;x_train&#39;:&#39;x_train.parquet&#39;, <br>         &#39;x_test&#39;:&#39;x_test.parquet&#39;, <br>         &#39;y_train&#39;:&#39;y_train.parquet&#39;, <br>         &#39;y_test&#39;:&#39;y_test.parquet&#39;,<br>         &#39;rfc_final_yHat&#39;: &#39;yhat.parquet&#39;}<br><br>clean_path = &#39;german_credit_risk\data\processed&#39;<br><br>for key, value in files.items():<br>    if (key==&#39;x_train&#39;) | (key ==&#39;x_test&#39;):<br>        df = locals()[key]<br>        df.to_parquet(clean_path + &#39;\\&#39; + value)<br>    elif (key==&#39;rfc_final_yHat&#39;):<br>        df = pd.DataFrame(locals()[key])<br>        df.rename(columns={0:&#39;yhat&#39;}, inplace=True)<br>        df.to_parquet(clean_path + &#39;\\&#39; + value)<br>    else:<br>        df = pd.DataFrame(locals()[key])<br>        df.to_parquet(clean_path + &#39;\\&#39; + value)</pre><p><em>Note: .parquet files consume less space than .csv. It’s a good practice to use it, specially when working with large amounts of data.</em></p><p>Now, you can always run your model on new data without having to run all the previous steps of the code. We’ll see this in our next step, where we’ll deploy our model as an usable application.</p><h3>4. Developing a Gradio App and Deploying It on Hugging Face</h3><p>Finally, let’s create our app with Gradio’s interface. The reason why we’ll use gradio instead of streamlit, flask or dash is because of it’s simplicity and accessibility. Gradio is a user-friendly library that enables us to quickly build and deploy web-based user interfaces for machine learning models, without requiring extensive web development experience. With Gradio, we can easily define the input and output interfaces for our models, customize the user interface with various widgets, and deploy the model with a few lines of code. Gradio also provides a cloud-based deployment platform, which enables us to share our models with others by simply sharing a URL. This makes it an ideal choice for those who want to quickly build and share their machine learning models with a wider audience.</p><p>Applying it is actually simpler than it seems. All we need to do is create a function that will use our pickle file to make predictions, and then we just need to configure our app’s interface, and for that gradio provides a set of pre-built components that can be easily customized, such as sliders, text boxes, check boxes, markdowns, dropdown menus and image uploaders. Users can also create custom components with their own HTML, CSS, and JavaScript. The resulting interface can be accessed from a web browser and shared as a URL or embedded into a web page. Overall, Gradio components provide a convenient way to create interactive and user-friendly interfaces for machine learning models.</p><p>Although Gradio’s community is not very big yet because of its age, the library has very good documentation. You can learn more about it <a href="https://gradio.app/"><strong>here</strong></a><strong>.</strong></p><p>Now. Let’s get it done.</p><pre>## Creating our function based on our 22 variables.<br><br>def predict_credit_worthiness(name, x1, x2, x3, x4, x5, x6, x7, x8, x9, x10, x11, x12, x13, x14, x15, x16, x17, x18, x19, x20, x21, x22):<br>    path =  &#39;german_credit_risk/model/model.pickle&#39;<br>    greet = &#39;Hey, &#39; + name + &#39;!&#39; ## greeting the user.<br>    with open(path, &#39;rb&#39;) as file:<br>        model = pickle.load(file)<br>        inputs = {&#39;Account Balance_1&#39;: int(x1),<br>                  &#39;Account Balance_2&#39;: int(x2),<br>                  &#39;Account Balance_3&#39;: int(x3),<br>                  &#39;Payment Status of Previous Credit_1&#39;: int(x4),<br>                  &#39;Payment Status of Previous Credit_3&#39;: int(x5),<br>                  &#39;Purpose_1&#39;: int(x6),<br>                  &#39;Purpose_4&#39;: int(x7),<br>                  &#39;Value Savings/Stocks_1&#39;: int(x8),<br>                  &#39;Value Savings/Stocks_3&#39;: int(x9),<br>                  &#39;Value Savings/Stocks_5&#39;: int(x10),<br>                  &#39;Length of current employment_1&#39;: int(x11),<br>                  &#39;Length of current employment_4&#39;: int(x12),<br>                  &#39;Instalment per cent_4&#39;: int(x13),<br>                  &#39;Guarantors_1&#39;: int(x14),<br>                  &#39;Duration in Current address_1&#39;: int(x15),<br>                  &#39;Duration in Current address_2&#39;: int(x16),<br>                  &#39;Most valuable available asset_1&#39;: int(x17),<br>                  &#39;Most valuable available asset_4&#39;: int(x18),<br>                  &#39;Concurrent Credits_3&#39;: int(x19),<br>                  &#39;Type of apartment_1&#39;: int(x20),<br>                  &#39;No of Credits at this Bank_1&#39;: int(x21),<br>                  &#39;Occupation_1&#39;: int(x22)<br>                  }<br>        prediction = model.predict([list(inputs.values())])<br>        <br>    y_test = pd.read_parquet(&#39;german_credit_risk/data/processed/y_test.parquet&#39;)<br>    y_test = y_test.squeeze()<br><br>    yhat = pd.read_parquet(&#39;german_credit_risk/data/processed/yhat.parquet&#39;)<br>    yhat = yhat.squeeze()<br>    <br>    precision = precision_score(y_test, yhat).round(2)<br>    recall = recall_score(y_test, yhat).round(2)<br>    f1 = f1_score(y_test, yhat).round(2)<br><br>    features_names =  [&#39;No account&#39;, &#39;No balance&#39;, &#39;Some balance&#39;, &#39;No credit problems&#39;, <br>                       &#39;Some credit problems&#39;, &#39;New car&#39;, &#39;Other purpose&#39;, &#39;No savings&#39;, <br>                       &#39;DM betwenn [100, 1000]&#39;, &#39;DM &gt;= 1000&#39;, &#39;Employment: &lt;1 year (or unemployed)&#39;, &#39;Employment: 4&lt;x&lt;7 years&#39;, <br>                       &#39;Installment smaller than 20%&#39;, &#39;No guarantors&#39;, &#39;Less than a year in same address&#39;, &#39;1&lt;x&lt;4 years in address&#39;, <br>                       &#39;Not available / no assets&#39;, &#39;Ownership of house or land&#39;,  &#39;No further running credits&#39;, &#39;Free ap&#39;, <br>                       &#39;One credit at thins bank&#39;,&#39;Unemployed or unskilled&#39;]<br>    importance = model.feature_importances_<br>    data = pd.DataFrame()<br>    data[&#39;Feature Importance&#39;] = importance<br>    data[&#39;Feature&#39;] = features_names<br>    p = px.bar(data, y=&#39;Feature Importance&#39;, x=&#39;Feature&#39;, width=1200, height=500)<br>    <br>    cfm = confusion_matrix(y_test, yhat)<br>    cfm_plot = px.imshow(cfm,<br>                x=[&#39;Predicted 0&#39;, &#39;Predicted 1&#39;],<br>                y=[&#39;Actual 0&#39;, &#39;Actual 1&#39;],<br>                color_continuous_scale=&#39;Blues&#39;,<br>                labels=dict(x=&quot;Predicted&quot;, y=&quot;Actual&quot;, color=&quot;Count&quot;),<br>                text_auto=True)    <br>    <br>    if prediction == 1:<br>        return (greet + &#39; According to our model, your client is eligible for the loan.&#39;, <br>                &#39;Precision: &#39;+ str(precision), <br>                &#39;Recall: &#39;+ str(recall), <br>                &#39;F1 Score: &#39;+ str(f1), <br>                p, <br>                cfm_plot)<br>    else:<br>        return (greet + &#39; Unfortunately, according to our model, your client is not eligible for the loan for now :(.&#39;, <br>                &#39;Precision: &#39;+ str(precision), <br>                &#39;Recall: &#39;+ str(recall), <br>                &#39;F1 Score: &#39;+ str(f1), <br>                p, <br>                cfm_plot)</pre><pre>## creating the interface<br><br>with gr.Blocks() as demo:<br>    gr.Markdown(&#39;# Credit Worthiness Prediction&#39;)<br>    gr.Markdown(&quot;&quot;&quot;<br>                To predict our clients&#39; creditworthiness, please use this application as follows:<br>                <br>                1. Enter your name and navigate through the client&#39;s information tabs. Select the boxes that best match your client&#39;s characteristics. Leave blank if none apply.<br><br>                2. Once completed, click &#39;Predict&#39; to determine if the client is creditworthy.<br>                &quot;&quot;&quot;)<br>    with gr.Accordion(&#39;Name&#39;):<br>        name = gr.Textbox(lines=1, label=&#39;Your name&#39;)<br>    with gr.Accordion(&quot;Enter your client&#39;s information&quot;):<br>        with gr.Tab(&#39;Account Balance&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x1 = gr.Checkbox(1, label=&#39;No account&#39;)<br>            x2 = gr.Checkbox(0, label=&#39;No balance&#39;)<br>            x3 = gr.Checkbox(0, label=&#39;Some balance&#39;)<br>        with gr.Tab(&#39;Payment status of previous credit&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x4 = gr.Checkbox(1, label=&#39;Some problems&#39;)<br>            x5 = gr.Checkbox(0, label=&#39;No problems in this bank&#39;)<br>        with gr.Tab(&#39;Purpose&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x6 = gr.Checkbox(1, label=&#39;New car&#39;)<br>            x7 = gr.Checkbox(0, label=&#39;Other&#39;)<br>        with gr.Tab(&#39;Value savings/stocks&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x8 = gr.Checkbox(1, label=&#39;No savings&#39;)<br>            x9 = gr.Checkbox(0, label=&#39;DM betwenn [100, 1000]&#39;)<br>            x10 = gr.Checkbox(0, label=&#39;DM &gt;= 1000&#39;)<br>        with gr.Tab(&#39;Length of current employment&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x11 = gr.Checkbox(1, label=&#39;Below 1 year (or unemployed)&#39;)<br>            x12 = gr.Checkbox(0, label=&#39;Between 4 and 7 years&#39;)<br>        with gr.Tab(&#39;Instalment per cent&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x13 = gr.Checkbox(0, label=&#39;Smaller than 20%&#39;)<br>        with gr.Tab(&#39;Guarantors&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x14 = gr.Checkbox(0, label=&#39;No guarantors&#39;)<br>        with gr.Tab(&#39;Duration in current address&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x15 = gr.Checkbox(1, label=&#39;Less than a year&#39;)<br>            x16 = gr.Checkbox(0, label=&#39;Between 1 and 4 years&#39;)<br>        with gr.Tab(&#39;Most valuable available asset&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x17 = gr.Checkbox(1, label=&#39;Not available / no assets&#39;)<br>            x18 = gr.Checkbox(0, label=&#39;Ownership of house or land&#39;)<br>        with gr.Tab(&#39;Concurrent credits&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x19 = gr.Checkbox(0, label=&#39;No further running credits&#39;)<br>        with gr.Tab(&#39;Type of apartment&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x20 = gr.Checkbox(0, label=&#39;Free apartment&#39;)<br>        with gr.Tab(&#39;Number of credits at this Bank&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x21 = gr.Checkbox(0, label=&#39;One credit&#39;)        <br>        with gr.Tab(&#39;Occupation&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x22 = gr.Checkbox(0, label=&#39;Unemployed or unskilled with no permanent&#39;) <br>    predict_button = gr.Button(&#39;Predict&#39;)<br>    prediction_output = gr.Label(num_top_classes=2)<br>    with gr.Accordion(&#39;Metrics and plots&#39;):<br>        with gr.Tab(&#39;Metrics&#39;):<br>            with gr.Row():<br>                precision_output = gr.Label()<br>            with gr.Row():<br>                recall_output = gr.Label()<br>            with gr.Row():<br>                f1_output = gr.Label()<br>        with gr.Tab(&#39;Feature Importances&#39;):<br>            fimp_output = gr.Plot()<br>        with gr.Tab(&#39;Confusion Matrix&#39;):<br>            cfm_output = gr.Plot()<br>    predict_button.click(fn=predict_credit_worthiness,<br>                         inputs=[name, x1, x2, x3, x4, x5, x6, x7, x8, x9, x10, x11, x12, x13, x14, x15, x16, x17, x18, x19, x20, x21, x22],<br>                         outputs=[prediction_output,precision_output, recall_output, f1_output, fimp_output, cfm_output])<br>    gr.Markdown(&#39;&#39;&#39;<br>                Want to work in a project together or have interest in my services? Reach me:<br>                [Linkedin](https://www.linkedin.com/in/marcilioduarte98/)<br>                [Github](https://github.com/marcilioduarte)<br>                @marcilioduarte | Economics and Data Science<br>                &#39;&#39;&#39;)<br>demo.launch()</pre><p><em>Note: you can use demo.launch(share=True) if you wish to publish your aplication for free for 72 hours with a public URL provided by gradio.</em></p><p>The output should be like this:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rSyNis0bW6CUAwO6lcwNbg.png" /></figure><h4>4.1 Hugging Face</h4><p>Once we have tested our app and checked if it’s working well, we can publish it as a public space on <a href="https://huggingface.co/"><strong>hugging face</strong></a><strong>. </strong>It’s also very simple. All you have to do is to create an account and upload your files to a hugging face space.</p><p><em>Note: your app must be named as “app.py” to build the app and you have to create a “requirements.txt” file with the librarys your app.py file will need.</em></p><p>Here is the step by step with hugging face:</p><p><strong>1. Create your app.py file based on your model and app function like this:</strong></p><pre>## IMPORTING LIBS<br><br>import pandas as pd<br>import plotly.express as px<br><br>from sklearn.metrics import f1_score, precision_score, recall_score, confusion_matrix<br><br>import pickle<br>import gradio as gr<br><br>## CREATING FUNCTION<br><br>def predict_credit_worthiness(name, x1, x2, x3, x4, x5, x6, x7, x8, x9, x10, x11, x12, x13, x14, x15, x16, x17, x18, x19, x20, x21, x22):<br>    path =  &#39;german_credit_risk/model/model.pickle&#39;<br>    greet = &#39;Hey, &#39; + name + &#39;!&#39;<br>    with open(path, &#39;rb&#39;) as file:<br>        model = pickle.load(file)<br>        inputs = {&#39;Account Balance_1&#39;: int(x1),<br>                  &#39;Account Balance_2&#39;: int(x2),<br>                  &#39;Account Balance_3&#39;: int(x3),<br>                  &#39;Payment Status of Previous Credit_1&#39;: int(x4),<br>                  &#39;Payment Status of Previous Credit_3&#39;: int(x5),<br>                  &#39;Purpose_1&#39;: int(x6),<br>                  &#39;Purpose_4&#39;: int(x7),<br>                  &#39;Value Savings/Stocks_1&#39;: int(x8),<br>                  &#39;Value Savings/Stocks_3&#39;: int(x9),<br>                  &#39;Value Savings/Stocks_5&#39;: int(x10),<br>                  &#39;Length of current employment_1&#39;: int(x11),<br>                  &#39;Length of current employment_4&#39;: int(x12),<br>                  &#39;Instalment per cent_4&#39;: int(x13),<br>                  &#39;Guarantors_1&#39;: int(x14),<br>                  &#39;Duration in Current address_1&#39;: int(x15),<br>                  &#39;Duration in Current address_2&#39;: int(x16),<br>                  &#39;Most valuable available asset_1&#39;: int(x17),<br>                  &#39;Most valuable available asset_4&#39;: int(x18),<br>                  &#39;Concurrent Credits_3&#39;: int(x19),<br>                  &#39;Type of apartment_1&#39;: int(x20),<br>                  &#39;No of Credits at this Bank_1&#39;: int(x21),<br>                  &#39;Occupation_1&#39;: int(x22)<br>                  }<br>        prediction = model.predict([list(inputs.values())])<br>        <br>    y_test = pd.read_parquet(&#39;german_credit_risk/data/processed/y_test.parquet&#39;)<br>    y_test = y_test.squeeze()<br><br>    yhat = pd.read_parquet(&#39;german_credit_risk/data/processed/yhat.parquet&#39;)<br>    yhat = yhat.squeeze()<br>    <br>    precision = precision_score(y_test, yhat).round(2)<br>    recall = recall_score(y_test, yhat).round(2)<br>    f1 = f1_score(y_test, yhat).round(2)<br><br>    features_names =  [&#39;No account&#39;, &#39;No balance&#39;, &#39;Some balance&#39;, &#39;No credit problems&#39;, <br>                       &#39;Some credit problems&#39;, &#39;New car&#39;, &#39;Other purpose&#39;, &#39;No savings&#39;, <br>                       &#39;DM betwenn [100, 1000]&#39;, &#39;DM &gt;= 1000&#39;, &#39;Employment: &lt;1 year (or unemployed)&#39;, &#39;Employment: 4&lt;x&lt;7 years&#39;, <br>                       &#39;Installment smaller than 20%&#39;, &#39;No guarantors&#39;, &#39;Less than a year in same address&#39;, &#39;1&lt;x&lt;4 years in address&#39;, <br>                       &#39;Not available / no assets&#39;, &#39;Ownership of house or land&#39;,  &#39;No further running credits&#39;, &#39;Free ap&#39;, <br>                       &#39;One credit at thins bank&#39;,&#39;Unemployed or unskilled&#39;]<br>    importance = model.feature_importances_<br>    data = pd.DataFrame()<br>    data[&#39;Feature Importance&#39;] = importance<br>    data[&#39;Feature&#39;] = features_names<br>    p = px.bar(data, y=&#39;Feature Importance&#39;, x=&#39;Feature&#39;, width=1200, height=500)<br>    <br>    cfm = confusion_matrix(y_test, yhat)<br>    cfm_plot = px.imshow(cfm,<br>                x=[&#39;Predicted 0&#39;, &#39;Predicted 1&#39;],<br>                y=[&#39;Actual 0&#39;, &#39;Actual 1&#39;],<br>                color_continuous_scale=&#39;Blues&#39;,<br>                labels=dict(x=&quot;Predicted&quot;, y=&quot;Actual&quot;, color=&quot;Count&quot;),<br>                text_auto=True)    <br>    <br>    if prediction == 1:<br>        return (greet + &#39; According to our model, your client is eligible for the loan.&#39;, <br>                &#39;Precision: &#39;+ str(precision), <br>                &#39;Recall: &#39;+ str(recall), <br>                &#39;F1 Score: &#39;+ str(f1), <br>                p, <br>                cfm_plot)<br>    else:<br>        return (greet + &#39; Unfortunately, according to our model, your client is not eligible for the loan for now :(.&#39;, <br>                &#39;Precision: &#39;+ str(precision), <br>                &#39;Recall: &#39;+ str(recall), <br>                &#39;F1 Score: &#39;+ str(f1), <br>                p, <br>                cfm_plot)<br>    <br>## creating the interface<br><br>with gr.Blocks() as demo:<br>    gr.Markdown(&#39;# Credit Worthiness Prediction&#39;)<br>    gr.Markdown(&quot;&quot;&quot;<br>                To predict our clients&#39; creditworthiness, please use this application as follows:<br>                <br>                1. Enter your name and navigate through the client&#39;s information tabs. Select the boxes that best match your client&#39;s characteristics. Leave blank if none apply.<br><br>                2. Once completed, click &#39;Predict&#39; to determine if the client is creditworthy.<br>                &quot;&quot;&quot;)<br>    with gr.Accordion(&#39;Name&#39;):<br>        name = gr.Textbox(lines=1, label=&#39;Your name&#39;)<br>    with gr.Accordion(&quot;Enter your client&#39;s information&quot;):<br>        with gr.Tab(&#39;Account Balance&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x1 = gr.Checkbox(1, label=&#39;No account&#39;)<br>            x2 = gr.Checkbox(0, label=&#39;No balance&#39;)<br>            x3 = gr.Checkbox(0, label=&#39;Some balance&#39;)<br>        with gr.Tab(&#39;Payment status of previous credit&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x4 = gr.Checkbox(1, label=&#39;Some problems&#39;)<br>            x5 = gr.Checkbox(0, label=&#39;No problems in this bank&#39;)<br>        with gr.Tab(&#39;Purpose&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x6 = gr.Checkbox(1, label=&#39;New car&#39;)<br>            x7 = gr.Checkbox(0, label=&#39;Other&#39;)<br>        with gr.Tab(&#39;Value savings/stocks&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x8 = gr.Checkbox(1, label=&#39;No savings&#39;)<br>            x9 = gr.Checkbox(0, label=&#39;DM betwenn [100, 1000]&#39;)<br>            x10 = gr.Checkbox(0, label=&#39;DM &gt;= 1000&#39;)<br>        with gr.Tab(&#39;Length of current employment&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x11 = gr.Checkbox(1, label=&#39;Below 1 year (or unemployed)&#39;)<br>            x12 = gr.Checkbox(0, label=&#39;Between 4 and 7 years&#39;)<br>        with gr.Tab(&#39;Instalment per cent&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x13 = gr.Checkbox(0, label=&#39;Smaller than 20%&#39;)<br>        with gr.Tab(&#39;Guarantors&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x14 = gr.Checkbox(0, label=&#39;No guarantors&#39;)<br>        with gr.Tab(&#39;Duration in current address&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x15 = gr.Checkbox(1, label=&#39;Less than a year&#39;)<br>            x16 = gr.Checkbox(0, label=&#39;Between 1 and 4 years&#39;)<br>        with gr.Tab(&#39;Most valuable available asset&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x17 = gr.Checkbox(1, label=&#39;Not available / no assets&#39;)<br>            x18 = gr.Checkbox(0, label=&#39;Ownership of house or land&#39;)<br>        with gr.Tab(&#39;Concurrent credits&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x19 = gr.Checkbox(0, label=&#39;No further running credits&#39;)<br>        with gr.Tab(&#39;Type of apartment&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x20 = gr.Checkbox(0, label=&#39;Free apartment&#39;)<br>        with gr.Tab(&#39;Number of credits at this Bank&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x21 = gr.Checkbox(0, label=&#39;One credit&#39;)        <br>        with gr.Tab(&#39;Occupation&#39;):<br>            gr.Markdown(&#39;Select only one option. Leave all boxes blank if none of the options fits the client.&#39;)<br>            x22 = gr.Checkbox(0, label=&#39;Unemployed or unskilled with no permanent&#39;) <br>    predict_button = gr.Button(&#39;Predict&#39;)<br>    prediction_output = gr.Label(num_top_classes=2)<br>    with gr.Accordion(&#39;Metrics and plots&#39;):<br>        with gr.Tab(&#39;Metrics&#39;):<br>            with gr.Row():<br>                precision_output = gr.Label()<br>            with gr.Row():<br>                recall_output = gr.Label()<br>            with gr.Row():<br>                f1_output = gr.Label()<br>        with gr.Tab(&#39;Feature Importances&#39;):<br>            fimp_output = gr.Plot()<br>        with gr.Tab(&#39;Confusion Matrix&#39;):<br>            cfm_output = gr.Plot()<br>    predict_button.click(fn=predict_credit_worthiness,<br>                         inputs=[name, x1, x2, x3, x4, x5, x6, x7, x8, x9, x10, x11, x12, x13, x14, x15, x16, x17, x18, x19, x20, x21, x22],<br>                         outputs=[prediction_output,precision_output, recall_output, f1_output, fimp_output, cfm_output])<br>    gr.Markdown(&#39;&#39;&#39;<br>                Want to work in a project together or have interest in my services? Reach me:<br>                [Linkedin](https://www.linkedin.com/in/marcilioduarte98/)<br>                [Github](https://github.com/marcilioduarte)<br>                @marcilioduarte | Economics and Data Science<br>                &#39;&#39;&#39;)<br>demo.launch()</pre><p><strong>2. Create your requirements.txt file like this:</strong></p><pre>#requirements<br><br>pandas<br>plotly.express<br>scikit-learn<br>gradio</pre><p><strong>3. Create your account </strong><a href="https://huggingface.co/join"><strong>here</strong></a><strong>:</strong></p><p><strong>4. Create your space:</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2eDaSh3-NCK-QDm7wC4jtw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/865/1*9BycacE4mYoP8IiXaVdlhA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/795/1*_7lvXiGMbtzpTVgFUrdosQ.png" /></figure><p><strong>5. Upload your app.py file and your requirements.txt file:</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gdkpmC8GbdhuxSymrsX-iA.png" /></figure><p><em>Note: you can also write the code and the txt file inside the platform. Also, you can upload it using Git, which is a good practice and something we can talk about in another post.</em></p><p><strong>6. As a good practice, upload your code, data and model in different directorys so that others can check and contribute to your work in a organized way.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NKOHqEX7ITwbmt-n1XJj4g.png" /></figure><p>With that done, our project is complete and our app is running on hugging face.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1QEHvFyPVkO5epVBnorq0g.png" /></figure><p>To access it, you can click on the link below:</p><p><a href="https://huggingface.co/spaces/marcilioduarte/Credit-Worthiness-Risk-Classification">Credit Worthiness Risk Classification - a Hugging Face Space by marcilioduarte</a></p><p><em>Want to work in a project together or have interest in my services? Reach me:</em></p><p><a href="https://www.linkedin.com/in/marcilioduarte98/"><em>Linkedin</em></a></p><p><em>@marcilioduarte | Economics and Data Science | </em><a href="https://github.com/marcilioduarte"><em>Github</em></a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b0ee045bfe0b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como atraímos R$ 600 mi em investimentos para Governador Valadares.]]></title>
            <link>https://medium.com/@marcilio.dfn/como-atra%C3%ADmos-r-600-mi-em-investimentos-para-governador-valadares-88dfec00b98d?source=rss-a107dfa0b2ea------2</link>
            <guid isPermaLink="false">https://medium.com/p/88dfec00b98d</guid>
            <category><![CDATA[minas-gerais]]></category>
            <category><![CDATA[investimento]]></category>
            <category><![CDATA[government]]></category>
            <category><![CDATA[governo]]></category>
            <category><![CDATA[economia]]></category>
            <dc:creator><![CDATA[Marcilio Duarte]]></dc:creator>
            <pubDate>Thu, 25 Aug 2022 00:52:28 GMT</pubDate>
            <atom:updated>2022-08-26T20:11:55.076Z</atom:updated>
            <content:encoded><![CDATA[<ol><li><strong>Introdução</strong></li></ol><p>Atração de investimentos: um dos maiores<strong> desejos </strong>e <strong>desafios</strong> da maioria dos municípios brasileiros hoje.</p><p><strong>Desejo</strong> porque, na prática, atrair investimentos significa gerar emprego e renda para uma região, e isso é, para além do debate de desenvolvimento socioeconômico, um caminhão de votos para qualquer político, principalmente levando em consideração o cenário atual do Brasil.</p><p>Ao mesmo tempo, é um desafio porque <strong>para chegar nesse objetivo são necessárias muitas ações</strong> que vão desde o campo de articulação política e de comunicação com diferentes grupos da sociedade, até o campo técnico de levantar dados que muitas vezes nem sequer são coletados, mapear burocracias e realizar mudanças estruturais em um município, o que não é fácil. Ainda mais quando essas mudanças exigem um grande esforço coletivo.</p><p>Enfim, dada essa introdução, vamos para os bastidores da história de como atraímos uma grande empresa do ramo farmacêutico para Governador Valadares <strong>(história esta contada pela minha ótica)</strong>.</p><p><strong>2. Cenário anterior: mudanças estruturais na Secretaria de Desenvolvimento e inclusão na SUDENE.</strong></p><p>Eu entrei na Secretaria de Desenvolvimento e Inovação de GV na última semana de Dezembro de 2021 pelo convite do meu ex-professor na faculdade, Prof. Dr. Hilton Manoel, então Secretário responsável pela pasta.</p><p>Durante seu “mandato” (se é que posso intitular assim), o Hilton e outros agentes conseguiram avançar em diversos <strong>pontos estruturais</strong> para a cidade sem os quais não teríamos conseguido chegar nesse processo de atração.</p><p>Foi pela direção e trabalho dele que, a partir de 2019, Valadares passou por uma <strong>reestruturação da Secretaria de D&amp;I</strong>. Ele convidou para a pasta membros tecnicamente capacitados para trabalhar com desenvolvimento e inovação, e juntos eles instalaram uma <strong>cultura corporativa</strong> dentro da secretaria.</p><p>Pode parecer bobeira para alguns, mas, como alguém que está dentro desse processo, eu posso afirmar que essa <strong>mudança cultural no ambiente de trabalho </strong>fez toda a diferença e que não o fosse a secretaria dificilmente iria deixar de ser o que era: um clássico órgão público moroso, burocrático, recheado de profissionais insatisfeitos e alocados ali puramente por contato ou concurso, e não por mérito, competência e afinidade.</p><p>Com essas mudanças e sob a direção do Prof. Hilton, foram aprovadas <strong>mudanças legislativas</strong> fundamentais para o município, principalmente no que tange a inovação, mas nesse artigo eu vou destacar o <strong>decreto de adesão à lei de liberdade econômica</strong>. Ele desburocratiza, traz segurança jurídica e agiliza o processo de abertura de empresas a nível municipal. Sem essa adesão, outras cidades poderiam ser mais atrativas juridicamente do que GV, o que dificultaria a atração de investimentos para nossa região.</p><p>Além disso, também no ano passado, outros agentes políticos do município, desde os que atuam em âmbito municipal quanto os que atuam nas esferas estadual e federal, trabalharam muito para aprovar a<strong> inclusão da cidade na área de atuação da Sudene</strong>.</p><p>E aqui, como um economista consciente, preciso fazer um adendo: eu entendo <strong>(e concordo)</strong> com todas as críticas à instituição. Para aqueles que não são da área, explico: o simples fato de existir no nosso país uma autarquia federal cujo dever é conceder vantagens fiscais (isenções tributárias) e monetárias (linhas de crédito diferenciadas) a algumas regiões em detrimento de outras, financiando todo o seu funcionamento com recursos públicos, é um indício de alguns dos problemas que assolam nosso país: um sistema tributário que precisa ser revisto, que retroalimenta desigualdades regionais, e um Estado que utiliza recursos públicos para financiar instituições cuja missão é aliviar a cobrança de fontes de recursos públicos (sim, pq?¿)<strong> </strong>enquanto temas importantes como infraestrutura, saúde, educação básica e saneamento básico sobrevivem com respiradores (o chamado problema de “missalocation”). <strong>Isso é verdade.</strong></p><p>Mas como um simples gerente de uma prefeitura que busca fazer bem o seu trabalho, <strong>a conclusão</strong> que eu cheguei é: vamos fazer o que? A responsabilidade de mudar isso não é dos municípios e que sá do governo estadual. É dos poderes executivo, legislativo e judiciário federal. Nós, como agentes nesse jogo, temos que cobrar os responsáveis pela mudança. E enquanto nada acontece, <strong>temos que fazer o melhor para nossas regiões com as cartas que temos na mesa</strong>, afinal somos pagos para isso.</p><p>Então sim, a inclusão na Sudene foi uma grande virada de jogo para Governador Valadares, e a estamos utilizando como um “Ás” no nosso processo de atração de investimentos, juntamente com outros de nossos pontos atrativos.</p><p><strong>3. Passagem de bastão e mudança de foco.</strong></p><p>Por volta de Maio deste ano, o Prof. Hilton optou por regressar para a Universidade e passou o cargo para a então Diretora de Inovação, a também economista Srita. Beatriz Almeida. Assim que ela assumiu a pasta, em uma de nossas primeiras conversas, ela disse: <strong>“Marcílio, o meu principal objetivo como Secretária é atrair investimentos para Valadares. Já avançamos muito nas políticas de inovação, e agora precisamos atrair empresas para nossa cidade.”</strong></p><p>Dito isso, como o bom subordinado que sou, comecei a estudar o tema a partir das orientações da Secretária, acompanhei ela em agendas externas e nos aproximamos de uma agência que trabalha com isso no Governo Estadual e que já atraiu mais de <strong>R$ 240 bi</strong> para MG desde 2019 (a <strong>Invest Minas</strong>), coletamos alguns dados que não tínhamos sobre a cidade e montamos o nosso OKR (metodologia interna de trabalho pela qual definimos nossos objetivos e ações chave) com o viés principal de atrair empresas para a cidade.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*O6IoWzrMsWHTGdMOWPELUA.jpeg" /></figure><p><strong>4. Os bastidores do processo</strong></p><p>Muito do que queremos fazer ainda está em andamento, mas em menos de 6 meses após as mudanças começamos a colher frutos do trabalho de atração. A Secretária foi contatada por um dos diretores do Invest Minas e ele nos informou do interesse de uma empresa em se instalar no município <strong>devido aos atrativos da SUDENE (incentivos fiscais), do nosso capital humano, da nossa segurança jurídica e do nosso ambiente de negócios favorável aos empreendimentos.</strong></p><p>Naquele momento, ele não nos informou qual era a empresa, apenas o seu setor, e pediu <strong>sigilo com a informação</strong> para que o processo não fosse prejudicado antes mesmo de ser iniciado (porque isso acontece frequentemente no mundo político). Logo, apenas a Secretária, eu e outra gerente de nossa Secretaria estávamos cientes da aproximação da empresa.</p><p>Após isso, a primeira coisa que eles nos pediram foi uma <strong>apresentação</strong> curta com dados municipais sobre <strong>logística</strong>. Assim, para demonstrarmos <strong>agilidade</strong> para a empresa, a Beatriz me orientou a elaborar essa apresentação em um prazo curtíssimo. E por <strong>preparo</strong> (e não sorte), já tínhamos todos os dados de que precisávamos. Coletamos eles em outro momento prevendo esse tipo de situação, e por isso tudo o que tivemos que fazer foi montar uma visualização agradável desses dados.</p><p>Como “sobraria” tempo para executar essa ação, acrescentei outras informações socioeoconômicas e do setor de saúde que eu considerava como importantes estrategicamente para a empresa e aprimorei a ideia da apresentação inserindo um mapa interativo das BRs que cortam o município. A Secretária validou tudo, e então concluímos o primeiro passo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QjgRx7D2Q-EH-km2FHTjZA.png" /></figure><p>Alguns dias depois, recebemos outro contato do governo estadual. A notícia era de que<strong> a empresa aprovou o município em reunião de seu conselho</strong>, e que agora eles queriam saber se havia algum <strong>galpão</strong> de 5 a 10 mil m² na cidade para sua instalação. Deveríamos enviar <strong>fotos e a geolocalização</strong> do galpão para o governo estadual encaminhar para a empresa. Nessa etapa, nos foi revelado que <strong>o objetivo deles é de, primeiro, instalar uma distribuidora na cidade e depois uma fábrica</strong>.</p><p>E bom, <strong>essa foi uma das partes mais complexas</strong>. Corremos atrás da informação com agentes do setor privado que já haviam nos contatado em outros momentos para tratar sobre terrenos e imóveis, tomando o máximo de cuidado possível para a informação não vazar.</p><p>Após muitas ligações, ninguém sabia de um galpão pronto e disponível dessa dimensão na cidade, e quando estávamos quase partindo para outra alternativa, descobrimos um galpão que acabara de ser construído, mas um parente do dono havia acabado de falecer. Por isso, teríamos que aguardar para receber as fotos e entrar em contato novamente. <strong>Contratempo infeliz e inesperado.</strong></p><p>Passados alguns dias, contatamos o proprietário novamente e descobrimos que se tratava do galpão de outra empresa da cidade e que essa empresa iria utilizá-lo para expandir sua produção, por isso era necessário que houvesse uma <strong>negociação </strong>entre ambas as empresas. Nessa parte, como somos agentes públicos, ficamos de fora e enviamos apenas as fotos e a geolocalização para o Invest Minas.</p><p>Alguns dias depois, recebemos a notícia de que o<strong> conselho da empresa atraída aprovou </strong>as fotos e a geolocalização do galpão que tínhamos e resolveu avançar com o processo enviando alguns diretores e engenheiros na semana seguinte para uma <strong>visita in loco em GV.</strong> Aqui, também nos foi revelada qual era a empresa e sua chefe executiva entrou em contato com a Secretária se apresentando e tratando sobre a visita.</p><p>Na semana seguinte, para minha tristeza e alegria, era o casamento da minha irmã em outra cidade e eu tive que viajar. Nisto, perdi a agenda com a empresa. Porém, a Secretária e nossos diretores receberam os colaboradores da empresa muito bem, apresentando-lhes o município e o galpão.</p><p>Na visita, a informação foi levada para o <strong>Prefeito e demais secretários</strong> envolvidos e a Secretária agendou uma <strong>reunião</strong> entre estes e os membros da empresa para tratar sobre a possível instalação.</p><p>A partir daí, inciou-se a <strong>etapa política. </strong>Nessa etapa, nossos diretores e a Secretária agiram com o intuito de explicar a importância dessa empresa para essa classe e eliminar todas as barreiras burocráticas possíveis no processo de abertura, aquisição de alvarás e etc.</p><p>E bom, <strong>deu tudo certo</strong>. A empresa conseguiu os incentivos que merecia e que o município poderia dar e ainda no mesmo mês recebemos a notícia: eles bateram o martelo em vir para Valadares!</p><p>Por isso, hoje, após realizarmos um evento técnico sobre a inclusão da cidade na SUDENE, celebramos em ato simbólico a assinatura da <strong>Carta de Intenções</strong> da empresa em vir para o município. Essa carta é <strong>histórica </strong>para Valadares pela virada de chave que representa para nós valadarenses, ela foi assinada pela CEO da empresa e pelo Prefeito, e eu <strong>tive a honra de poder ser seu autor</strong>.</p><p>Ainda nessa cerimônia, <strong>a empresa declarou seu objetivo de investir R$ 10 mi na primeira fase de investimentos, gerando cerca de 100 empregos, e outros R$ 600 mi na segunda fase, que acontecerá em até 4 anos, gerando mais de 1.000 empregos de alta qualificação na cidade.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/1*PORN30WxJolXfn2yyCNYtw.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LZDsaPOvkN27zD_AUy3TeA.jpeg" /></figure><p><strong>5. Conclusão</strong></p><p>Bom, para concluir, o que eu queria ressaltar da minha experiência é: <strong>o processo de atração de investimentos é árduo e mais complexo do que parece</strong>. Sua execução depende do trabalho de muitas pessoas, e se não fossem uma série de ações executadas por outras esferas do governo nacional e por aqueles que passaram antes nas cadeiras que ocupamos hoje, provavelmente não conseguiríamos atrair essa empresa.</p><p>Espero que seja <strong>a primeira de muitas</strong> a se instalarem em Governador Valadares nessa nova estação e fico muito feliz de ter tido a oportunidade de participar desse processo, mesmo sendo um “peixe-pequeno” em um mar de tubarões.</p><p>Um obrigado especial à Secretária Beatriz Almeida e ao ex-Secretário Hilton Manoel pela oportunidade. E também, meus agradecimentos à toda equipe do Departamento de Atividades Produtivas da SMDCTI (mencionada abaixo), que também foi fundamental e sem os quais isso não teria acontecido!</p><p><em>Equipe do DAP (SMDCTI): Arthur Guilherme, Hozana Viana, João Pedro Lopes, Letícia Moreira, Maria do Socorro, Matheus Alves, Raphael Ceccato, Silvia Heleno, Valtair Barbosa.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2Q0LrZLvlTirSyUwY8FwTw.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kvva753NnwOnil--jCZbbg.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wJg_TE1eB7XFAD6ixW-Iog.jpeg" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=88dfec00b98d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Meu primeiro projeto de Data Analytics utilizando SQL e Power Bi]]></title>
            <link>https://medium.com/@marcilio.dfn/meu-primeiro-projeto-de-data-analytics-utilizando-sql-e-power-bi-f7d4c5655b3c?source=rss-a107dfa0b2ea------2</link>
            <guid isPermaLink="false">https://medium.com/p/f7d4c5655b3c</guid>
            <category><![CDATA[data-analytics]]></category>
            <category><![CDATA[ecommerce]]></category>
            <category><![CDATA[power-bi]]></category>
            <category><![CDATA[sql]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Marcilio Duarte]]></dc:creator>
            <pubDate>Tue, 07 Jun 2022 21:35:39 GMT</pubDate>
            <atom:updated>2022-06-14T22:41:19.893Z</atom:updated>
            <content:encoded><![CDATA[<p>Esse ano começei um novo desafio. Assim que me formei na faculdade (terminei minha graduação em Economia) resolvi ingressar no curso de especialização em Data Science da <a href="https://medium.com/u/449d1958a441">Awari</a> porque a área da tecnologia me atrai profissionalmente, tanto pela sua boa remuneração em relação ao restante do mercado de trabalho hoje em dia, quanto pelas profissões, empresas e pelo próprio formato de trabalho em si, que muitas vezes concede maior flexibilidade aos profissionais do que as ocupações disponíveis em outros setores (algo que está mudando atualmente).</p><p>Enfim, esse curso tem duração 7 meses e é dividido em duas partes principais. Uma parte voltada para Data Analytics e Data Visualization, e a outra para Data Science e Machine Learning. Ao final dos estudos em cada uma das partes, nós, os alunos, temos que formar grupos para desenvolver dois projetos visando o nosso aprendizado e a construção do nosso portfólio.</p><p>Por isso, hoje vou apresentar para vocês a documentação do projeto que fiz junto do <a href="https://medium.com/u/564476322b13">Diogo D&#39;Artangnan Almeida Santana</a> e do <a href="https://medium.com/u/585b34844a92">Leandrolaver</a>, que formaram o grupo 4 junto comigo. Nossa equipe ficou em primeiro lugar em uma enquete aberta após a apresentação dos projetos e fomos premiados com vouchers do ifood. Por isso, espero que vocês gostem do trabalho e da leitura.</p><h3><strong>O projeto</strong></h3><p>Bom, antes de mais nada, preciso explicar o que foi solicitado no exercício dado pela Awari.</p><p>Em resumo, o exercício solicitava que fizéssemos uma visualização em dashboard a partir de algumas bases de dados disponibilizadas publicamente na internet, ficando a critério de cada grupo a escolha das ferramentas a serem utilizadas tanto na consulta, limpeza e no tratamento dos dados via SQL quanto na sua visualização e documentação.</p><p>Nesse sentido, nosso grupo optou por:</p><ol><li><strong>Ferramenta de SQL: SQLite 3. </strong><br>Optamos pelo SQLite porque foi a ferramenta que usamos ao longo das aulas (à escolha da escola pela sua gratuidade e acessibilidade). Por já termos certa experiência com a ferramenta e pelo curto período de tempo que tínhamos para realizar o trabalho (o que nos complicaria em caso de tentar aprender uma nova), achamos que era melhor aproveitar dos benefícios da “curva de aprendizagem” aqui. Mas como aprendemos ao longo do curso, atualmente o SQLite não é a melhor ferramenta de SQL disponível no mercado.</li><li><strong>Dashboard: #PowerBI.</strong><br>No curso, a ferramenta utilizada para visualização até então foi o PBI. Além disso, sabemos que essa ferramenta é muito poderosa e lidera seu mercado, e eu e outro membro já tinhamos um certo contato com ela. Então optamos pelo Power Bi para aperfeiçoar nossas habilidades em uma ferramenta útil e de muita qualidade.</li><li><strong>Base de dados: “Brazilian E-Commerce Public Dataset by Olist”.</strong><br>Esses dados foram disponibilizados originalmente no #Kaggle, neste link: <a href="https://www.kaggle.com/datasets/olistbr/brazilian-ecommerce"><strong>https://www.kaggle.com/datasets/olistbr/brazilian-ecommerce</strong></a><strong>.</strong> Porém, utilizamos eles em um formato disponibilizado pelo nosso professor <a href="https://medium.com/u/fdbd1c748bbf">Guilherme Silva Cardozo De Sa</a> ao longo do curso (<a href="https://drive.google.com/file/d/1VlKPbWOhqqxruHDn1wOwqxVkpRTMF12w/view?usp=sharing"><strong>disponível aqui)</strong></a>. O que nos leva ao motivo de termos escolhido essa base. Tivemos bastante contato com ela ao longo das aulas de SQL, e por isso optamos por criar uma visualização para esses dados para o nosso projeto inicial.</li><li><strong>Documentação: Medium (obviamente).</strong><br>Apesar de só ter conhecido recentemente, eu gosto muito do Medium. Acho que pela plataforma amigável e o formato de blog. Por isso a escolha dessa ferramenta para a documentação.</li></ol><h3><strong>O que visualizar?</strong></h3><p>Após tomar as decisões a respeito das ferramentas e da base de dados, chegamos à conclusão de que o passo seguinte era definir: o que queremos visualizar?</p><p>E para isso, resolvemos criar uma “situação problema”, e a partir dela gerar as queries e visualizações que a resolvem.</p><p>Discutimos muito aqui sobre o tipo de problema que poderíamos criar. Tivemos várias ideias mirabolantes e complexas que dariam análises super legais, MAS, por se tratar de um projeto inicial em que o nosso objetivo principal era o de entender mais sobre os processos de tratamento, análise e de visualização de dados, optamos por seguir um caminho mais simples a fim de fazer um “arroz com feijão”, mas um arroz com feijão bem feito! (Nos meus próximos projetos, eu pretendo fazer coisas mais desafiadoras).</p><p>Enfim, dito isso, a situação problema que pensamos foi:</p><blockquote>“Uma startup atua no setor de e-commerce como um lojista de marketplace.<br>Sua plataforma é utilizada como um meio de vendas para diversos vendedores, e, com o crescimento do negócio, os executivos da empresa decidiram criar um departamento de dados.</blockquote><blockquote>A primeira tarefa designada a este departamento foi a de analisar os dados disponíveis dos consumidores e dos vendedores que utilizaram o serviço ao longo dos anos de 2016, 2017 e 2018 para criar visualizações com insights estratégicos para a empresa.</blockquote><blockquote>Para isso, os diretores sugeriram aos membros da equipe de dados que analisassem os pedidos dos consumidores, tendo em vista: as notas e comentários concedidos por eles aos pedidos, seus estados de residência (UFs), o tempo de entrega médio de seus pedidos e suas quantidades, ambos por estado.</blockquote><blockquote>Já em relação aos vendedores, a equipe foi solicitada a analisar: as UF’s de origem das vendas, as quantidades de produtos e pedidos vendidos por cada vendedor, suas categorias, seu tempo de entrega, a receita gerada e o ticket médio dos vendedores por estado.</blockquote><blockquote>Em ambos os casos, considere somente os pedidos que de fato foram entregues ao consumidor final.”</blockquote><h3><strong>As queries do SQLite</strong></h3><p>Bom, começando então a resolver esse problema, desenhamos o seguinte código de SQL para construir uma base de dados dos consumidores:</p><blockquote>— CRIANDO VIEW COM TABELA FINAL DE CONSUMIDORES —</blockquote><blockquote>CREATE VIEW “CONSUMIDORES” AS<br> SELECT * FROM <br> (<br> SELECT c.customer_unique_id AS CLIENTE,<br> c.customer_state AS UF,<br> COUNT (o.order_id) OVER (PARTITION BY c.customer_unique_id) AS QTD_PEDIDOS,<br> o.order_id AS PEDIDO,<br> o.order_status AS STATUS_DO_PEDIDO,<br> o.order_purchase_timestamp AS DT_PEDIDO,<br> o.order_estimated_delivery_date AS DT_ESTIPULADA,<br> o.order_delivered_customer_date AS DT_ENTREGA_PEDIDO,<br> ROUND(julianday(o.order_estimated_delivery_date)- julianday(o.order_approved_at)) AS TPO_ESTIMADO,<br> ROUND(julianday(o.order_delivered_customer_date) — julianday(o.order_approved_at)) AS TPO_ENTREGA,<br> ROUND(ROUND(julianday(o.order_estimated_delivery_date)- julianday(o.order_approved_at))-ROUND(julianday(o.order_delivered_customer_date) — julianday(o.order_approved_at))) AS D_ANTES_PRAZO,<br> orv.review_score AS NOTA_PEDIDO,<br> AVG(orv.review_score) OVER (PARTITION BY c.customer_unique_id) AS NOTA_MED_PED,<br> orv.review_comment_title AS TIT_COMENT,<br> orv.review_comment_message AS COMENT <br>FROM customers c<br>JOIN orders o ON o.customer_id = c.customer_id<br>JOIN order_reviews orv ON o.order_id=orv.order_id<br>WHERE o.order_status = ‘delivered’<br> )<br>WHERE TPO_ESTIMADO &gt;= 0<br>AND TPO_ENTREGA &gt;= 0<br>ORDER BY QTD_PEDIDOS DESC, CLIENTE, DT_PEDIDO ASC;</blockquote><blockquote>— VISUALIAZNDO OS DADOS —</blockquote><blockquote>SELECT * FROM CONSUMIDORES;</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sbPTGBsPKT0NtM9Aa7mBbA.png" /><figcaption>Visualização da Tabela: Consumidores</figcaption></figure><p>Em seguida, para montar a base dos vendedores, rodamos a querie:</p><blockquote>— CRIANDO VIEW COM A TABELA FINAL DE VENDEDORES —</blockquote><blockquote>CREATE VIEW TABELA_VENDEDORES AS <br>SELECT s.seller_id as VENDEDOR,<br> s.seller_state as UF_VEND,<br> CONSUMIDORES.PEDIDO as PEDIDO,<br> pr.product_id as PRODUTO,<br> pr.product_category_name as CATEGORIA,<br> oi.price as PRECO_TOT<br>FROM CONSUMIDORES<br>JOIN order_items as oi ON CONSUMIDORES.PEDIDO=oi.order_id<br>JOIN sellers as s ON oi.seller_id=s.seller_id<br>JOIN products as pr ON oi.product_id=pr.product_id<br>GROUP BY VENDEDOR, PEDIDO, PRODUTO<br>ORDER BY VENDEDOR, PEDIDO, PRODUTO;</blockquote><blockquote>— VISUALIZANDO OS DADOS —</blockquote><blockquote>SELECT * FROM TABELA_VENDEDORES;</blockquote><blockquote>— ALTERANDO NOME DE CATEGORIAS E CRIANDO NOVA VIEW DOS VENDEDORES —</blockquote><blockquote>CREATE VIEW VENDEDORES AS<br>SELECT VENDEDOR,<br> UF_VEND,<br> PEDIDO,<br> PRODUTO,<br>CASE<br> WHEN CATEGORIA LIKE ‘%moveis%’ THEN ‘móveis’<br> WHEN CATEGORIA LIKE ‘%telefonia%’ THEN ‘telefonia’<br> WHEN CATEGORIA LIKE ‘%livros%’ THEN ‘livros’<br> WHEN CATEGORIA LIKE ‘%fashion%’ THEN ‘fashion’<br> WHEN CATEGORIA LIKE ‘%construcao_ferramentas%’ THEN ‘ferramentas de construção’<br> WHEN CATEGORIA LIKE ‘%casa%’ THEN ‘casa’<br> WHEN CATEGORIA LIKE ‘%bebes%’ THEN ‘Bebês’<br> WHEN CATEGORIA LIKE ‘cama_mesa_banho’ THEN ‘cama, mesa e banho’<br> WHEN CATEGORIA LIKE ‘beleza_saude’ THEN ‘beleza e saúde’<br> WHEN CATEGORIA LIKE ‘eletronicos’ THEN ‘eletrônicos’<br> WHEN CATEGORIA LIKE ‘relogios_presentes’ THEN ‘relógios e presentes’<br> WHEN CATEGORIA LIKE ‘esporte_lazer’ THEN ‘esporte e lazer’<br> WHEN CATEGORIA LIKE ‘eletroportateis’ THEN ‘eletroportáteis’<br> WHEN CATEGORIA LIKE ‘informatica_acessorios’ THEN ‘informática e acessórios’<br> WHEN CATEGORIA LIKE ‘malas_acessorios’ THEN ‘malas e acessórios’<br> WHEN CATEGORIA LIKE ‘utilidades_domesticas’ THEN ‘utilidades domésticas’<br> WHEN CATEGORIA LIKE ‘eletrodomesticos%’ THEN ‘eletrodomésticos’<br> WHEN CATEGORIA LIKE ‘agro_industria_e_comercio’ THEN ‘agro industria e comércio’<br> WHEN CATEGORIA LIKE ‘industria_comercio_e_negocios’ THEN ‘industria comércio e negocios’<br> WHEN CATEGORIA LIKE ‘%dvd%’ THEN ‘áudio’<br> WHEN CATEGORIA LIKE ‘%pc%’ THEN ‘PC’<br> WHEN CATEGORIA LIKE ‘portateis_cozinha_e_preparadores_de_alimentos’ THEN ‘Cozinha’<br> WHEN CATEGORIA LIKE ‘la_cuisine’ THEN ‘Cozinha’<br> WHEN CATEGORIA LIKE ‘audio’ THEN ‘áudio’<br> ELSE CATEGORIA<br>END CATEG_MOD,<br>PRECO_TOT<br>FROM TABELA_VENDEDORES;</blockquote><blockquote>— VISUALIZANDO OS DADOS — <br>SELECT * FROM VENDEDORES;</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/961/1*BSOrc7dB9xqmYew5966MfA.png" /><figcaption>Visualização da Tabela: Vendedores</figcaption></figure><p>E por fim, fizemos uma “tabela fato” para criar relacionamentos no Power Bi.</p><blockquote>— CRIANDO TABELA FATO DOS PEDIDOS P/CRIAR RELACIONAMENTOS NO PBI —</blockquote><blockquote>CREATE VIEW PEDIDOS AS<br>SELECT DISTINCT V.PEDIDO,<br> V.VENDEDOR,<br> C.customer_unique_id CLIENTE<br>FROM VENDEDORES V<br>JOIN orders o ON o.order_id = V.PEDIDO<br>JOIN customers C ON C.customer_id = o.customer_id<br>GROUP BY V.PEDIDO;</blockquote><blockquote>— VISUALIZANDO OS DADOS — <br>SELECT * FROM PEDIDOS;</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/372/1*lWgevyY1HYohgCpdkBCpoQ.png" /><figcaption>Visualização da Tabela: Pedidos</figcaption></figure><p>Nessa parte, optamos por extrair o máximo possível de dados e deixamos para realizar a maior parte da limpeza, dos cálculos e de possíveis agrupamentos pelo Power BI mesmo. Assim, a tabela de consumidores resultou em uma extração de 96.302 linhas, a de vendedores de 99.442 linhas e a de pedidos de 95.773 linhas.</p><p>A única coisa que acredito ser mais “complexa” nesses códigos para quem estiver iniciando em SQL e que merece ser ressaltada aqui é a função “JULIANDAY”. Essa função serve para realizarmos cálculos com datas, e a função “ROUND” que está “por fora dela” é utilizada para arredondar números decimais.</p><p>No caso, utilizamos essas funções para calcular o tempo estimado, o tempo de entrega e quantos dias antes do prazo de entrega cada pedido foi de fato entregue (uma forma de medir a velocidade). E sobre essas funções, vale ressaltar o seguinte: as cláusulas “WHERE TPO_ESTIMADO &gt;= 0 AND TPO_ENTREGA &gt;= 0”, ao final da querie, foram utilizadas para filtrar possíveis erros nas duas primeiras funções. Isto porque não faz sentido um pedido ter seu tempo estimado para entrega negativo e o mesmo é válido para seu tempo de entrega. Entretanto, na última função, que mede a velocidade, caso o pedido tenha sido entregue após o prazo, seu resultado será negativo, o que nos foi útil mais a frente no projeto, como será demonstrado mais à frente.</p><p>Feito tudo isso, apenas extraímos os dados em .csv para o excel e fizemos o upload no Power BI.</p><h3><strong>Limpeza e transformação dos dados no PBI</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*c3hkA3V0Q3GQ2Y-M7fNsfg.png" /></figure><p>Na etapa de limpeza, primeiro fizemos todo o processo clássico de limpeza em todas as tabelas. Isto é, verificamos o tipo de dado de cada coluna (string, int, float, etc), colocamos alguns dados tipo string com letras em maiúsculo, arredondamos o que precisava ser arredondado, definimos o que é moeda e o que não é, definimos o que é data e o que é hora, fizemos uma vista exploratória nos dados para identificar possíveis erros, e por aí vai.</p><p>Nessa etapa, alguns pontos interessantes para mim foram o de trabalhar com as datas pelo Power BI, o de inserir colunas condicionais com base em valores de outras colunas e o de inserir colunas de exemplos com base na inteligência do Power Query de identificar padrões.</p><p>A respeito das datas, gostei da forma como o PBI cria a hierarquia depois de a data ser definida.</p><p>Para quem não conhece, é possível classificar os dados em datas no Power Query pelos comandos em vermelho disponíveis na guia “Transformar” do Power Query:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/961/1*AITG3zJSbGhGRc4ZPNVJoA.png" /></figure><p>Feito isso, na guia “Campos” da página inicial do PBI, as datas ficam visíveis da seguinte forma:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/578/1*ZKObbf0Aoote8MR1VyV-Sw.png" /></figure><p>A respeito do comando das colunas condicionais, utilizei para criar uma coluna com o nome completo do estado se a sigla da UF atendesse determinada condição.</p><p>Ex: se na coluna existente a sigla fosse “SP” → na coluna nova era para inserir o texto “São Paulo”; se fosse “MG” → inserir “Minas Gerais”, e por aí vai.</p><p>Para utilizar essa ferramenta, é só clicar em “Adicionar Coluna”, na guia superior do Power Query, selecionar a coluna de base para a condição e depois clicar em “coluna condicional”, também na parte superior do Power Query. Veja a imagem:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*89g26LFkLnqh5Spy9QEgGQ.png" /></figure><p>Depois, é só seguir os comandos indicados pelo PBI adicionando quantas cláusulas forem necessárias , conforme o modelo abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6KfREAQ_Jdjuh9bsmZWN3g.png" /></figure><p>OBS: existem outras formas, talvez até mais simples, de fazer isso. Porém, optamos por fazer assim pelo aprendizado.</p><p>Seguindo, talvez uma das principais ferramentas do Power Query está na parte de inserir uma nova coluna a partir de exemplos. No caso, usamos ela para criar uma coluna que resulte no texto “SIM” quando o pedido foi entregue no prazo e em “NÃO” caso contrário.</p><p>Para utilizá-la, é só clicar em coluna de exemplos e selecionar uma das opções “Da Seleção” ou “De Todas as Colunas”, como pode ser observado abaixo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/770/1*O6Qqr5el8ICrRy1zGrTIvA.png" /></figure><p>Feito isso, é só inserir os exemplos de resultado esperado na nova coluna tendo como base a informação disponível na coluna de seleção. No caso, eu fiz como está destacado abaixo, note como a ferramenta preencheu os demais resultados automaticamente.</p><p>OBS: <strong>É</strong> <strong>PRECISO OBSERVAR A FUNÇÃO IF PARA CONFERIR SE O RESULTADO ESTÁ CERTO, CASO CONTRÁRIO ISSO PODE DETURPAR SEUS DADOS. </strong>No nosso caso, estava tudo ok.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RWjo4Ir43ZGnSPuKWVw_2Q.png" /></figure><p>No mais, sobre a limpeza e transformação pelo PBI, meu comentário extra é o seguinte: por estar acostumado com o #Excel, no ínicio eu senti o Power Query como uma ferramenta muito lenta e não tão intuitiva quanto poderia ser, como se em alguns momentos determinadas ações que no Excel seriam mais simples no PBI se tornavam complexas. Porém, à medida que fui usando a plataforma pude entender melhor o seu valor e acabei me acostumado com as diferenças também. Então se esse for o seu caso, não desanime :).</p><h3><strong>Criando o DashBoard</strong></h3><p>Feitas as alterações nas tabelas, partimos para a criação do DashBoard tendo como objetivo criar um Dash de 3 páginas seguindo a identidade visual da Olist, sendo as duas primeiras com visuais que auxiliariam os diretores da empresa a extrair insights sobre a experiência dos clientes por UF e a última com visuais que os auxiliariam na extração de insights acerca da perfomance dos vendedores por UF.</p><p>Para iniciar os trabalhos, então, já que nosso objetivo era tratar sobre a experiência do cliente, criamos visuais que tratam sobre as notas e as quantidades dos pedidos de cada cliente, suas proporções e a sua relação de acordo com o estado de residência desses consumidores. Ao final, esses visuais ficaram assim:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/654/1*_WKaCvA-2MGLdM0-Il1bJw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/493/1*C7kV6-DKQ2qNxLKt7uimqg.png" /></figure><p>Inicialmente, pareceu tudo certo, porém em uma análise posterior um pouco mais criteriosa percebemos que os pedidos com nota igual ou menor do que 3 são cerca de 20% do total e que a nota média por UF varia (bastante e negativamente) em alguns estados, como é o caso do Maranhão, de Alagoas, do Pará e de Roraima (fora outros).</p><p>Isso nos levou a indagações sobre o motivo dessas notas serem tão baixas. E daí, tivemos a ideia de inserir duas nuvens de palavras no nosso dash para entender o sentimento dos consumidores. Mas para isso, tivemos que instalar um complemento nos visuais do PBI, porque a nuvem de palavras não vem previamente instalada na ferramenta.</p><p>Para fazer isso, é só seguir os passos da imagem e clicar na primeira opção:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/557/1*6K6T1YGQZGk_N1dXJTjiiA.png" /></figure><p>Feito isso, é só procurar o complemento WordCloud 2.0 (da Microsoft) e adicioná-lo aos visuais do Power BI.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Frv5qhW6x_9j2cW5XCdxoA.png" /></figure><p>Enfim, após a instalação da nuvem, eu assisti alguns vídeos no <a href="https://www.youtube.com/results?search_query=wordcloud+power+bi">Youtube</a> para entender melhor sobre seu funcionamento e com isso entendi que era necessário excluir algumas palavras irrelevantes para que a nuvem não destacasse com alta relevância termos como “a”; “e”; “o”, entre outros.</p><p>A lista que eu fiz foi com base nas palavras que foram aparecendo no visual, mas caso seja interessante para mais alguém como ponto de partida, segue:</p><blockquote>Lista de palavras irrelevantes utilizadas no Word Cloud 2.0:</blockquote><blockquote>ele as para o e de da do fiz q que foi por na eu um das dos está é em nas me com no ao os se a esta pra bom tem como pois nao meu ela ser</blockquote><p>Com tudo isso, o visual, selecionando somente os pedidos com notas 1, 2 e 3, ficou da seguinte forma:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/676/1*RU3MKq6GGoLzAtmtY4C8fg.png" /></figure><p>De cara, o que se percebe é que a maior parte das reclamações acontecem por conta da entrega. Termos como “Não”, “recebi” e “produto” formam as frases mais comuns, como: “Não recebi o produto”; “Ainda não recebi o produto”. E à medida que excluímos as notas maiores (3 e 2) da seleção, a relevância desses termos aumenta.</p><p>E claro, pensando em um serviço de e-commerce, isso era o lógico que esperávamos. Porém, para entender ainda melhor essa questão, adicionamos um filtro de ano, além do seguinte visual:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/195/1*X3b6R9yhvbl_pn6SZlK3wA.png" /></figure><p>A partir dele, percebemos que o grupo “NÃO” de pedidos entregues fora do prazo aumentou consecutivamente entre 2016 e 2018 (anos disponíveis na amostra). E se selecionarmos somente os pedidos não entregues, os termos destacados acima ficam ainda maiores, como era de se esperar também.</p><p>Ao final, a página completa ficou da seguinte forma:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aaX4kcki3XuTwn2WrnaFhQ.png" /></figure><p>E uma forma relevante de extrair seus insights, por exemplo, é selecionando seus visuais a partir das entregas fora do prazo (“NÃO”), assim:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*unONM50DWPx8dQataGe9bw.png" /></figure><p>Só com isso, um gestor pode perceber que mais de 7 mil pedidos foram entregues fora do prazo, que a nota média desses pedidos é de 2,5 pontos, que a maior parte das reclamações estão relacionadas à entrega dos produtos e que poucos estados continuam com notas relativamente altas após a seleção (É O CASO DO AMAPÁ, QUE SÓ POSSUI 2 PEDIDOS ENTREGUES FORA DO PRAZO).</p><p>Sabendo desses dados e levando em consideração a possibilidade de que clientes insatisfeitos não voltem a comprar pela plataforma e de que estes podem estar mais abertos para dar oportunidade, em uma próxima compra, para o serviço de um concorrente, o gestor pode agir estrategicamente de várias formas, seja com ações para recuperar esses clientes, seja com ações para identificar os fornecedores com problemas de entrega, ou então com ações para melhorar o serviço da empresa de forma geral.</p><p>Enfim, seguindo para a página 2 do dashboard, resolvemos criar visualizações que trariam insights sobre o tempo de entrega dos pedidos, de acordo com a UF do cliente. E isso resultou nos visuais abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/712/1*1GPKpdp7ccPMnnESRh4zHA.png" /></figure><p>A partir do primeiro gráfico, é possível perceber que as regiões Sul e Sudeste se destacam por ter um menor tempo médio de entrega (ver SP, PR, MG, SC, RS, RJ) e que os estados do Norte e do Nordeste são os com maior tempo médio de entrega (RR, AP, AM, AL, PA, SE).</p><p>Isso era de se esperar, dados os níveis de desenvolvimento socioeconômico dessas regiões do país. Tanto seus níveis de desenvolvimento em termos de infraestrutura física quanto em termos de oferta de produtos são extremamente diferentes, o que muito provavelmente impacta nesses dados.</p><p>Porém, quando analisamos o tempo médio estimado para a entrega e subtraímos o primeiro do segundo, tirando sua média por estado, chegamos à média de dias de entrega antes do prazo de cada UF. Quanto maior essa média, mais rápida é a entrega em relação ao prazo naquela UF. Quanto menor, mais lenta. E neste caso, os estados do Norte se destacam por terem entregas que chegam bem antes do prazo, enquanto que os do Nordeste se destacam por terem uma entrega (ainda que positiva) mais próxima à do prazo esperado.</p><p>No geral, é possível perceber também que o pedido que mais demorou chegou 189 dias após o prazo e o que chegou mais rápido chegou 146 dias antes do prazo, porém em média esses pedidos chegam 11 dias antes do prazo. Em ambos os casos, algo parece não estar certo (mesmo os dados estando corretos). Talvez o problema está na base original mesmo.</p><p>Ainda neste visual, adicionamos um gráfico da quantidade de pedidos por ano, mas que também pode ser visualizado por trimestre ou por mês para ver como a velocidade de entrega foi mudando nos estados ao longo do tempo, e se isso teve alguma relação com a quantidade de pedidos que foram sendo realizados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/747/1*pArtbjv8KXEhmA5jiQoZqg.png" /></figure><p>Por fim, mantivemos os visuais do mapa e do gráfico de barras do prazo de entrega, que estavam na página inicial, e a página dois ficou assim:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Yf-NdVlDrB_ftQbBDt7d8Q.png" /></figure><p>Já em relação à página final, a ideia era criar um dash que permitisse ao gestor analisar a perfomance dos vendedores por estado. Para isso, criamos um gráfico de barras com os 5 estados que geraram mais receita, uma tabela com o o nº de vendedores, o ticket médio, a média de pedidos por vendedor e a média de dias de entrega antes do prazo de cada UF; além de dois cards informativos sobre a quantidade de produtos (!= de pedidos) entregues pelos vendedores da UF e sobre a receita da mesma em relação ao total. Ficou assim:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*skeILFCMPLwurYOAHxehcQ.png" /></figure><p>De cara, percebe-se a discrepância entre a receita de SP e a dos demais estados, e que no top 5 estão apenas UFs das regiões Sul/Sudeste do País. Além disso, selecionando os 5 primeiros estados, é possível perceber que a receita total oriunda deles representa mais de 90% da receita total arrecadada de todo o país.</p><p>A tabela nós filtramos a fim de considerar apenas as UFs com mais de 50 pedidos entregues. Isto porque alguns estados tinham uma quantidade muito baixa de pedidos entregues e um ticket médio muito alto, o que estava atrapalhando a análise. Assim, feita essa filtragem, a análise ficou mais próxima da real esperada, e observamos que não há uma relação muito forte entre o número de vendedores e o ticket médio da UF.</p><p>Em seguida, construímos visualizações que nos permitissem analisar a categoria dos produtos vendidos, e o dash final ficou assim:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*phJQ1l-T4Cpyetr1SXiOGQ.png" /></figure><p>Nas visualizações de categoria, se destacaram positivamente as de “Beleza e Saúde” e de “Relógio e Presentes”, ambas com mais de R$ 1 mi em vendas e com fornecedores de SP sendo seus principais agentes em termos de montante vendido.</p><p>Porém, analisando as categorias com o pior desempenho, observamos os produtos/serviços de “Seguros e Serviços”, “Cozinha”, “Música”, “Cine e Foto” e “Artigos de Festas” como o “Bottom 5” do marketplace. Isso pode estar relacionado ao fato de que produtos/serviços dessa área normalmente são preferíveis de serem adquiridos presencialmente pelos clientes, e não por plataformas digitais, porém é preciso averiguar se essa hipótese condiz com a realidade dos dados utilizando ferramentas mais avançadas de Data Science.</p><p>Outra coisa interessante é que se selecionarmos somente o estado da BA na tabela, é possível compreender melhor seu ticket médio (o maior de todos). Isto porque a categoria de produtos de informática possui uma relevância muito alta no total vendido ao estado (mais de 65% do total). E esses produtos normalmente são mais caros do que os demais. Isso explica o ticket médio alto da UF.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eENi2LqJAZmk6OYVD1Xb7Q.png" /></figure><p>Após esse passo, colocamos a capa, configuramos os botões, adequamos as cores para ficarem em sintonia com a identidade visual da empresa, escolhemos a fonte padrão e nos atentamos aos detalhes das descrições que aparecem quando passamos o Mouse em cima das visualizações, como pode ser observado abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ww9SwwfBwnSuFovg1ls7IQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-RJ9cePc1Z95i3uzjv5_oA.png" /></figure><p>E assim finalizamos o dash.</p><h3>Conclusão e acesso ao Dashboard.</h3><p>Depois de todo esse trabalho, apresentamos o dashboard ao professor, a um de seus colegas de trabalho e aos outros alunos e acabamos premiados com o primeiro lugar em uma competição interna da turma.</p><p>No geral, a experiência foi muito legal e desafiadora. SQL e Power BI são duas ferramentas muito úteis para analistas e cientistas de dados, e por isso pretendo dominá-las ainda melhor futuramente. (Se eu fizer outro projeto, posto aqui de novo).</p><p>Fora isso, como muita coisa era nova para mim, acredito que profissionais mais experientes provavelmente vão encontrar alguns erros e pontos a serem melhorados em muitos dos passos. Mas espero ter deixado alguma contribuição/encorajamento para os iniciantes e para profissionais do ramo de e-commerce!</p><p>No mais, seguem os links de acesso ao dash, caso queiram visualizá-lo de forma mais interativa, e ao meu linkedin, caso queiram me adicionar por lá:</p><ul><li><a href="https://app.powerbi.com/view?r=eyJrIjoiNTlkMDBmMmQtMmRlOS00ZjVjLWFhN2QtNzMyODg4OWU3NGQxIiwidCI6ImNlYzhiNzg4LTI3MmEtNGE4YS1iMTc0LTE5NTAwM2MyN2NjZiJ9&amp;pageName=ReportSection1da4e60b13e1d207d619">Power BI Report</a></li><li><a href="https://bit.ly/linkedin-marcilioduarte98">Marcilio Duarte - Gerente de Setores Produtivos - Secretaria Municipal de Desenvolvimento e Inovação de Governador Valadares-MG | LinkedIn</a></li></ul><p>Até a próxima!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f7d4c5655b3c" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>