<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by André Almeida on Medium]]></title>
        <description><![CDATA[Stories by André Almeida on Medium]]></description>
        <link>https://medium.com/@andre-almd?source=rss-9a59a98a75aa------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*itbzbjmIFQnymDhK.jpg</url>
            <title>Stories by André Almeida on Medium</title>
            <link>https://medium.com/@andre-almd?source=rss-9a59a98a75aa------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 07:23:40 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@andre-almd/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Descubra o Poder do Azure AI Search]]></title>
            <link>https://medium.com/@andre-almd/descubra-o-poder-do-azure-ai-search-c958b35e9157?source=rss-9a59a98a75aa------2</link>
            <guid isPermaLink="false">https://medium.com/p/c958b35e9157</guid>
            <category><![CDATA[cloud]]></category>
            <category><![CDATA[ai-search-engine]]></category>
            <category><![CDATA[azure]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[André Almeida]]></dc:creator>
            <pubDate>Wed, 08 Jan 2025 14:56:26 GMT</pubDate>
            <atom:updated>2025-01-08T14:56:26.901Z</atom:updated>
            <content:encoded><![CDATA[<h4>Uma Busca Inteligente na Era da Informação</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*txHdLCNm0KdzGjm-gy8RWQ.png" /></figure><p>Vivemos na era dos dados, e encontrar a informação certa no momento certo pode ser um grande desafio. Seja para empresas que lidam com vastos repositórios de documentos, desenvolvedores criando experiências ricas em busca, ou equipes que exploram novas formas de integrar inteligência artificial em aplicações, a necessidade de ferramentas de busca avançadas nunca foi tão clara.</p><p>É aqui que o <strong>Azure AI Search</strong> entra em cena. Essa poderosa solução de busca da Microsoft foi projetada para lidar com dados de diversas origens, organizá-los em índices de pesquisa eficientes e torná-los acessíveis por meio de consultas e aplicações inteligentes.</p><p>Atualmente, estou estudando e utilizando esta ferramenta em um projeto de ciência de dados (ainda estou descobrindo muita coisa!), e resolvi escrever um pouco aqui sobre o que mais me chamou a atenção nesse primeiro contato.</p><p>O Azure AI Search não é apenas mais uma ferramenta de busca. Ele combina tecnologias de última geração, como <strong>indexação avançada</strong>, <strong>pesquisa semântica</strong> e <strong>vetorial</strong>, além de integrações nativas com serviços de inteligência artificial como o Azure OpenAI. Isso significa que você pode criar desde simples buscas em catálogos até aplicações complexas de <strong>Retrieval-Augmented Generation (RAG)</strong>, que combinam IA generativa e recuperação de informações.</p><p>Neste artigo, vou apresentar o Azure AI Search de forma simples. Quero explorar como ele funciona, suas principais funcionalidades, e os motivos pelos quais ele pode ser uma escolha bem interessante para aplicações que exigem buscas rápidas, precisas e inteligentes.</p><h4>O Que Está Dentro do Azure AI Search</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/835/1*6DZq0r_wf6Xdd3Y9R__edg.png" /></figure><p>O Azure AI Search oferece uma arquitetura robusta e flexível para transformar grandes volumes de dados, de fontes distintas, em informações pesquisáveis. No coração do serviço estão dois processos principais: <strong>indexação</strong> e <strong>consultas</strong>. Esses processos são sustentados por uma infraestrutura poderosa que combina tecnologias avançadas de busca, inteligência artificial e integração com outras ferramentas do Azure.</p><p>Na essência, o Azure AI Search atua como uma ponte entre seus dados brutos (armazenados em fontes externas) e a aplicação que os consumidores finais utilizam para realizar buscas. Ele organiza esses dados em índices de busca eficientes, que são otimizados para consultas rápidas e precisas.</p><p>A arquitetura do serviço pode ser dividida em três camadas principais:</p><ol><li><strong>Camada de Dados (Data Sources):</strong><br>Esta camada é onde seus dados originais estão armazenados, seja em serviços do Azure como Blob Storage, ou em fontes externas como bancos de dados relacionais. O Azure AI Search usa mecanismos de integração chamados <strong>indexadores</strong> para ingerir esses dados.</li><li><strong>Camada de Serviço de Busca (Search Service):</strong><br>Aqui, os dados ingeridos são transformados em índices de busca por meio de um processo chamado <strong>indexação</strong>. Esses índices são estruturados para permitir buscas rápidas e ricas, combinando texto e vetores para consultas híbridas.</li><li><strong>Camada de Aplicação (Client Application):</strong><br>A interação do usuário ocorre nesta camada, onde APIs, SDKs ou ferramentas como o <strong>Search Explorer</strong> são usados para enviar consultas e recuperar resultados.</li></ol><h4>O Processo de Indexação</h4><p>A indexação é a etapa em que os dados brutos são processados, organizados e armazenados no serviço para se tornarem pesquisáveis. Este processo pode ser dividido em várias fases e é ralizado pelo indexador, ou manualmente a depender da situação.</p><p>Uma coisa importante para destacar aqui é que dados vetoriais podem ser gerados por <strong>modelos de embedding</strong>, criando representações numéricas de textos ou imagens, armazenadas em índices vetoriais. Esse é um ponto chave para o processo de busca.</p><h4>O Processo de Consultas (Querying)</h4><p>Uma vez que os dados estão indexados, eles podem ser acessados por meio de consultas que oferecem resultados rápidos e altamente relevantes. O Azure AI Search suporta diferentes estratégias e tipos de consulta.</p><p>Algumas das consultas que testei até o momento foram:</p><ul><li><strong>Texto Completo:</strong> Consultas tradicionais baseadas em palavras-chave.</li><li><strong>Busca Vetorial:</strong> Baseada na similaridade semântica entre embeddings, mesmo que as palavras não correspondam exatamente.</li><li><strong>Busca Híbrida:</strong> Combina texto completo e vetores para aproveitar o melhor dos dois mundos.</li></ul><p>O AI Search utiliza algoritmos distintos para ranquear resultados, como o <strong>BM25</strong> para texto e métodos como <strong>Hierarchical Navigable Small World</strong> (HNSW) e <strong>exhaustive K Nearest Neighbors</strong> (eKNN) para vetores. Um algoritmo chamado <strong>Reciprocal Rank Fusion</strong> (RRF) é usado para mesclar e ordenar os resultados de ambas as buscas, oferecendo uma resposta unificada e altamente relevante que aproveita o melhor de cada abordagem.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fNwZsB7hvhGmoMXb49FJUQ.png" /></figure><p>Em um mundo onde a quantidade de informações cresce exponencialmente, encontrar dados relevantes de maneira rápida e precisa se tornou uma necessidade crítica. Ferramentas de busca avançada, como o Azure AI Search, desempenham um papel importante nesse cenário ao oferecer recursos que vão além das buscas tradicionais baseadas em palavras-chave, permitindo uma compreensão semântica profunda do conteúdo.</p><p>O Azure AI Search se destaca como uma opção interessante devido à sua integração nativa com outras ferramentas da Azure, como o Azure OpenAI Service. Essa conectividade permite criar fluxos de trabalho completos que integram indexação, geração de embeddings, enriquecimento por IA e consultas avançadas em uma única plataforma. Além disso, sua escalabilidade e segurança proporcionam uma solução robusta para empresas de todos os tamanhos, garantindo confiabilidade em operações críticas.</p><p>O Azure AI Search capacita organizações a extrair insights de conjuntos de dados complexos e heterogêneos, consolidando informações relevantes de maneira ágil. Em um mundo onde a eficiência é chave para competitividade, essa ferramenta pode ser um aliado estratégico para empresas que buscam explorar todo o potencial dos seus dados.</p><p>Ainda tenho muito a descobrir sobre essa ferramenta, mas achei válido compartilhar um pouco do que aprendi até agora. Espero que essas informações possam ajudar outras pessoas a explorar o Azure AI Search e aproveitar todo o potencial que ele oferece.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c958b35e9157" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como o MLflow Pode Transformar a Estratégia de MLOps de uma Equipe de Ciência de Dados]]></title>
            <link>https://medium.com/@andre-almd/como-o-mlflow-pode-transformar-a-estrat%C3%A9gia-de-mlops-de-uma-equipe-de-ci%C3%AAncia-de-dados-fa2b7ae96f13?source=rss-9a59a98a75aa------2</link>
            <guid isPermaLink="false">https://medium.com/p/fa2b7ae96f13</guid>
            <category><![CDATA[mlflow]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[mlops]]></category>
            <dc:creator><![CDATA[André Almeida]]></dc:creator>
            <pubDate>Mon, 02 Dec 2024 13:47:38 GMT</pubDate>
            <atom:updated>2024-12-02T13:53:33.247Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Y7C1yek0UliViy8D" /><figcaption>Photo by <a href="https://unsplash.com/@mjessier?utm_source=medium&amp;utm_medium=referral">Myriam Jessier</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>Com o crescimento das operações de Machine Learning (MLOps), a gestão eficiente do ciclo de vida dos modelos se torna essencial para equipes de ciência de dados. Ferramentas como o MLflow se destacam por integrar rastreamento de experimentos, deploy de modelos e versionamento de dados. Este artigo explora como usar o MLflow para melhorar a produtividade e a organização em projetos de machine learning.</p><h4><strong>O que é o MLflow?</strong></h4><p>O <a href="https://mlflow.org/docs/latest/index.html"><strong>MLflow</strong></a> é uma plataforma <strong>open source</strong> que facilita a gestão do ciclo de vida de projetos de machine learning. Ele é composto por quatro componentes principais:</p><ol><li><strong>MLflow Tracking</strong>: Rastreamento de experimentos, métricas e parâmetros.</li><li><strong>MLflow Projects</strong>: Padronização de código para reprodutibilidade.</li><li><strong>MLflow Models</strong>: Empacotamento de modelos para deploy em diferentes plataformas.</li><li><strong>MLflow Registry</strong>: Registro centralizado para gerenciar o ciclo de vida dos modelos.</li></ol><p>Esses módulos fornecem uma infraestrutura robusta para organizar experimentos e garantir que os resultados sejam reproduzíveis e utilizáveis por toda a equipe.</p><h4>Principais Funcionalidades e Casos de Uso</h4><h4>1. Rastreando Experimentos com MLflow Tracking</h4><p>O rastreamento detalhado de execuções é fundamental para identificar o que funciona ou não durante o desenvolvimento de modelos. O <a href="https://mlflow.org/docs/latest/tracking.html">MLflow Tracking</a> permite:</p><ul><li>Registrar <strong>parâmetros</strong> (como taxas de aprendizado ou número de neurônios em uma camada).</li><li>Monitorar <strong>métricas</strong> de desempenho (ex: acurácia, RMSE).</li><li>Armazenar <strong>artefatos</strong> (modelos treinados, gráficos de treinamento, entre outros).</li></ul><pre>import mlflow<br><br>mlflow.set_experiment(&quot;nome_experimento&quot;)<br><br>with mlflow.start_run():<br>    mlflow.log_param(&quot;learning_rate&quot;, 0.01)<br>    mlflow.log_metric(&quot;accuracy&quot;, 0.85)<br>    mlflow.log_artifact(&quot;modelo.pkl&quot;)</pre><p>Além disso, o recurso <strong>autolog</strong> pode simplificar ainda mais o processo, registrando automaticamente todos os parâmetros e métricas relevantes.</p><h4>2. Versionamento e Reprodutibilidade com MLflow Projects</h4><p>Os <a href="https://mlflow.org/docs/latest/projects.html"><strong>Projects</strong></a> permitem empacotar o código do projeto em um formato padronizado que facilita sua reexecução. Ao trabalhar com times distribuídos, essa funcionalidade garante que todos possam replicar os resultados em qualquer ambiente.</p><h4>3. Deploy Simplificado com MLflow Models</h4><p>Com o <a href="https://mlflow.org/docs/latest/models.html"><strong>MLflow Models</strong></a>, modelos podem ser registrados e empacotados de forma padronizada, possibilitando o deploy em diferentes plataformas, como AWS, Azure, ou até em APIs locais.</p><ul><li><strong>Flavors</strong> suportados incluem Scikit-learn, TensorFlow, PyTorch, entre outros.</li><li><strong>Model Signatures</strong> permitem validar entradas do modelo, evitando erros em produção.</li></ul><p>Imagine que estamos treinando um modelo de regressão usando Scikit-learn para prever o preço de casas com base em características como área, número de quartos, e localização. Nosso modelo está armazenado no objeto <strong>model</strong>. Os dados de treino estão armazenados em <strong>X_train</strong>. Vamos registrar o modelo com assinatura (signature) e um exemplo de entrada (input example).</p><pre><br># Usando infer_signature para capturar os esquemas de entrada e saída<br>signature = infer_signature(X_train, model.predict(X_train))<br><br>with mlflow.start_run():<br>    # Logando o modelo com assinatura e exemplo de entrada<br>    # Exemplo de entrada com apenas uma linha<br>    input_example = X_train.head(1)<br><br>    mlflow.sklearn.log_model(<br>        sk_model=model,<br>        artifact_path=&quot;model&quot;,<br>        signature=signature,<br>        input_example=input_example,<br>    )<br><br>print(&quot;Modelo registrado com sucesso!&quot;)</pre><p>A função <strong>infer_signature</strong> cria uma assinatura baseada no esquema de entrada <strong>X_train</strong> e saída <strong>model.predict(X_train)</strong>, garantindo que o modelo só aceite dados no formato correto.</p><p>Um <strong>input_example</strong> é fornecido para ilustrar como os dados de entrada devem ser estruturados. Isso é útil para documentar o uso do modelo e para verificações futuras.</p><p>Com isso, O <strong>MLflow </strong>verifica se os dados fornecidos em produção possuem o esquema correto antes de fazer previsões. O exemplo de entrada ajuda a documentar os requisitos do modelo. Essa opção também ajuda a prevenir o uso de colunas incorretas ou tipos de dados inválidos, aumentando a robustez.</p><h4>4. Registro Centralizado com o MLflow Registry</h4><p>O <a href="https://mlflow.org/docs/latest/model-registry.html"><strong>MLflow Registry</strong></a> é uma ferramenta essencial para gerenciar o ciclo de vida completo dos modelos de machine learning. Ele permite registrar modelos, criar versões, acompanhar alterações e facilitar a transição de desenvolvimento para produção. Através do Registry, é possível centralizar a gestão de modelos, garantindo que toda a equipe de ciência de dados esteja alinhada.</p><h4>Benefícios do MLflow Registry</h4><ol><li><strong>Versionamento</strong>: Cada vez que um modelo é registrado com o mesmo nome, uma nova versão é criada automaticamente.</li><li><strong>Transparência</strong>: Histórico completo das mudanças realizadas em cada modelo.</li><li><strong>Facilidade de Produção</strong>: Integração direta com APIs e pipelines para deploy.</li></ol><p>Imagine que você quer registrar o modelo que foi logado no tópico anterior. Com o MLflow registry isso pode ser facilmente executado. No código abaixo há um exemplo de como fazer isso.</p><pre># Registrando o modelo no Registry<br>with mlflow.start_run() as run:<br>    # Logando o modelo<br>    model_uri = f&quot;runs:/{run.info.run_id}/model&quot;<br>    mlflow.sklearn.log_model(model, &quot;model&quot;)<br><br>    # Registrando no Registry<br>    registered_model_name = &quot;modelo_precificacao_imoveis&quot;<br>    result = mlflow.register_model(model_uri, registered_model_name)</pre><p>O modelo é primeiro logado como artefato em um <em>run</em> do MLflow <strong>mlflow.sklearn.log_model</strong>. A função <strong>mlflow.register_model()</strong> é usada para registrar o modelo no Registry. O parâmetro <strong>model_uri</strong> aponta para o modelo logado no run. A cada novo registro com o mesmo nome (<strong>registered_model_name</strong>), o <strong>MLflow</strong> cria uma nova versão. Isso facilita a gestão de modelos em diferentes estágios.</p><h3>Como o MLflow Transforma a Estratégia de MLOps?</h3><p>O MLflow vai além de ser apenas uma ferramenta para rastrear experimentos. Ele atua como um pilar central para implementar práticas sólidas de <strong>MLOps</strong>, promovendo colaboração, organização e eficiência em projetos de machine learning. Veja como o MLflow impacta diretamente as operações de equipes de ciência de dados:</p><h4>1. Transparência e Colaboração</h4><p>Um dos grandes desafios em projetos de machine learning é a falta de visibilidade sobre os experimentos realizados por diferentes membros da equipe. O MLflow resolve esse problema ao criar um repositório centralizado, onde todos podem:</p><ul><li><strong>Acessar os experimentos</strong>: Cada execução de modelo é registrada, com detalhes sobre parâmetros, métricas e artefatos. Isso significa que ninguém precisa “começar do zero” para entender o que foi feito.</li><li><strong>Visualizar comparações claras</strong>: A interface gráfica do MLflow permite comparar experimentos lado a lado, ajudando a identificar rapidamente o modelo mais promissor.</li><li><strong>Colaborar eficientemente</strong>: Cientistas de dados, engenheiros e analistas podem acessar e contribuir para os experimentos, mesmo em equipes distribuídas.</li></ul><h4>2. Eficiência Operacional</h4><p>Reproduzir experimentos mal documentados ou depurar problemas em pipelines de machine learning pode consumir muito tempo. Com o MLflow, esse tempo é drasticamente reduzido:</p><ul><li><strong>Rastreabilidade Completa</strong>: Cada experimento é registrado com parâmetros, métricas e artefatos, garantindo que os resultados possam ser replicados com facilidade.</li><li><strong>Automação com Auto-logging</strong>: Recursos como o auto-logging permitem que parâmetros e métricas sejam registrados automaticamente, reduzindo erros humanos e garantindo consistência.</li><li><strong>Gestão Unificada</strong>: Ao integrar o MLflow com ferramentas como DVC para versionamento de dados, é possível criar pipelines totalmente rastreáveis e reproduzíveis.</li></ul><h4>3. Escalabilidade e Produção</h4><p>Mover modelos de um ambiente de desenvolvimento para produção é frequentemente um gargalo em projetos de machine learning. O MLflow simplifica e acelera esse processo:</p><ul><li><strong>Registro e Deploy com Registry</strong>: O MLflow Registry centraliza o ciclo de vida dos modelos, permitindo fácil transição entre os estágios de desenvolvimento, validação e produção.</li><li><strong>Validação Automática com Signature</strong>: A funcionalidade de assinatura do MLflow verifica automaticamente se os dados de entrada estão no formato correto, reduzindo falhas em produção.</li><li><strong>Pipelines Automatizados</strong>: Ferramentas como o MLflow Projects facilitam a integração com ambientes de produção, como Docker ou plataformas em nuvem, garantindo reprodutibilidade.</li></ul><h3>Impacto Estratégico na Organização</h3><p>Ao adotar o MLflow, a transformação não ocorre apenas no nível técnico, mas também no gerencial. As equipes ganham previsibilidade e controle, enquanto os líderes obtêm maior clareza sobre o progresso dos projetos e retorno do investimento em ciência de dados.</p><ul><li><strong>Alinhamento Estratégico</strong>: Com experimentos bem rastreados e documentados, é mais fácil justificar escolhas e investimentos para stakeholders não técnicos.</li><li><strong>Entrega Consistente</strong>: A integração com MLOps garante que os modelos entreguem resultados consistentes e confiáveis, mesmo com mudanças nas equipes ou nos dados.</li></ul><p>O <strong>MLflow </strong>é mais do que uma ferramenta; é um facilitador para criar pipelines de machine learning robustos e colaborativos. Ele se integra perfeitamente às necessidades de <strong>MLOps</strong>, ajudando equipes de ciência de dados a entregar resultados melhores e mais consistentes.</p><p>Se você ainda não adotou o <strong>MLflow</strong>, este é o momento certo para explorar como ele pode beneficiar sua organização.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fa2b7ae96f13" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Utilizando o Data Version Control (DVC) em Projetos de Machine Learning]]></title>
            <link>https://medium.com/@andre-almd/utilizando-o-data-version-control-dvc-em-projetos-de-machine-learning-9db074d75c02?source=rss-9a59a98a75aa------2</link>
            <guid isPermaLink="false">https://medium.com/p/9db074d75c02</guid>
            <dc:creator><![CDATA[André Almeida]]></dc:creator>
            <pubDate>Tue, 20 Feb 2024 21:54:36 GMT</pubDate>
            <atom:updated>2024-02-20T23:17:06.292Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*vEdJ-dCjPT8vWuYE" /><figcaption>Photo by <a href="https://unsplash.com/@xoforoct?utm_source=medium&amp;utm_medium=referral">EJ Strat</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>O processo de desenvolvimento de modelos de machine learning é caracterizado por uma constante iteração e experimentação com dados e algoritmos. À medida que os projetos evoluem, gerenciar essas iterações torna-se cada vez mais desafiador. O <a href="https://dvc.org/doc">Data Version Control (DVC)</a> é uma ferramenta essencial que pode simplificar e aprimorar significativamente o gerenciamento de versões de dados e modelos em projetos de machine learning.</p><p><strong><em>¨DVC is a tool for data science that takes advantage of existing software engineering toolset. It helps machine learning teams manage large datasets, make projects reproducible, and collaborate better.¨</em></strong></p><h4>O que é o Data Version Control (DVC)?</h4><p>O DVC é uma ferramenta de código aberto que estende os recursos do Git para o gerenciamento de grandes arquivos de dados, modelos de machine learning e suas dependências. Ele permite que os cientistas de dados controlem e versionem não apenas o código-fonte, mas também conjuntos de dados e modelos treinados.</p><p>Em vez de armazenar os dados e modelos diretamente no repositório do Git, o DVC rastreia metadados e armazena referências para esses arquivos em um sistema de controle de versão baseado em Git. Isso mantém o repositório Git leve e permite que os usuários controlem e gerenciem grandes volumes de dados sem comprometer o desempenho do sistema.</p><p>Além de armazenar os dados e modelos localmente ou em servidores dedicados, outra opção viável é utilizar a nuvem como meio de armazenamento. O DVC suporta integração com diversos serviços de armazenamento em nuvem, como Amazon S3, Google Cloud Storage, Microsoft Azure Blob Storage, entre outros.</p><h3>Aplicações do DVC em Projetos de Machine Learning</h3><h4>Gerenciamento de Conjuntos de Dados</h4><p>Um dos principais desafios em projetos de machine learning é o gerenciamento de conjuntos de dados. Com o DVC, os cientistas de dados podem versionar conjuntos de dados de maneira eficiente, mantendo um histórico das alterações e garantindo a reprodutibilidade dos experimentos.</p><h4>Experimentação Reprodutível</h4><p>O DVC permite que os cientistas de dados registrem todos os passos do pipeline de machine learning, desde a preparação dos dados até a avaliação do modelo. Isso facilita a reprodução de experimentos anteriores e a comparação de resultados entre diferentes versões do modelo.</p><h4>Colaboração Eficiente</h4><p>O DVC facilita a colaboração entre membros da equipe, permitindo que vários cientistas de dados trabalhem em paralelo em diferentes partes do projeto. Como todos os artefatos do projeto são versionados, os membros da equipe podem compartilhar e revisar o trabalho uns dos outros de maneira eficiente.</p><h4>Implantação de Modelos</h4><p>Além de controlar e versionar modelos treinados, o DVC pode ser integrado a pipelines de implantação para automatizar o processo de entrega de modelos em produção. Isso ajuda a garantir que os modelos implantados correspondam exatamente às versões testadas e validadas durante o desenvolvimento.</p><h3>Dica Valiosa</h3><p>A Iterative, desenvolvedora do DVC, possui um <a href="https://learn.iterative.ai/">curso gratuito</a> e de excelente qualidade. O curso é abrangente e acessível e foi projetado para guiar os participantes através dos fundamentos do DVC, desde a configuração inicial até as práticas avançadas de gerenciamento de versões. Com uma abordagem prática, o curso capacita os alunos a dominarem o DVC e integrá-lo perfeitamente em seus fluxos de trabalho de machine learning.</p><h3>Exemplo Prático de Uso</h3><p>Neste <a href="https://github.com/andre-almd/dvc-test">repositório</a> do github apresento um exemplo simples de uso do DVC configurado com o AWS S3 como o meu repositório remoto de dados.</p><p>Neste exemplo eu construí um pipeline simples de ML, com 4 estágios, para a classificação do dataset Íris: <strong>data_load</strong>, <strong>data_preprocess</strong>, <strong>train</strong>, <strong>test</strong>. Cada estágio é responsável por uma etapa diferente e possui suas dependências e saídas de dados monitoradas pelo DVC.</p><p>Para mostrar esse rastreamento das execuções, treinei um modelo de SVM e especifiquei o hiper parâmetro de regularização ‘C’ do modelo como um parâmetro do DVC. Assim, podemos rastrear todos os resultados de cada experimento com configurações distintas.</p><p>A imagem a seguir apresenta os resultados dentro da extensão do DVC para o VS Code. Como métricas do modelo estou rastreando a <strong>acurácia </strong>e o <strong>recall</strong>. Podemos ver os diferentes resultados para cada experimento com a variação do ‘C’.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4nVWSoNq0XPTvwwYKlWLuA.png" /><figcaption>Resultados dos experimentos com DVC</figcaption></figure><p>Todas as informações relacionadas as versões dos arquivos ficam salvas no arquivo <strong>dvc.lock</strong>. É por meio desse arquivo que o Git consegue reastrear as versões dos dados e relacionar com as versões de código.</p><p><strong><em>A cada nova alteração gerada em um arquivo rastreado pelo DVC uma informação de hash é gravada no dvc.lock, sendo possível manter todo o histórico de alterações dos dados.</em></strong></p><p><strong>OBS: Neste projeto, o DVC está configurado localmente para usar o meu AWS S3 como repositório remoto. Esta configuração é definida no arquivo config do DVC. Se você tentar reproduzir o projeto sem alterar o arquivo config, não irá funcionar. Você pode alterá-lo para usar um repositório local ou o seu próprio S3. Mais informações </strong><a href="https://dvc.org/doc/command-reference/config"><strong>aqui</strong></a><strong>.</strong></p><p>Ao final, podemos ver também como os estágios se conectam por meio de grafo. O DVC representa cada pipeline internamente como um <strong>Directed Acyclic Graph (DAG)</strong>, onde os nós são estágios e as arestas são dependências.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/713/1*G-2PnU97yoYgEZEqkWwZhw.png" /><figcaption>Pipeline montado com DVC</figcaption></figure><h3>Conclusão</h3><p>O DVC é uma ferramenta poderosa para o gerenciamento de versões de dados e modelos em projetos de machine learning. Ao estender os recursos do Git para incluir grandes arquivos de dados e modelos treinados, o DVC simplifica o processo de desenvolvimento, tornando a colaboração mais eficiente e garantindo a reprodutibilidade dos experimentos. Para equipes de machine learning que buscam melhorar seu fluxo de trabalho e aumentar a confiabilidade de seus modelos, o DVC é uma escolha indispensável.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9db074d75c02" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Uma Análise de Sentimento de Tweets sobre o ChatGPT com PySpark, Kafka e Docker]]></title>
            <link>https://medium.com/@andre-almd/uma-an%C3%A1lise-de-sentimento-de-tweets-sobre-o-chatgpt-com-pyspark-kafka-e-docker-1a537e19de13?source=rss-9a59a98a75aa------2</link>
            <guid isPermaLink="false">https://medium.com/p/1a537e19de13</guid>
            <category><![CDATA[kafka]]></category>
            <category><![CDATA[twitter]]></category>
            <category><![CDATA[pyspark]]></category>
            <category><![CDATA[chatgpt]]></category>
            <category><![CDATA[docker]]></category>
            <dc:creator><![CDATA[André Almeida]]></dc:creator>
            <pubDate>Mon, 01 Jan 2024 14:09:17 GMT</pubDate>
            <atom:updated>2024-01-01T14:09:17.766Z</atom:updated>
            <content:encoded><![CDATA[<p>Em um mundo cada vez mais impulsionado pela inteligência artificial, o ChatGPT, oferecido pela OpenAI, emergiu como um sistema de conversação baseado em IA, conquistando a atenção do público desde seu lançamento no final de 2022. Nesse curto período, as percepções sobre o ChatGPT se dividiram, gerando opiniões divergentes.</p><p>Para alguns, o ChatGPT representa uma ferramenta útil para diversas atividades cotidianas, enquanto outros expressam preocupações sobre a substituição humana pela IA. Diante desse cenário, surge a pergunta: qual sentimento predomina nas redes sociais?</p><p>Neste artigo irei mostrar como responder a essa indagação. Através da análise de tweets relacionados ao ChatGPT, desenvolvi um processo analítico que permita identificar o sentimento predominante, especialmente no universo do Twitter. Será que os tweets refletem predominantemente sentimentos positivos, negativos ou neutros em relação ao ChatGPT? Para responder a essa pergunta, utilizei um conjunto poderoso de ferramentas e tecnologias, incluindo PySpark, Kafka e Docker, para proporcionar uma análise abrangente e em tempo real.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aBWVAoDkV0bG8rfcCjfrMA.png" /></figure><p>O projeto está disponível no meu <a href="https://github.com/andre-almd/Sentiment-Analysis-ChatGPT-Twitter">github</a>, com toda a descrição necessária para reprodução. Neste artigo vamos passar pelos principais pontos do projeto descrevendo as tecnologias utilizadas.</p><h4>Fonte de dados</h4><p>Para a fonte de dados deste projeto, foi necessário contornar as restrições da nova versão gratuita da API do Twitter, que não mais permite a conexão para streaming de dados. Diante desse desafio, optei por utilizar o conjunto de dados intitulado ‘<a href="https://www.kaggle.com/code/khalidryder777/comprehensive-analysis-of-500k-tweets-on-chatgpt"><strong>500k ChatGPT-related Tweets Jan-Mar 2023</strong></a>’, disponível no Kaggle. Este conjunto abrangente de tweets oferece uma representação significativa das interações online relacionadas ao ChatGPT durante o período em questão.</p><p><strong>Vale destacar que o projeto é altamente flexível e pode ser facilmente adaptado para incorporar a obtenção de dados em tempo real por meio da API paga do Twitter.</strong></p><p>A adaptação do projeto é viável e eficiente. Basta construir um novo módulo de conexão com o Twitter, específico para a coleta em tempo real, e integrá-lo aos scripts existentes do projeto que fazem uso do Apache Kafka. Dessa forma, é possível atender às necessidades de coleta de dados em tempo real, proporcionando uma solução robusta e adaptável para diferentes contextos de implementação.</p><h4>PySpark: Potencializando a Análise de Big Data</h4><p>Para lidar com grandes volumes de dados provenientes do Twitter, utilizei o PySpark, um framework Apache que facilita a análise de big data de maneira distribuída. Sua capacidade de processar dados em larga escala e sua integração perfeita com a linguagem Python tornam o PySpark a escolha ideal para extrair insights valiosos dos tweets coletados.</p><h4>Kafka: O Coração da Ingestão de Dados em Tempo Real</h4><p>A coleta eficiente de dados em tempo real é fundamental para este projeto. Utilizando o Apache Kafka, montei um sistema robusto de ingestão de dados, permitindo a captura contínua e a transmissão eficiente dos tweets relacionados ao ChatGPT em um tópico kafka.</p><p>Os dados puxados do dataset do twitter são enviados para o tópico kafka por um script que roda de forma iterativa. Do outro lado do sistema há outro script que se conecta ao mesmo tópico e lê os dados em tempo real pocessando-os com o PySpark.</p><p>A escalabilidade e a tolerância a falhas do Kafka garantem a confiabilidade do fluxo de dados, proporcionando uma base sólida para nossa análise de sentimentos.</p><h4>Docker: Facilitando a Implementação e Escalabilidade</h4><p>A containerização com Docker desempenha um papel crucial na implementação deste projeto. Ao encapsular o ambiente de execução e suas dependências em containers, é possível garantir a portabilidade e consistência em diferentes ambientes. Isso simplifica a implantação e facilita a escalabilidade, permitindo que a análise de sentimentos seja realizada de maneira eficiente e sem complicações.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*G0lAopW_fgz33MgTyZEOUw.png" /></figure><p>Ao unir essas tecnologias poderosas, este projeto se propõe a não apenas identificar os sentimentos predominantes nos tweets sobre o ChatGPT, mas também a oferecer uma abordagem ágil e escalável para a análise de sentimentos em tempo real. A convergência de PySpark, Kafka e Docker proporciona uma solução abrangente que reflete o estado da arte na análise de dados, oferecendo insights valiosos sobre a percepção do público em relação ao ChatGPT nas redes sociais.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*AtA050TifbmbJTVllgQzRg.gif" /></figure><h4>Entendendo cada script do projeto</h4><p><strong><em>create_kafka_topic.sh</em></strong><em>:</em> Este script em Bash foi desenvolvido para automatizar a configuração do tópico Kafka denominado “sentiment-analysis-twitter”. Utilizando Docker para interagir com o Kafka, o script realiza a criação do tópico com uma única partição e fator de replicação de 1. Após a criação, o script recupera e exibe detalhes sobre o tópico recém-criado, utilizando a opção — describe. O script pressupõe que o broker do Kafka está em execução em um contêiner Docker e se comunica com o serviço ZooKeeper no host e na porta especificados (zookeeper:2181).</p><p><strong><em>kafka_producer.py</em></strong><em>:</em> Este script em Python é responsável por ler tweets relacionados ao ChatGPT de um arquivo CSV, processar os dados e enviá-los para otópico Kafka. Utiliza o KafkaProducer para enviar a data e o conteúdo de cada tweet para o tópico especificado. O objetivo é alimentar um tópico Kafka com dados relevantes dos tweets para análises posteriores de sentimento.</p><p><strong><em>kafka_consumer.py</em></strong><em>:</em> Este script em Python integra o Apache Spark e o Kafka para realizar análise de sentimento em tempo real nos dados de streaming do Twitter. Define uma função de análise de sentimento utilizando o analisador VADER da NLTK, configura o Spark para ler e processar dados do Kafka e analisa continuamente os sentimentos, apresentando insights como contagem total de tweets, distribuição de classes de sentimentos e percentagens.</p><p><strong>Esses scripts formam uma cadeia coesa e eficiente para a ingestão, processamento e análise de dados, proporcionando uma base sólida para a compreensão dos sentimentos expressos nos tweets relacionados ao ChatGPT.</strong></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1a537e19de13" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Desvendando o Poder do Naive Bayes: Uma Jornada pela Simplicidade na Ciência de Dados]]></title>
            <link>https://medium.com/@andre-almd/desvendando-o-poder-do-naive-bayes-uma-jornada-pela-simplicidade-na-ci%C3%AAncia-de-dados-9b06e54e7543?source=rss-9a59a98a75aa------2</link>
            <guid isPermaLink="false">https://medium.com/p/9b06e54e7543</guid>
            <category><![CDATA[estatistica]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[naive-bayes]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[André Almeida]]></dc:creator>
            <pubDate>Sat, 09 Dec 2023 13:27:55 GMT</pubDate>
            <atom:updated>2023-12-09T13:27:55.967Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fBXJ-zye6PlZ_zNB9QDrMA.png" /></figure><p>No aprendizado de máquina, uma técnica que brilha pela sua simplicidade e eficácia é o Naive Bayes. Derivado do teorema de Bayes, que já falamos sobre neste post <a href="https://medium.com/@andre-almd/explorando-o-teorema-de-bayes-com-python-68189bab78b2">aqui</a>, o Naive Bayes é um método particularmente útil em problemas de classificação e análise de texto.</p><p>Neste artigo, exploraremos a essência do Naive Bayes, com foco no Gaussian Naive Bayes, desvendando sua equação fundamental e discutindo os cenários ideais para sua aplicação.</p><h4>Origens e Aplicações</h4><p>O Naive Bayes tem suas raízes no teorema de Bayes, nomeado em homenagem ao matemático Thomas Bayes. Este teorema é uma ferramenta poderosa para a atualização de probabilidades com base em novas evidências. Ao incorporar a ingenuidade (naive) de assumir independência entre os recursos, o Naive Bayes simplifica o cálculo, tornando-o adequado para grandes conjuntos de dados.</p><p>Na ciência de dados, o Naive Bayes é frequentemente utilizado em tarefas de classificação, como a categorização de e-mails como spam ou não spam, análise de sentimentos em textos ou diagnóstico médico. Sua aplicação abrange desde áreas tradicionais até inovações em inteligência artificial.</p><h4>Naive Bayes: Desmistificando a Equação</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*zd5QGr7SArp9jZ87" /><figcaption>Photo by <a href="https://unsplash.com/@mbaumi?utm_source=medium&amp;utm_medium=referral">Mika Baumeister</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>Os métodos de Naive Bayes são um conjunto de algoritmos de aprendizado supervisionado baseados na aplicação do teorema de Bayes com a “<strong>ingênua</strong>” suposição de <strong>independência condicional</strong> entre cada par de características, dada a variável de classe. A equação central é derivada do teorema de Bayes:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/420/1*H_xoiHyEZwy376pTs51SPg.png" /><figcaption>Equação (1)</figcaption></figure><p>onde:</p><ul><li><strong><em>P</em>(<em>y </em>∣ <em>x1</em>​,<em>x</em>2​,…,<em>xn</em>​)</strong> é a probabilidade condicional da classe <em>y</em> dado os recursos <em>x</em>1​,<em>x</em>2​,…,<em>xn</em>​.</li><li><strong><em>P</em>(<em>y</em>)</strong> é a probabilidade priori da classe <em>y</em>.</li><li><strong><em>P</em>(<em>xi</em>​ ∣ <em>y</em>)</strong> é a probabilidade condicional de um valor específico do recurso <em>xi</em>​ dado <em>y</em>.</li><li><strong><em>P</em>(<em>xi</em>​)</strong> é a probabilidade priori do recurso <em>xi</em>​.</li></ul><p>Na equação acima, <strong><em>P</em>(<em>x1</em>​,<em>x</em>2​,…,<em>xn</em>​)</strong> pode ser considerado constante dado que os valores de entrada não mudam. Logo a equação pode ser escrita da seguinte forma:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/382/1*CcmT9zGptgK02EW4gNsvVw.png" /><figcaption>Equação (2)</figcaption></figure><p>Podemos então usar a <strong>Estimação Máxima a Posteriori (MAP)</strong> para estimar <strong><em>P</em>(y)</strong> e <strong><em>P</em>(xi ∣ <em>y</em>​)</strong>; o primeiro é então a <strong>frequência relativa da classe y</strong>​ no conjunto de treinamento. Falaremos mais sobre eles a seguir.</p><h4>Aplicando o Naive Bayes:</h4><p>Para tornar isso mais tangível, vamos considerar um exemplo simples. Suponha que queremos classificar e-mails como spam ou não spam com base em duas características: a presença da palavra “<strong>oferta</strong>” e o <strong>número de vezes que um ponto de exclamação é usado</strong>. Aqui, <strong><em>y</em></strong> representa a classe (spam ou não spam), <strong><em>x</em>1</strong>​ é a presença da palavra “oferta”, e <strong><em>x</em>2</strong>​ é o número de exclamações.</p><p>Suponhamos que temos um <strong>conjunto de treinamento</strong> com os seguintes dados fictícios:</p><p><strong>Spam (y=1):</strong></p><ul><li><em>x</em>1​: Presente</li><li><em>x</em>2​: Média de 5 exclamações</li></ul><p><strong>Não Spam (y=0):</strong></p><ul><li><em>x</em>1​: Ausente</li><li><em>x</em>2​: Média de 1 exclamação</li></ul><p>Agora, recebemos um novo e-mail de <strong>teste</strong> com as características:</p><ul><li><em>x</em>1​: Presente</li><li><em>x</em>2​: 4 exclamações</li></ul><p>Vamos calcular a probabilidade condicional para as classes <strong><em>y</em>=0 (não spam)</strong> e <strong><em>y</em>=1 (spam)</strong> usando a equação do Gaussian Naive Bayes.</p><p><strong><em>P</em>(<em>y</em>=0 ∣ <em>x</em>1​,<em>x</em>2​) ∝ <em>P</em>(<em>y</em>=0) ⋅ <em>P</em>(<em>x</em>1​=Presente ∣ <em>y</em>=0) ⋅ <em>P</em>(<em>x</em>2​=4 ∣ <em>y</em>=0)</strong></p><p><strong><em>P</em>(<em>y</em>=1 ∣ <em>x</em>1​,<em>x</em>2​) ∝ <em>P</em>(<em>y</em>=1) ⋅ <em>P</em>(<em>x</em>1​=Presente ∣ <em>y</em>=1) ⋅ <em>P</em>(<em>x</em>2​=4 ∣ <em>y</em>=1)</strong></p><p>Para realizar a classificação, comparamos as probabilidades calculadas e atribuímos o e-mail à classe com a probabilidade mais alta. Neste caso, se <em>P</em>(<em>y</em>=1 ∣ <em>x</em>1​,<em>x</em>2​) &gt; <em>P</em>(<em>y</em>=0 ∣ <em>x</em>1​,<em>x</em>2​), classificamos o e-mail como spam; caso contrário, como não spam.</p><p>Este exemplo ilustra como o Naive Bayes pode ser aplicado a dados numéricos para realizar tarefas de classificação de forma eficaz, mesmo com suposições ingênuas sobre a independência dos recursos.</p><h4>Gaussian Naive Bayes</h4><p>Dentre as variantes do Naive Bayes, o <strong>Gaussian Naive Bayes</strong> se destaca quando lidamos com dados contínuos e assumimos que cada recurso segue uma distribuição normal (Gaussiana).</p><p>Aqui, analisamos a verossimilhança (<strong>Likelihood</strong>) de um valor específico de uma característica, assumindo que conhecemos a classe à qual a observação pertence.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/431/1*iNttfK8zDK7vQGeGdVvlVQ.png" /><figcaption>Equação (3)</figcaption></figure><p>Observe a imagem a seguir. Imagine um recurso (atributo) em que os dados iniciais possuem as distribuições apresentadas para as duas classes. Considerando um valor xi = 4, temos um Likelihood de 0 para a classe 2, e um Likelihood de aproximadamente 0.05 para a classe 1.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1010/1*gdjzRoj90TwrLay95nODRQ.png" /></figure><p>O Gaussian Naive Bayes é mais eficaz quando lidamos com dados contínuos e assumimos distribuição normal. Portanto, é particularmente útil em problemas nos quais os recursos podem ser modelados dessa maneira, como medições físicas, pontuações ou contagens.</p><h4>Aplicando Gaussian Naive Bayes ao Conjunto de Dados Iris com Scikit-Learn</h4><p>Vamos agora exemplificar a aplicação do Gaussian Naive Bayes usando Python e a biblioteca Scikit-Learn. Utilizaremos o conjunto de dados Iris, que contém medidas de pétalas e sépalas de três espécies de flores.</p><p>O conjunto de dados Iris é um conjunto clássico na área de aprendizado de máquina e estatística, amplamente utilizado para fins de treinamento e demonstração. Ele foi introduzido por Sir Ronald A. Fisher em 1936 e consiste em medidas de pétalas e sépalas de três espécies diferentes de flores do gênero Iris.</p><p>As três espécies (classes) presentes no conjunto de dados Iris são: <strong>Setosa</strong>, <strong>Versicolor </strong>e <strong>Virginica</strong></p><p>Cada flor é caracterizada por quatro recursos (atributos): Comprimento da sépala, Largura da sépala, Comprimento da pétala e Largura da pétala.</p><p>Devido à sua simplicidade e estrutura bem definida, o conjunto de dados Iris é uma excelente escolha para demonstrar conceitos e técnicas em aprendizado de máquina. Vamos treinar um modelo Gaussian Naive Bayes para predizer a espécie da flor Iris.</p><p>O objetivo aqui é simplesmente treinar um modelo mais simples possível com o algoritmo do Naive Bayes.</p><pre># Importando bibliotecas necessárias<br>from sklearn.model_selection import train_test_split<br>from sklearn.naive_bayes import GaussianNB<br>from sklearn.metrics import accuracy_score, classification_report<br>from sklearn.datasets import load_iris<br><br># Carregando o conjunto de dados Iris<br>iris = load_iris()<br>X = iris.data<br>y = iris.target<br><br># Dividindo o conjunto de dados em treino e teste<br>X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)<br><br># Inicializando o modelo Gaussian Naive Bayes<br>gnb = GaussianNB()<br><br># Treinando o modelo<br>gnb.fit(X_train, y_train)<br><br># Realizando predições no conjunto de teste<br>y_pred = gnb.predict(X_test)<br><br># Avaliando o desempenho do modelo<br>accuracy = accuracy_score(y_test, y_pred)<br><br># Imprimindo resultados<br>print(f&#39;Acurácia do modelo:\n{accuracy:.2f}\n&#39;)<br>print(f&quot;Quantidade de amostras por classe:\n{gnb.class_count_}\n&quot;)<br>print(f&quot;Probabilidade de cada classe:\n{gnb.class_prior_}\n&quot;)<br>print(f&quot;Variância de cada recurso (feature) por classe:\n{gnb.var_}\n&quot;)<br>print(f&quot;Média de cada recurso (feature) por classe:\n{gnb.theta_}&quot;)</pre><p>Para este exemplo temos a seguinte saída:</p><pre>Acurácia do modelo:<br>0.98<br><br>Quantidade de amostras por classe:<br>[31. 37. 37.]<br><br>Probabilidade de cada classe:<br>[0.2952381  0.35238095 0.35238095]<br><br>Variância de cada recurso (feature) por classe:<br>[[0.1119667  0.13658689 0.03325703 0.01152966]<br> [0.27532506 0.08724617 0.23934259 0.04134405]<br> [0.42241052 0.09630387 0.28842951 0.08591673]]<br><br>Média de cada recurso (feature) por classe:<br>[[4.96451613 3.37741935 1.46451613 0.2483871 ]<br> [5.86216216 2.72432432 4.21081081 1.3027027 ]<br> [6.55945946 2.98648649 5.54594595 2.00540541]]</pre><p>Um modelo com 98% de acurácia.</p><p><strong>Mas nosso objetivo aqui é olhar outra coisa. A probabilidade de cada classe P(y) e a variância e média de cada recurso por classe.</strong></p><p>A probabilidade P(y) é calculada dividindo a quantidade de amostras de cada classe pelo total de amostras.</p><p>O algoritmo do Naive Bayes no Scikit-Learn usa os dados de variância e média dos dados de treino para calcular a probabilidade condicional de cada atributo para cada classe usando a equação 3 apresentada nesse artigo.</p><p>Na implementação do Scikit-Learn, a equação geral do teorema de Bayes é usada com a premissa de distribuição normal para calcular <em>P</em>(<em>xi </em>​∣ <em>y</em>) para cada recurso <em>xi</em>​ e classe <em>y</em>.</p><p>Aprendemos como é calculado P(y) e P(xi | y). Logo, é possível calcular P(y | x1,x2,…xn) e definir qual tem a maior probabilidade!</p><h4>Conclusão</h4><p>O Naive Bayes destaca-se pela sua simplicidade e eficácia. O Gaussian Naive Bayes, ao incorporar a distribuição normal, oferece uma abordagem elegante para problemas de classificação com dados contínuos. Seu desempenho sólido e requisitos computacionais modestos faz com que ele seja uma escolha valiosa em várias situações.</p><p>Ao empregar o Naive Bayes, os cientistas de dados podem realizar análises preditivas com relativa facilidade, obtendo resultados rápidos e interpretações claras. Em um campo tão dinâmico quanto a ciência de dados, o Naive Bayes destaca-se como uma ferramenta confiável e poderosa, lembrando-nos de que, muitas vezes, a simplicidade é a chave para a compreensão e o sucesso.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9b06e54e7543" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Explorando o Teorema de Bayes com Python]]></title>
            <link>https://medium.com/@andre-almd/explorando-o-teorema-de-bayes-com-python-68189bab78b2?source=rss-9a59a98a75aa------2</link>
            <guid isPermaLink="false">https://medium.com/p/68189bab78b2</guid>
            <category><![CDATA[statistics]]></category>
            <category><![CDATA[teorema-de-bayes]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[probability]]></category>
            <category><![CDATA[bayes-theorem]]></category>
            <dc:creator><![CDATA[André Almeida]]></dc:creator>
            <pubDate>Fri, 08 Dec 2023 18:16:30 GMT</pubDate>
            <atom:updated>2023-12-09T13:30:48.591Z</atom:updated>
            <content:encoded><![CDATA[<h4>Uma Abordagem Técnica e fácil de entender com Python</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Aofs_eQakY0Va90W" /><figcaption>Photo by <a href="https://unsplash.com/@benwhitephotography?utm_source=medium&amp;utm_medium=referral">Ben White</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>A Estatística Bayesiana, uma abordagem inovadora na teoria da probabilidade, tem suas raízes fundamentais no Teorema de Bayes. Desenvolvida no século XVIII pelo reverendo Thomas Bayes, essa teoria estabeleceu as bases para uma interpretação mais dinâmica e adaptável da probabilidade, proporcionando uma estrutura única para atualizar crenças com base em novas evidências.</p><p>A Estatística Bayesiana difere da abordagem tradicional ao incorporar informações a priori, ou seja, crenças prévias sobre um evento antes de observar novos dados. O Teorema de Bayes é a pedra angular dessa abordagem, fornecendo um método sistemático para atualizar probabilidades com base em novas evidências.</p><p>Por exemplo, ao considerar o diagnóstico médico, podemos inicialmente ter uma probabilidade a priori de um paciente estar doente. À medida que novos dados, como resultados de exames laboratoriais, se tornam disponíveis, o Teorema de Bayes nos permite ajustar essa probabilidade, oferecendo uma visão mais precisa e dinâmica sobre a condição do paciente. Esse processo contínuo de atualização é fundamental para uma abordagem mais informada em uma variedade de contextos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Qy8dYjfjYcVYFFMf" /><figcaption>Photo by <a href="https://unsplash.com/@accuray?utm_source=medium&amp;utm_medium=referral">Accuray</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><h4>Fundamentos do Teorema de Bayes na Estatística Bayesiana</h4><p>A fórmula do Teorema de Bayes, central para a Estatística Bayesiana, é expressa por:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/246/1*bKe6ekmyWpNeKD1WlpCY4Q.png" /></figure><p>onde:</p><ul><li><em>P</em>(<em>A</em>∣<em>B</em>) é a probabilidade condicional de A dado B.</li><li><em>P</em>(<em>B</em>∣<em>A</em>) é a probabilidade condicional de B dado A.</li><li><em>P</em>(<em>A</em>) e <em>P</em>(<em>B</em>) são as probabilidades marginais de A e B, respectivamente.</li></ul><p>Essa fórmula encapsula a essência da Estatística Bayesiana, permitindo a incorporação contínua de informações, refinando nossas crenças à medida que novos dados emergem.</p><h4>Vamos para um exemplo prático</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*bC7Fpo0VsvaZlDpu" /><figcaption>Photo by <a href="https://unsplash.com/@edge2edgemedia?utm_source=medium&amp;utm_medium=referral">Edge2Edge Media</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>Suponhamos que estamos avaliando a probabilidade de um paciente estar doente dado que um teste específico é positivo. Definimos:</p><ul><li><em>A</em>: O paciente está realmente doente.</li><li><em>B</em>: O teste é positivo para a doença.</li></ul><p><strong>Probabilidades Iniciais:</strong></p><p><strong><em>P</em>(<em>A</em>)</strong>: Probabilidade inicial de um paciente estar doente, digamos <em>P</em>(<em>A</em>) = <strong>0.05</strong> (5% de chance).</p><p><strong>Probabilidade Condicional:</strong></p><p><strong><em>P</em>(<em>B</em>∣<em>A</em>)</strong>: Probabilidade de um teste ser positivo dado que o paciente está doente, por exemplo, <em>P</em>(<em>B</em>∣<em>A</em>) = <strong>0.8</strong> (80% de chance).</p><p><strong>Probabilidade Geral de um Teste Ser Positivo:</strong></p><p><strong>P(B)</strong>: Usamos a fórmula de <strong>probabilidade total</strong> para calcular a probabilidade geral de um teste ser positivo.</p><p>A probabilidade total é um conceito fundamental em probabilidade que nos ajuda a calcular a chance de um evento ocorrer, levando em consideração diferentes cenários ou causas possíveis.</p><p>No contexto do teste médico, podemos ter duas causas para um teste ser positivo: o paciente está doente (A), ou o paciente não está doente (¬<em>A).</em></p><p>A fórmula da probabilidade total leva em conta ambas as possibilidades:</p><p><strong><em>P</em>(<em>B</em>) = <em>P</em>(<em>B</em>∣<em>A</em>) ⋅ <em>P</em>(<em>A</em>) + <em>P</em>(<em>B</em>∣¬<em>A</em>) ⋅ <em>P</em>(¬<em>A</em>) = <em>P</em>(<em>B</em>∣<em>A</em>) ⋅ <em>P</em>(<em>A</em>) + <em>P</em>(<em>B</em>∣¬<em>A</em>) ⋅ (1 - <em>P</em>(<em>A</em>))</strong></p><p>onde:</p><ul><li><em>P</em>(<em>B</em>∣<em>A</em>) é a probabilidade de um teste ser positivo, dado que o paciente está doente.</li><li><em>P</em>(<em>A</em>) é a probabilidade de o paciente estar doente.</li><li><em>P</em>(<em>B</em>∣¬<em>A</em>) é a probabilidade de um teste ser positivo, dado que o paciente não está doente.</li><li><em>P</em>(¬<em>A</em>) é a probabilidade de não estar doente, 1−<em>P</em>(<em>A</em>).</li></ul><p>Essencialmente, a fórmula considera todas as maneiras possíveis pelas quais o teste pode ser positivo (o paciente está doente ou não está doente) e combina essas probabilidades ponderadas pelas chances iniciais de cada cenário.</p><p>Para nosso exemplo, consideramos:</p><ul><li>P(B/A) = 0.8</li><li><em>P</em>(<em>B</em>∣¬<em>A</em>) = 0.02</li></ul><p>Logo,</p><p>P(B) = 0.8 * 0.05 + 0.02 * (1-0.05) = <strong>0.059</strong></p><p>Calculando <em>P</em>(<em>A</em>∣<em>B</em>):</p><p>P(A/B) = (<em>P</em>(<em>B</em>∣<em>A</em>) * <em>P</em>(<em>A</em>)) / (<em>P</em>(<em>B</em>)) = (0.8 * 0.05) / (0.059)</p><p>P(A/B) = <strong>0.67797</strong></p><h4><strong>Usando Python para aplicar o Teorema de Bayes</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*kFPSymqni4wgDmv5" /><figcaption>Photo by <a href="https://unsplash.com/@jstrippa?utm_source=medium&amp;utm_medium=referral">James Harrison</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>A função abaixo aplica o teorema de bayes e calcula P(A/B) usando a probabilidade incial e as probabilidades condicionais:</p><pre>def teorema_de_bayes(prob_A: float,<br>                     prob_B_dado_A: float,<br>                     prob_B_dado_nao_A: float) -&gt; float:<br>    &quot;&quot;&quot;<br>    Calcula a probabilidade condicional usando o Teorema de Bayes.<br><br>    Parameters:<br>    - prob_A (float): Probabilidade de A.<br>    - prob_B_dado_A (float): Probabilidade de B dado A.<br>    - prob_B_dado_nao_A (float): Probabilidade de B dado não A.<br><br>    Returns:<br>    - prob_A_dado_B (float): Probabilidade condicional de A dado B.<br>    &quot;&quot;&quot;<br>    prob_nao_A = 1 - prob_A<br>    prob_B = (prob_B_dado_A * prob_A) + (prob_B_dado_nao_A * prob_nao_A)<br><br>    prob_A_dado_B = (prob_B_dado_A * prob_A) / prob_B<br><br>    return prob_A_dado_B</pre><p>Para usar a função podemos usar o seguinte código abaixo:</p><pre># Probabilidades iniciais<br>probabilidade_doente = 0.05<br><br># Probabilidade de um teste ser positivo dado que o paciente está doente<br>probabilidade_teste_positivo_dado_doente = 0.8<br><br># Probabilidade de um teste ser positivo dado que o paciente não está doente<br>probabilidade_teste_positivo_dado_nao_doente = 0.02<br><br># Chama a função para calcular P(A|B)<br>resultado = teorema_de_bayes(probabilidade_doente,<br>                             probabilidade_teste_positivo_dado_doente,<br>                             probabilidade_teste_positivo_dado_nao_doente)<br><br>print(f&quot;A probabilidade de o paciente estar doente, dado um teste positivo, é: {resultado:.2%}&quot;)</pre><h4>Aplicação do teorema no contexto do <strong>marketing</strong></h4><p>Uma empresa de comércio eletrônico está lançando um novo produto e deseja entender a probabilidade de um cliente estar interessado no produto, dada a interação com seus anúncios online. A empresa possui conhecimentos prévios baseados em pesquisas de mercado e análises de comportamento do cliente.</p><p>A empresa sabe que:</p><p>10% dos Clientes São Naturalmente Interessados no Produto: A empresa estima que, de maneira geral, aproximadamente 10% dos clientes têm um interesse intrínseco no novo produto. Isso é uma avaliação inicial antes de considerar qualquer interação com os anúncios.</p><p>80% dos Clientes Interessados Clicam nos Anúncios: Entre os clientes que já têm interesse no produto, a empresa observa que uma proporção significativa, cerca de 80%, tende a clicar nos anúncios quando expostos a eles.</p><p>5% dos Clientes Não Interessados Clicam nos Anúncios: Mesmo entre os clientes que inicialmente não mostram interesse no produto, a empresa observou que uma pequena porcentagem, aproximadamente 5%, ainda decide clicar nos anúncios.</p><p>Agora ficou fácil. Podemos entender do problema que:</p><ul><li>P(A): Cliente possui interesse no produto</li><li>P(B): Cliente clicou no anúncio</li></ul><p>Assim:</p><ul><li>P(A) = 0.10 (10%)</li><li><em>P</em>(<em>B</em>∣<em>A</em>) = 0.8 (80%)</li><li><em>P</em>(<em>B</em>∣¬<em>A</em>) = 0.05 (5%)</li></ul><p>Com a nossa equação em python fica fácil fazer o cálculo:</p><pre># Probabilidades iniciais e condicionais<br>prob_interessado = 0.1<br>prob_clicou_interessado = 0.8<br>prob_clicou_nao_interessado = 0.05<br><br># Chama a função para calcular P(Interessado|Clicou)<br>resultado = teorema_de_bayes(prob_interessado, prob_clicou_interessado, prob_clicou_nao_interessado)<br><br>print(f&quot;A probabilidade de um cliente estar interessado, dado que clicou no anúncio, é: {resultado:.2%}&quot;)</pre><p>Execute o código python para testar e veja o resultado! :)</p><h4>Conclusão</h4><p>Em síntese, a exploração do Teorema de Bayes com Python oferece uma abordagem técnica e acessível para a Estatística Bayesiana. Ao fornecer uma estrutura dinâmica para atualizar crenças com base em novas evidências, o Teorema de Bayes destaca-se como uma ferramenta poderosa em áreas diversas, desde diagnósticos médicos até estratégias de marketing. Sua aplicação prática em Python, exemplificada em cenários médicos e de marketing, ilustra a versatilidade e utilidade dessa abordagem estatística, capacitando profissionais a tomar decisões mais informadas e precisas.</p><p>No próximo <a href="https://medium.com/@andre-almd/desvendando-o-poder-do-naive-bayes-uma-jornada-pela-simplicidade-na-ci%C3%AAncia-de-dados-9b06e54e7543">post</a> falaremos sobre o Naive Bayes, uma técnica de Machine Learning derivada do Teorema de Bayes.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=68189bab78b2" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Análie Exploratória de Dados Socioeconômicos]]></title>
            <link>https://medium.com/@andre-almd/an%C3%A1lie-explorat%C3%B3ria-de-dados-socioecon%C3%B4micos-7db36310f46f?source=rss-9a59a98a75aa------2</link>
            <guid isPermaLink="false">https://medium.com/p/7db36310f46f</guid>
            <category><![CDATA[socioeconomic]]></category>
            <category><![CDATA[exploratory-data-analysis]]></category>
            <category><![CDATA[world-happiness-report]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[André Almeida]]></dc:creator>
            <pubDate>Sun, 07 May 2023 00:48:36 GMT</pubDate>
            <atom:updated>2023-05-07T00:48:36.438Z</atom:updated>
            <content:encoded><![CDATA[<p>Compreender a análise de dados socioeconômicos é essencial para que empresas possam entender o ambiente de negócios em que estão inseridas. Isso inclui a compreensão das diferenças entre regiões, cidades e países, bem como o impacto de diversos indicadores nas decisões de negócio. A análise de dados também permite que as empresas identifiquem como as mudanças no cenário econômico e social podem afetar suas estratégias corporativas.</p><p>Neste mini-projeto são aplicadas técnicas de análise exploratória em dados<br>socioeconômicos reais disponíveis no World Happines Report (WHR) 2023.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*fC_shhu1018EI53R" /><figcaption>Photo by <a href="https://unsplash.com/@cooljonez?utm_source=medium&amp;utm_medium=referral">D Jonez</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>O World Happiness Report é um estudo anual que avalia a felicidade dos habitantes de diversos países ao redor do mundo. Ele analisa o estado de felicidade no mundo hoje e mostra como a ciência da felicidade explica as variações pessoais e nacionais na felicidade.</p><p>Para gerar as tabelas e os índices de felicidade do World Happiness Report, os pesquisadores coletam dados de diversas fontes, incluindo pesquisas de opinião realizadas em cada país participante, além de informações estatísticas e demográficas. Entre os dados utilizados estão o Produto Interno Bruto per capita, a expectativa de vida, a liberdade de escolha, a generosidade, a corrupção, entre outros.</p><p>Informações completas sobre o WHR podem ser encontradas no <a href="https://worldhappiness.report/">site oficial do relatório</a>.</p><p>Dos dados utilizados no projeto temos:</p><ul><li><strong>Country name</strong>: Nome do país;</li><li><strong>year</strong>: Ano da pesquisa;</li><li><strong>Life Ladder</strong>: Esse indicador é uma medida subjetiva de bem-estar que se baseia na percepção que as pessoas têm de sua própria vida. Indica o nível de felicidade médio do país de 0 a 10;</li><li><strong>GDP per capita</strong>: Produto Interno Bruto -&gt; O PIB per capita fornece informações sobre o tamanho da economia e como está a economia;</li><li><strong>Social support</strong>: Apoio social, ou ter com quem contar em momentos de dificuldade;</li><li><strong>Healthy Life Expectancy</strong>: Indicador de expectativa de vida ao nascer;</li><li><strong>Freedom to make Life Choices</strong>: Índice de liberdade para fazer suas próprias escolhas;</li><li><strong>Generosity</strong>: Índice de generosidade. Um marcador claro para um senso de envolvimento positivo da comunidade e uma maneira central de os humanos se conectarem uns com os outros;</li><li><strong>Perception of Corruption</strong>: As pessoas confiam em seus governos e confiam na benevolência de outros? Esse é um índice de percepção de corrupção no país;</li><li><strong>Positive affect</strong>: Índice que representa os estados mentais e emocionais positivos experimentados por uma pessoa em um período específico de tempo;</li><li><strong>Negative affect</strong>: Índice que representa os estados mentais e emocionais negativos experimentados por uma pessoa em um período específico de tempo.</li></ul><h3>Perguntas de negócio</h3><p>Para este mini projeto, 5 perguntas de negócio serão respondidas:</p><ol><li>O aumento do PIB per capita de um país afeta positivamente a expectativa de vida dos cidadãos ao nascer? Qual a correlação entre essas duas variáveis?</li><li>Existe uma correlação entre a escala de vida e a conscientização do público em geral sobre a corrupção nos negócios e no governo? Qual a correlação entre essas duas variáveis?</li><li>O aumento na escala de vida tem algum efeito na média de felicidade entre o público em geral? Qual a correlação entre essas duas variáveis?</li><li>O país com o menor índice de suporte social tem maior percepção de corrupção em relação às empresas e ao governo no país?</li><li>Pessoas generosas são mais felizes?</li></ol><h3>Análise Exploratória</h3><p>O primeiro passo é carregar o dataset e verificar as informações gerais.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/548/1*oW_a-TKu8mUmoS1-4aUtCQ.png" /><figcaption>dataset info</figcaption></figure><p>Com as primeiras informações observadas é verificado que os dados foram caregados sem problemas. Existem 166 países no dataset e 2199 registros. As colunas <strong>Country name</strong>, <strong>year</strong> e <strong>Life Ladder</strong> não possuem dados faltantes e os tipos dos atributos estão de acordo com o dado, sem necessidade de ajustes.</p><p>O próximo passa é verificar quantos dados faltantes existem e como eles podem interferir na análise.</p><p>Existem 241 registros com dados faltantes, dos quais estão relacionados a 9 países: China, Cuba, Hong Kong S.A.R. of China, Kosovo, Maldives, Oman, Somaliland region, South Sudan, Turkmenistan.</p><p>Com a análise acima é verificado que a maioria dos países com dados faltantes possuem regimes políticos não tão confiáveis, o que justifica a falta de alguns dados. Logo, esses países serão desconsiderados da análise.</p><p>A pesquisa é realizada desde 2005, porém há uma variação na quantidade de países em cada ano:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/172/1*ap0vU0-Jn9_veXG4VneQkQ.png" /><figcaption>Quantidade de países pesquisados por ano</figcaption></figure><p>Assim, os anos com menos de 100 países pesquisados serão desconsiderados na análise.</p><p>A última etapa de transformação dos dados é calcular a média de cada índice por país ao longo dos anos. Esta é uma forma interessante de sumarizar as informações, já que a informação de tempo não é tão relevante para as perguntas de negócio propostas.</p><p>O nosso dataset para análises tem a seguinte configuração:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BEQY3wO3JDzZ2j5qV_6A3Q.png" /><figcaption>dataset processado</figcaption></figure><p><strong>O dataset final possui 155 países, onde cada informação é a média dos dados pesquisados de 2008 até 2022.</strong></p><p>A distribuição dos dados é apresentada nos gráficos de histograma, na imagem abaixo. Analisando visualmente parece não haver nenhum valor que esteja isolado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0l5IHmFbSOB3tHFOIy3vCg.png" /><figcaption>Histograma dos dados</figcaption></figure><p>Com os gráficos de boxplot a distribuição de cada atributo pode ser melhor observada. Com ele alguns pontos interessante foram observado para alguns índices:</p><p><strong>Social Support</strong></p><p>Os países com suporte social abaixo de 0.5 são da África: Benin, Burundi, Central African Republic e Togo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/577/1*HNVQ72bMS07vqaVh95eJ-Q.png" /><figcaption>boxplot do suporte social</figcaption></figure><p><strong>Healthy life expectancy at birth</strong></p><p>Países com expectativa de vida inferior a 45 anos são: Haiti, Lesotho e Central African Republic.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/572/1*7UNtF51wJ-Z57Oe2HCobfA.png" /><figcaption>boxplot da expectativa de vida</figcaption></figure><p><strong>Generosity</strong></p><p>A maioria dos países com um índice maior de generosidade são pequenos países da Ásia e o Reino Unido.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/589/1*7scFwDhg4KbuccSfTD00zw.png" /><figcaption>boxplot da generosidade</figcaption></figure><p><strong>Perceptions of corruption</strong></p><p>A maioria dos países com menor índice de percepção de corrupção (Denmark, Finland, Luxembourg, New Zealand, Norway, Qatar, Rwanda, Singapore, Sweden, Switzerland, United Arab Emirates) estão entre os 10 mais felizes.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/577/1*xO1VOdHK_g3VLFf4eGcAJA.png" /><figcaption>boxplot da percepção de corrupção</figcaption></figure><p><strong>Os 10 países mais felizes são</strong>:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PzKYp9lEKunZrSdCe8LzJg.png" /><figcaption>10 países mais felizes</figcaption></figure><h3>E as perguntas de negócios???</h3><p>Vamos respondê-las agora!</p><p>Com o gráfico de scatterplot é possível ver uma correlação positiva entre o PIB e a expectativa de vida.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1006/1*rFzXs-5Ms-Nr2OzMy4tXcg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/649/1*jg_csdqX-VQxw8LfPl2oGg.png" /></figure><p>Com o teste de hipótese de Spearman é possível responder à <strong>pergunta 1</strong>, com <strong>95% de confiança</strong>, que há uma <strong>correlação positiva forte de 0.85</strong> entre o PIB per capita de um país e a expectativa de vida dos cidadãos ao nascer.</p><p>Com as análises gráficas e de boxplot, também é possível afirmar que os três pontos mais inferiores na taxa de expectativa de vida, abaixo de 40, são Haiti, Lesotho e Central African Republic.</p><p>Para a <strong>Pergunta 2</strong> também foi usado um gráfico de scatterplot e o teste de spearman:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1011/1*jFbu5595bO_PWb3-Kd300A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/649/1*_ylq2Zkn_vA2SJRF8tdlGQ.png" /></figure><p>Pode-se afirmar, com <strong>95% de confiança</strong>, que <strong>há uma correlação negativa de 0.28</strong> entre a escala de vida de um país e a percepção de corrupção de um país. Isso faz sentido já que países mais felizes geralmente são os mais desenvolvidos, e quando um país é mais desenvolvido o nível de corrupção tende a ser menor.</p><p>Para a <strong>Pergunta 3</strong>, os resultam mostram que há uma <strong>correlação positiva de 0.53</strong> entre a escala de vida de um país e a o nível de felicidade do público em geral, com <strong>95% de confiança</strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1020/1*9T01Dd8kpU2lECxKiNCiFw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/649/1*DTm4R9ckNYTHCR6HMFNC7w.png" /></figure><p>A análise da <strong>pergunta 4</strong> é um pouco diferente, sem gráficos.</p><p>O país com menor índice de suporte social é a República Centro-Africana com <strong>0.3701</strong>.</p><p>Seu índice percepção de corrupção é <strong>0.8571</strong>.</p><p>Ele não é o país com maior índice de percepção de corrupção, que é a Romênia com índice de 0.9480, porém está entre os <strong>25% com maior índice </strong>de percepção de corrupção.</p><p>Para a <strong>Pergunta 5</strong> o teste de spearman também foi utilizado junto ao scatterplot.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1020/1*Tz-it2eBp7GW4TJ5R2WszA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/510/1*90ZW83Rq23tr2cD_FmGc-w.png" /></figure><p>Também é possível afirmar, com <strong>95% de confiança</strong>, que <strong>há uma correlação positiva de 0.30</strong> entre a generosidade e o nível de felicidade do público em geral. Pessoas mais generosas são mais felizes!</p><p><strong>É importante lembrar que as análises realizadas indicam a correlação entre os dados, e não causalidade!</strong></p><p>Com as respostas de negócio respondidas o projeto de análise de dados pode ser finalizado já que o objetivo foi alcançado.</p><p>Os códigos do projeto estão disponíveis no meu <a href="https://github.com/andre-almd/WorldHappinesReport">github</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7db36310f46f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Um Pouco de Estatística Básica e Aplicações]]></title>
            <link>https://medium.com/@andre-almd/um-pouco-de-estat%C3%ADstica-b%C3%A1sica-e-aplica%C3%A7%C3%B5es-e5fbc3cfb30c?source=rss-9a59a98a75aa------2</link>
            <guid isPermaLink="false">https://medium.com/p/e5fbc3cfb30c</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[matemática]]></category>
            <category><![CDATA[negocios]]></category>
            <category><![CDATA[estatistica]]></category>
            <dc:creator><![CDATA[André Almeida]]></dc:creator>
            <pubDate>Tue, 31 Jan 2023 14:45:57 GMT</pubDate>
            <atom:updated>2023-01-31T14:45:57.886Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Et63_RHC4R-0W2IU" /><figcaption>Photo by <a href="https://unsplash.com/@homajob?utm_source=medium&amp;utm_medium=referral">Scott Graham</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>A estatística é uma disciplina que tem como objetivo coletar, organizar, analisar e interpretar dados. É utilizada em muitas áreas, como negócios, saúde, ciências sociais e ciência da computação, para tomar decisões informadas com base em evidências.</p><p>Uma das ferramentas mais importantes na análise estatística são as <strong>medidas de tendência central e dispersão</strong>. Essas medidas são utilizadas para descrever o comportamento de uma distribuição de dados e entender como os valores individuais se agrupam em torno de uma média.</p><p>A medida de tendência central mais comum é a <strong>média</strong>, que é o valor obtido ao somar todos os valores de uma amostra e dividir pelo número total de valores. Outras medidas de tendência central incluem a <strong>mediana</strong>, que é o valor que divide a distribuição ao meio, e a <strong>moda</strong>, que é o valor mais frequente na distribuição.</p><p>A dispersão é uma medida de como os valores de uma distribuição se espalham em torno da média. A <strong>variância</strong> e o <strong>desvio padrão</strong> são as medidas mais comuns de dispersão. A variância é o quadrado da distância dos valores em relação à média, enquanto o desvio padrão é a raiz quadrada da variância.</p><p>As medidas de tendência central e dispersão são importantes porque nos permitem entender a natureza de uma distribuição de dados. Por exemplo, se a média de uma amostra é alta e a dispersão é pequena, isso indica que a maioria dos valores está próxima à média. Por outro lado, se a média é alta e a dispersão é grande, isso indica que há uma grande variação nos valores da amostra.</p><p>Além disso, as medidas de tendência central e dispersão também são importantes para comparação. Por exemplo, se compararmos duas amostras e uma tem uma média maior que a outra, mas a dispersão é maior também, isso pode indicar que a primeira amostra tem valores mais altos e mais baixos do que a segunda amostra.</p><p>Em resumo, as medidas de tendência central e dispersão são fundamentais para a análise estatística e nos permitem entender a natureza de uma distribuição de dados. Elas são importantes para tomar decisões e comparar diferentes amostras de dados.</p><p>Pensando em <strong>problemas de negócios</strong>, a estatística pode ser usada de várias maneiras. Algumas das aplicações mais comuns incluem:</p><ol><li>Análise de dados: a estatística pode ser usada para coletar, organizar, analisar e interpretar dados relevantes para o negócio. Por exemplo, uma empresa pode coletar dados sobre o comportamento de compra dos clientes para entender melhor suas necessidades e hábitos.</li><li>Tomada de decisão: a estatística pode fornecer evidências para apoiar decisões informadas no negócio. Por exemplo, uma empresa pode usar análises estatísticas para identificar tendências no mercado e decidir se deve investir em uma nova linha de produtos.</li><li>Modelagem: a estatística pode ser usada para criar modelos que simulam o comportamento do negócio ou do mercado. Por exemplo, uma empresa pode usar modelos estatísticos para prever a demanda futura de seus produtos.</li><li>Validação de hipóteses: a estatística pode ser usada para validar ou refutar hipóteses sobre o comportamento do negócio ou do mercado. Por exemplo, uma empresa pode testar a hipótese de que uma determinada campanha publicitária será bem-sucedida usando análises estatísticas.</li><li>Melhoria de processos: a estatística pode ser usada para identificar pontos de melhoria em processos internos do negócio. Por exemplo, uma empresa pode usar análises estatísticas para identificar os fatores que contribuem para o tempo de produção excessivo em uma linha de montagem.</li></ol><p>Em resumo, a estatística é uma ferramenta valiosa para ajudar as empresas a tomar decisões baseada em dados, entender seu público, melhorar seus processos e se preparar para o futuro.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e5fbc3cfb30c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Aplicação de Churn Prediction com Machine Learning]]></title>
            <link>https://medium.com/@andre-almd/aplica%C3%A7%C3%A3o-de-churn-prediction-com-machine-learning-cca6164033ec?source=rss-9a59a98a75aa------2</link>
            <guid isPermaLink="false">https://medium.com/p/cca6164033ec</guid>
            <category><![CDATA[churn-prediction]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[streamlit]]></category>
            <dc:creator><![CDATA[André Almeida]]></dc:creator>
            <pubDate>Fri, 30 Dec 2022 13:59:34 GMT</pubDate>
            <atom:updated>2022-12-30T16:45:52.915Z</atom:updated>
            <content:encoded><![CDATA[<p>Neste projeto iremos analisar dados de <strong>churn</strong> de uma empresa de telecomunições e criar modelos de <strong>machine learning</strong> para classificar possíveis clientes que possam cancelar seus planos. Ao final, criaremos uma aplicação com <strong>streamlit </strong>para colocar o modelo em produção de forma totalmente online.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*iMVTSSK-YxZmt8GN.jpg" /></figure><h4><strong>Entendendo o que é o Churn Rate</strong></h4><p>Churn rate, ou simplesmente churn, representa a <strong>taxa de evasão</strong> da sua base de clientes. Em serviços como Spotify ou Netflix, ela representaria a taxa de cancelamento de assinaturas. Ela é de extrema importância para a administração e sua análise ao longo do tempo pode mostrar que existe algum problema que deve ser atacado.</p><p>Churn também pode ser usado para identificar potenciais cancelamentos, com um tempo de antecedência, e promover ações direcionadas para tentar reter tais clientes. Essa métrica deve receber atenção pelo fato de que o <strong>Custo de Aquisição de Cliente (CAC)</strong> é normalmente mais alto que o custo para mantê-los. Ou seja, um alto valor para o churn rate é o que não desejamos.</p><p><strong>Entender por que os clientes abandonam o seu produto é muito importante para o crescimento sustentável.</strong></p><h4>Como fazer para calcular a sua taxa de churn?</h4><p>A taxa de churn geralmente é calculada num determinado período, seja anual, semestral ou mensal.</p><p>Por exemplo: <strong>se 1 de cada 20 clientes cancelam seu produto</strong> <strong>todo mês</strong>, isso representa que a taxa de churn para seu produto será de <strong>5%</strong>.</p><p>Você também pode calcular a taxa de churn, que irá representar o percentual de contas que estão cancelando em comparação com a base de cliente ativos, da seguinte forma:</p><p><strong>Churn Rate: Total de clientes cancelados / Número total de clientes ativos do último mês</strong></p><p>A taxa de churn depende de <a href="https://www.exactsales.com.br/o-que-e-taxa-de-churn/">vários fatores</a>, como:</p><ul><li><strong>O bom relacionamento com seus clientes;</strong></li><li><strong>A percepção de valor do produto que você está oferecendo;</strong></li><li><strong>A autoridade e credibilidade que sua empresa tem no assunto;</strong></li><li><strong>O tipo de atendimento que é prestado desde o primeiro contato.</strong></li></ul><p>Em sistemas complexos, avaliar todas estas variáveis é imprescindível para o sucesso da empresa. Geralmente, quando um usuário desiste de assinar um serviço é porque não vê mais valor naquele serviço oferecido por determinada empresa.</p><p>Entender e extrair informações de um conjunto extenso de dados de clientes é desafiador, e é aqui que o Machine Learning pode ajudar empresas a traçar perfis de seus clientes e identificar possíveis cancelamentos antes de acontecer.</p><h4><strong>Análise dos dados</strong></h4><p>Os dados utilizados neste projeto foram originalmente disponibilizados na plataforma de ensino da IBM Developer, e tratam de um problema típico de uma companhia de telecomunicações.</p><p>Podemos ver que os dados estão dividios em <strong>quatro grupos distintos</strong>:</p><ul><li>Informações pessoais sobre o usuário e meses de contrato.</li><li>Informações sobre assinatura do serviço telefônico.</li><li>Informações sobre serviços na assinatura de internet.</li><li>Informações sobre o contrato do usuário e gastos.</li></ul><p>Existe um <strong>desbalanceamento </strong>muito grande entre as classes de Churn, inclusive dados que não estão legendados. Logo, um tratamento é necessário aqui.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/708/1*lf_XHS3w08EdG_vG-mbC9w.png" /></figure><p>A classe <strong>‘Yes’ </strong>representa os clientes com Churn, e a classe <strong>‘No’</strong> os clientes que não deixaram o plano.</p><p>Para entender o relacionamento entre os dados, foi utilizado a biblioteca <a href="https://pypi.org/project/dython/">dython</a>, que calcula correlação entre dados categóricos, bastante presentes no nosso dataset.</p><p>Foi identificado que a variável de <strong>churn</strong> possui correlações interessantes com as variáveis de: <strong>tempo de contrato</strong>, <strong>tipo de contrato</strong>,<strong> forma de pagamento</strong>, <strong>serviços de internet</strong> e <strong>segurança online</strong> e <strong>suporte técnico</strong>;</p><h4><strong>Análise das informações pessoais sobre o usuário e meses de contrato</strong></h4><p>Analisando a distribuição dos meses de contrato dos clientes, observa-se que a maioria dos clientes que deixam o plano são aqueles com pouco tempo de contrato, em torno de 10 a 20 meses de contrato.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/564/1*NRQy1wzbIHGPtRuvSq7XaQ.png" /></figure><p>Olhando para o gráfico do boxplot do tempo de contrato fica claro a diferença e observa-se o mesmo padrão tanto para clientes homens quanto mulheres.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/708/1*uxJQB1rz0sViygFwvnoIkA.png" /></figure><p>Com as análises das informações pessoais sobre o usuário e meses de contrato foi observado o seguinte:</p><ul><li><strong>Não há muita diferença em relação ao sexo para definir se um usuário irá cancelar o plano</strong>;</li><li><strong>Clientes com menos de 65 anos tendem a ter uma taxa de Churn 3x maior com relação aos clientes mais velhos, aproximadamente</strong>;</li><li><strong>Clientes sem dependentes possuem uma taxa de Churn 4.5x maior do que clientes com dependentes, aproximadamente</strong>;</li><li><strong>O churn ocorre com mais frequência em clientes com pouco tempo de plano, em torno de 10 a 20 meses de contrato</strong>.</li></ul><h4>Análises das informações do cliente sobre assinatura do serviço telefônico</h4><p>O boxplot a seguir nos mostra o perfil do tempo de contrato dos clientes que possuem lserviço telefônico, ou não.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/852/1*zM4qYJy4truEFu_tvdqT8Q.png" /></figure><p>Com as das informações do cliente sobre assinatura do serviço telefônico foi observado o seguinte:</p><ul><li><strong>A quantidade de clientes que cancelam o plano é praticamente igual para os clientes com uma ou mais linha telefônica</strong>;</li><li><strong>Clientes com mais de uma linha telefônica ficam com o contrato ativo por mais tempo, antes de cancelarem o plano</strong>.</li></ul><h4>Análises das informações do cliente sobre serviços na assinatura de internet</h4><p>Vários serviços são oferecidos para os clientes que possuem internet. Alguns deles são: serviço de segurança, backup online, proteção de dispositivo, suporte online e streaming de TV e filmes.</p><p>A figura abaixo mostra o perfil dos clientes por tipo de serviço de internet: Fibra óptica, DSL ou clientes sem internet. Dos clientes que deixam a empresa, há uma diferença bem considerável para os que possuem o serviço de fibra óptica.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/564/1*taxaIo3k2Vc5pOBPxjK-rA.png" /></figure><p>Com as das informações do cliente sobre serviços na assinatura de internet foi observado o seguinte:</p><ul><li><strong>Os clientes com serviço de fibra óptica tendem a cancelar mais o plano com a operadora</strong>;</li><li><strong>A maioria dos clientes não possuem serviços adicionais de segurança e suporte. Entre os clientes que possuem esses serviços a taxa de Churn é menor</strong>;</li><li><strong>O Churn é maior para os clientes que não possuem streaming de Tv e filmes;</strong></li><li><strong>Clientes com planos de streaming ficam mais tempo com o plano ativo, se comparado com os clientes que não possuem serviço de streaming.</strong></li></ul><h4>Análises das informações do cliente sobre o contrato do usuário e gastos</h4><p>Para as informações dos contratos e gastos dos usuários, podemos ver que a maioria dos clientes que deixam o plano possui a forma de pagamento mensal e gasta em torno de 60 a 110 por mês.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/564/1*pIAnLBJ9ZESSfm-DW3j65w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/578/1*JxKbXWqEoWkDp4vuiOZsbw.png" /></figure><p>Com as das informações do cliente sobre o contrato do usuário e gastos foi observado o seguinte:</p><ul><li><strong>Clientes que pagam por mês são a maioria e são eles que possuem a maior taxa de churn</strong>;</li><li><strong>A maioria dos clientes pagam online, sendo a categoria com maior taxa de churn</strong>;</li><li><strong>O tipo de pagamento com maior taxa de churn é dos clientes que pagam por meio de cheque eletrônico</strong>;</li><li><strong>Quanto mais os clientes gastam com a operadora no total, menor a taxa de churn</strong>;</li><li><strong>A maioria dos clientes com churn tem um gasto mensal entre 60e 110 reais</strong>;</li><li><strong>Homens e mulheres parecem ter o mesmo perfil de tempo e tipo de contrato.</strong></li></ul><h3>Preparação dos dados e Modelagem</h3><p>Os dados do dataset estão bem desbalanceados, assim a preparação dos dados para a modelagem é essencial.</p><p>Os dados foram separados em <strong>treino </strong>e <strong>teste final</strong>. Todo o processo foi realizado com <strong>validação cruzada</strong> e os dados de teste final foram usados apenas na última etapa do processo apenas uma única vez para ser nosso resultado final.</p><p>Inicialmente foi definido um <strong>baseline </strong>com os dados desbalanceados para ser a base de comparação.</p><p>Com o baseline foi alcançado uma <strong>acurácia </strong>média de <strong>61%</strong>, com <strong>revocação </strong>e <strong>precisão </strong>muito baixa, em torno de <strong>27%</strong> para a classe positiva. Podemos perceber também que há um desbalanço nos resultados, pois o <strong>F1-Score</strong> é de <strong>61%</strong>.</p><p>Os modelos escolhidos para treinamento foram: <strong>SVC</strong>, <strong>Random Fores</strong>t e <strong>XGBoost</strong>. Todos foram treinados com validação cruzada e com datasets balanceados e desbalanceados.</p><p>Para o balanceamento foram usadas duas técnicas: <strong>Random under-sampling</strong> e <strong>SMOTE</strong>.</p><p><strong>Para os dados desbalanceados o XGBoost apresenta um resultado de F1-Score médio de 0.73 e revocação 0.53 para a classe positiva, ou seja, ainda há um desequilíbrio nos resultados mas com uma leve melhora no resultado geral, comparado ao baseline.</strong></p><p><strong>Para os dados balanceados o SMOTE foi a melhor opção e os modelos RF e XGB são parecidos, mas o XGBoost apresenta recall levemente superior. Logo, escolhi o modelo de XGBoost para otimizar e ver se chegamos num resultado melhor.</strong></p><p>Utilizando a otimização com <strong>Grid Search CV </strong>foi alcançado um <strong>recall </strong>de <strong>86% </strong>na validação cruzada.</p><p>Após esta avaliação, um <strong>modelo final foi treinado</strong> com todos os dados de treino e testado nos dados de teste final. Os resultados encontrados foram:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/323/1*kJG9XBCvEH60ZzlIk5YlQg.png" /></figure><p>O modelo otimizado teve uma acurácia de 0.77, um recall de 0.75 e precision macro de 0.71.</p><p>O resultado ainda indica uma melhor detecção para os casos da classe 0, <strong>clientes sem churn</strong>. Podemos dizer que, em média, o modelo tem uma capacidade se acertar <strong>70%</strong> dos casos de churn.</p><h3>Deploy do modelo com Streamlit</h3><p>Um app foi desenvolvido com streamlit para execução do modelo.</p><p>Todo o ambiente de execução pode ser acessado <a href="https://andre-almd-churn-prediction-main-noymev.streamlit.app/">aqui</a>.</p><p>Todo o código do projeto é disponibilzado no meu GitHub <a href="https://github.com/andre-almd/Churn-Prediction">aqui</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=cca6164033ec" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Criando uma Aplicação de Machine Learning com Flask e Streamlit]]></title>
            <link>https://medium.com/@andre-almd/criando-uma-aplica%C3%A7%C3%A3o-de-machine-learning-com-flask-e-streamlit-d5112e472bc1?source=rss-9a59a98a75aa------2</link>
            <guid isPermaLink="false">https://medium.com/p/d5112e472bc1</guid>
            <category><![CDATA[redes-neurais]]></category>
            <category><![CDATA[streamlit]]></category>
            <category><![CDATA[flask]]></category>
            <category><![CDATA[pytorch]]></category>
            <category><![CDATA[deploy]]></category>
            <dc:creator><![CDATA[André Almeida]]></dc:creator>
            <pubDate>Wed, 12 Oct 2022 01:30:28 GMT</pubDate>
            <atom:updated>2022-10-12T01:30:28.220Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*KXY383__KEWe-ix8" /><figcaption>Photo by <a href="https://unsplash.com/@clemhlrdt?utm_source=medium&amp;utm_medium=referral">Clément Hélardot</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>Neste post irei mostrar de forma simples como você pode criar um servidor flask e rodar uma aplicação de rede neural com pytorch em uma interface web do streamlit.</p><p>O projeto foi desenvolvido com um dataset contendo informações de previsão do <strong>total de vendas de seguros de viagem</strong> de uma empresa de seguros.</p><h3><strong>Dicionário dos dados</strong></h3><p><strong>media_aval_cliente</strong>: Média de avaliação dos clientes para o seguro;</p><p><strong>seguro_internacional</strong>: Se o seguro tem cobertura internacional, ou não;</p><p><strong>cobertura_dentaria</strong>: Se o seguro tem coberturta dentária, ou não;</p><p><strong>cobertura_maior_65</strong>: Se o seguro tem cobertura para clientes acima de 65 anos, ou não;</p><p><strong>reembolso_despesas_medicas</strong>: Se o seguro possui reembolso para despesas médicas, ou não;</p><p><strong>cobertura_esportes_radicais</strong>: Se o seguro possui cobertura para acidentes decorrentes de esportes radicais, ou não;</p><p><strong>capital_segurado</strong>: Se o seguro possui capital segurado (valor máximo de indenização que o titular de um <strong>seguro</strong> ou seus beneficiários podem receber caso ocorra um sinistro), ou não;</p><p><strong>inclui_bonus</strong>: Se o seguro possui bônus, ou não;</p><p><strong>valor_unitario</strong>: Valor unitário do seguro.</p><p><strong>total_vendas</strong>: Total de vendas do seguro (Nosso output).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/995/1*S3PiIozmDmDvix4Eo5KL2A.png" /></figure><h3>Arquivos disponíveis</h3><p>Durante o desenvolvimento foram utilizadas funcionalidades para criação de dataset personalizado no <strong>Pytorch</strong>, uso de <strong>tensorboard</strong> para registrar os modelos e <strong>métricas</strong> do Pytorch durante o processo de treino, <strong>modularização</strong> de código, salvamento do scaler do sklearn com <strong>dump</strong>, etc.</p><p><strong>Todos os arquivos do projeto podem ser encontrados </strong><a href="https://github.com/andre-almd/Projeto_Vendas_De_Seguro-Data_Science_Academy"><strong>aqui</strong></a><strong>.</strong></p><p><strong>O projeto está pronto para ser executado, basta seguir os passos que irei descrever aqui neste post!!!</strong></p><p>Caso queira entender mais sobre os códigos deixo uma descrição de cada arquivo abaixo:</p><p><strong>modelo_pytorch.py</strong> é o arquivo de treinamento do modelo. Nele está implementado todo o processo de construção do dataset, criação, treinamento, validação e gravação do modelo no disco.</p><p><strong>loadNetwork.py</strong> é o módulo que irá carregar o modelo na memória durante a etapa de inferência.</p><p><strong>app.py</strong> é o código responsável pela criação da aplicação para deploy do modelo treinado com flask.</p><p><strong>test.py</strong> é o código de teste para realiza a inferência usando uma chamada request.</p><p><strong>test_streamlit.py</strong> é o código de teste com uma interface gráfica usando streamlit.</p><h3>Como usar a aplicação???</h3><p>Faça o clone do projeto pelo github.</p><p>Instale as bibliotecas necessárias indicadas no arquivo <strong>requirements.txt</strong>. Aqui sugiro a criação de um a<a href="https://virtualenv.pypa.io/en/latest/">mbiente virtual</a> para isso.</p><p>No terminal, excute o arquivo app.py para gerar a aplicação com flask e deixar o modelo disponível para inferência.</p><pre>python3 app.py</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/740/1*7abQTK7y1xMz5iD5DnOz_g.png" /></figure><p>Em outro terminal, execute o arquivo test_streamlit.py para realizar as predições com a interface gráfica.</p><pre>streamlit run test_streamlit.py</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/740/1*UOkOwY38SYyMNcCtL1vLrA.png" /></figure><p>Agora a aplicação está disoponível e pode ser acessada pela url local indicada no terminal.</p><p>A Interface possui as opções de input na lateral esquerda e um botão de realizar a predição no centro da tela. Ao clicar no botão, um request é enviado para o servidor com os dados de entrada. O modelo é alimentado com esses dados e retorna o valor da predição gerada.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8_iIBifMiXiKD5AYnWW3AQ.png" /><figcaption>Interface aguardando predição</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*e0FwOdrpFIRlukszklC6AA.png" /><figcaption>Interface com predição gerada</figcaption></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d5112e472bc1" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>