<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Angelo Buso Jr on Medium]]></title>
        <description><![CDATA[Stories by Angelo Buso Jr on Medium]]></description>
        <link>https://medium.com/@angelobuso-jr?source=rss-fc80c06bfe5b------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*Y9uZaaO2DnHIRr5q</url>
            <title>Stories by Angelo Buso Jr on Medium</title>
            <link>https://medium.com/@angelobuso-jr?source=rss-fc80c06bfe5b------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 02:02:43 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@angelobuso-jr/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Aprendizado de máquina evitando evasão de clientes]]></title>
            <link>https://angelobuso-jr.medium.com/aprendizado-de-m%C3%A1quina-evitando-evas%C3%A3o-de-clientes-b8bd644648bc?source=rss-fc80c06bfe5b------2</link>
            <guid isPermaLink="false">https://medium.com/p/b8bd644648bc</guid>
            <category><![CDATA[grid-search]]></category>
            <category><![CDATA[crossvalidation]]></category>
            <category><![CDATA[churn-prediction]]></category>
            <category><![CDATA[classification]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Angelo Buso Jr]]></dc:creator>
            <pubDate>Tue, 08 Mar 2022 04:16:24 GMT</pubDate>
            <atom:updated>2022-03-08T04:19:50.700Z</atom:updated>
            <content:encoded><![CDATA[<h4>Como o uso de modelos de aprendizado de máquinas podem identificar potenciais evasões de clientes de uma empresa?</h4><p>A <strong>retenção de clientes</strong> é uma das questões mais importantes em que as companhias devem lidar. Prevenção da evasão de clientes (<em>customer churn prevention</em>) faz parte das estratégias do gerenciamento do relacionamento do cliente (<em>CRM</em>). Grandes empresas implementam modelos de previsão de <em>churn</em> para serem capazes de detectar possibilidade/probabilidade de evasões, antes mesmo da efetiva saída desse cliente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/805/1*ONlSYrRZPVja1fB2M1p0hQ.jpeg" /></figure><p><strong><em>Churn Rate</em></strong> ou apenas <strong><em>Churn</em></strong> é uma métrica de extrema importância para os tomadores de decisões. Com ela visualiza a quantidade de clientes que a empresa perdeu (a), em comparação com a quantidade total de clientes (b), em uma espaço de tempo ©, ou seja, ao longo de © períodos a taxa de evasão se dá por (a)/(b). Portanto, quanto menor essa proporção melhor para a empresa. Sua análise ao longo do tempo pode revelar problemas que deverão ser solucinados.</p><p>Com c<em>hurn </em>como pano de fundo<em>, </em>juntamente com <strong>(i) ciência computacional, (ii) matemática, (iii) estatística e (iv) um bom histórico de dados com clientes</strong> que evadiram-se e os que ainda estão na empresa, podemos <strong>prever</strong>/identificar potenciais cancelamentos, e o que é melhor de forma antecipada, o que permitirá promover ações direcionadas para tentar reter tais clientes.</p><p>O que se justifica o uso desses modelos que a propósito, usam <strong>aprendizado de máquina</strong>, é o fato de que o Custo de Aquisição de Cliente (CAC) é normalmente mais alto que o custo para mantê-los. Ou seja, o que queremos é <strong>menores custos</strong> e <strong>maiores receitas</strong>!!</p><p>Nesse contexto usaremos Inteligência Artificial para tal detecção. Usando (a) uma base histórica, (b) um algoritmo de <em>machine learning</em> e © as compreensão das técnicas e as boas práticas da Ciência de Dados, construiremos uma ferramenta que seja capaz de prever a probabilidade de uma pessoa cancelar seus produtos junto a uma empresa.</p><p><a href="https://bit.ly/3vMkEu0">Neste script</a>, disponível em meu <a href="http://bit.ly/potifoliobuso">portifólio do gitHub</a>, usamos uma utilizaremos uma coleção de informações catalogadas e disponibilizados na <a href="https://developer.ibm.com/technologies/data-science/patterns/predict-customer-churn-using-watson-studio-and-jupyter-notebooks/#">plataforma de ensino da IBM Developer</a>.</p><p>A propósito usei como estratégia os seguintes passos:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*g56QJmeGqLvURcFypMJo9Q.jpeg" /></figure><p>A análise exploratória dos dados, observou-se que os mesmos são potencialmente categóricos e que não havia dados faltantes.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/414/1*4-UUnL5qXWb8XLylrQAOuw.png" /></figure><p>A feature TotalCharges deveria representar informações do tipo numérico, pois trata-se do total de gastos. Uma hipótese seria, na carga dos dados o interpretador considerou o tipo de dados string por conter dados nulos, os quais foram interpretados como <em>string</em> e toda <em>feature</em> herdou essa característica. Ao conveter observou-se dados faltantes, que imputamos com a média da coluna.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/280/1*tX5usUlAWf9ozrR7voS5RA.png" /></figure><p>Visulizar os colunas, através de gráficos permite dar uma conciência situacional dos dados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/821/1*pZe7oTFeBDFbSrRPT8t8Hw.png" /></figure><p>Algumas <em>features</em> e alguns problemas de negócios poderam sofrer com algum tipo de <em>bias</em>, viés nos dados. Poderá gerar algum prejuízo relevante ao modelo. Notamos que a <em>feature</em> gender possui a informação do gênero Female e Male. Seria prudente verificar como está a contagem de cada grupo nesse atributo, com a finalidade de não incorrer em um <em>enviesamento</em> por gênero. Notamos que para a <em>feature</em> InternetService, os que possuíam Fiber optic possuem mais apontamento para churn.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/893/1*MjPlUjeSL5hviOWqO3POdw.png" /></figure><p>Na <em>feature</em> Tenure (&quot;<em>cliente desde</em>&quot;) os que deixam a empresa (Churn = sim) tendem a ser clientes relativamente novos. Além de os clientes que saem tendem a pagar taxas mensais mais altas do que os que permanecem, conforme podemos verificar na <em>feature</em> MonthlyCharges.</p><p>A análise exploratória dos dados é riquíssima de <em>insights!!</em></p><p>O grande propósito de projeto foi usar a (a) Validação Cruzada como foma de mitigar o <em>overfitting, </em>além de comparar modelos de uma forma mais célere e (b) fazer uma otimização dos parâemtros do melhor modelo para aumentar sua performance.</p><p>A <strong>validação cruzada</strong> (<em>cross validation</em>) é usada para testar a generalização do modelo. Como treinamos qualquer modelo no conjunto de treinamento, ele tende a se <strong>ajustar demais</strong> na maioria das vezes e para evitar essa situação, usamos técnicas de regularização.</p><p>Cross Validation é uma técnica que pode ser utilizada para avaliar a performance de um modelo com menos variância em comparação com a técnica de dividir os dados em treino/teste. Com esta técnica dividimos os dados em partes normalmente chamadas de <em>k-folds</em> (por exemplo k = 5, k = 10). Cada parte é chamada fold. O algoritmo é treinado em k-1 folds. Cada fold é usado no treinamento de forma repetida e um fold por vez. Após executar o processo em k-1 folds, podemos sumarizar a performance em cada fold usando a média e o desvio padrão. O resultado é normalmente mais confiável e oferece maior acurácia ao modelo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/503/1*3u0rmkrrEjXbEuT68aN_eg.png" /></figure><p>Todos os algoritmos de <em>Machine Learning</em> são parametrizados, o que significa que podemos ajustar a performance do modelo preditivo, através do <em>tunning</em> (ajuste fino) dos <em>hyperparâmetros</em>. Nosso trabalho é encontrar a melhor combinação entre os esses <em>hyperparâmetros</em> em cada algoritmo de <em>Machine Learning</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/491/1*4QamPT5MqtNzIecusALQfg.png" /></figure><p>Podemos constatar que no cerne de <em>Machine Learning</em> a etapa de <strong>otimização</strong> é onde podemos conseguir os melhores resultados. Nesta etapa são algoritmos de <em>Machine Learning</em> <strong>iteragindo</strong> com modelos de <em>Machine Learning</em>.</p><p>Podemos afirmar que um taxa de aprendizado menor, conseguimos melhorar o desempenho do modelo XGBoost, considerando, neste jupyter e neste contexto apenas <strong>recall</strong> como métrica de performance do modelo.</p><p>Tínhamos uma taxa de <em>Recall</em> de 0,8046 e ao otimizar o modelo atingimos 0,888. Um ganho de performance… que saberemos ao aplicar aos dados de teste!!</p><p>Modelo final foi treinado, usando algoritmo XGBoost (com melhores valores de hyperparametros) nos <strong>dados de treino processados</strong> e (ii) o desempenho final em nos <strong>dados de teste</strong>, que é o primeiro contato do modelo com esse sub-conjunto que havíamos preservado, foi satisfatório.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/384/1*j41geozqcyXN8Jiyi5dqNQ.png" /></figure><p>A <em>confusion matrix</em> permite identificar quais dos 2 tipos de erros o modelo incorreu.</p><p>Erros do <strong>tipo 1</strong> são os conhecidos como <strong>falso Positivo (FP)</strong>, para nosso caso esse erro é quando o modelo preveu que haveria uma evansão (<em>Churn</em>) no entanto cliente permaneceu na empresa, ou seja, para esse erro a empresa poderia ofertar um desconto ou uma oferta a um cliente que não sairia da empresa, aqui esse cliente fica super contente!!! 😄😄😄.</p><p>Erros do tipo 2 são os falso Negativo (FN), ou seja, foi previsto que o cliente <strong>não sairia</strong> da empresa no entanto o cliente saiu!! Esse cara poderia até ter ficado se fosse ofertado para ele um desconto no seu 5g!!!!</p><p>De fato o modelo final manteve sua generalização nos dados de <strong>testes</strong>!!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/483/1*sETY-6YOPyxHkc3fIJtp6Q.png" /></figure><p>O uso da <strong>cross validation</strong> permite redizir riscos de <em>overfitting</em> no modelo, ao passo que separa os dados de treino em mais amostras. Além de permitir comparar mais de um algortimo de <em>ML</em>, dando celeridade ao processo.</p><p>A otimização dos <em>hyperparâmetros</em> usando outros algoritmos de <em>ML</em> entregou ao modelo um aumento no <em>Recall</em> de 0,08 (de 0,80 para 0,88) ganho considerável de performance, levando em consideração que apenas ajustamos os <em>hyperparâmetros</em>.</p><p>Manteve ainda uma boa generalização nos dados de <strong>teste</strong>. Mantendo um <em>Recal</em> de 0,87.</p><p>Ainda há espaço para se tentar outras técnicas de balanceamento de dados, <em>feature engineering</em>, <em>feature selection</em>, enfim, podemos trabalhar os dados.</p><p>Encerro por aqui!! Espero que tenho gostado!!</p><p>Até o próximo projeto!!</p><p>Caso queiram entrar em contato: <a href="https://linktr.ee/angelobuso">Angelo Buso!!</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b8bd644648bc" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Machine Learning monitorando fraudes no cartão]]></title>
            <link>https://angelobuso-jr.medium.com/machine-learning-monitorando-fraudes-no-cart%C3%A3o-95edf35a48aa?source=rss-fc80c06bfe5b------2</link>
            <guid isPermaLink="false">https://medium.com/p/95edf35a48aa</guid>
            <category><![CDATA[logistic-regression]]></category>
            <category><![CDATA[decision-tree]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Angelo Buso Jr]]></dc:creator>
            <pubDate>Mon, 10 Jan 2022 23:26:58 GMT</pubDate>
            <atom:updated>2022-01-10T23:26:58.635Z</atom:updated>
            <content:encoded><![CDATA[<h4>Como o uso de modelos de aprendizado de máquinas podem auxiliar instituições no combate a fraudes?</h4><p>A tecnologia é um indutor global na economia, isso é fato. O <em>E-Commerce</em> é um exemplo desse movimento indutor. No entanto enquanto uma grande parte das pessoas estão focadas em desenvolver soluções tecnológicas que facilitam a vida dos usuários, há uma outra parcela que agem no ituito de obterem vantagens ilícitas. Podemos citar as imitações de sites, aplicativos e perfis de empresas em redes sociais estão cada vez mais fidedignas e com essas táticas, esses criminosos roubam os seus dados</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/626/1*VavMEJ8vtJrBcLkITNn4rA.jpeg" /></figure><p><a href="https://epocanegocios.globo.com/Empresa/noticia/2021/10/fraude-no-cartao-e-o-maior-medo-dos-brasileiros.html">“Ter o cartão clonado é algo que assusta 83% dos brasileiros; na comparação, a pandemia é uma grande ameaça para 61% dos entrevistados”</a>. A preocupação dos brasileiros leva em conta o medo de ficarem no prejuízo financeiro, ou pelo menos, o prejuízo até o término na análise do possível fraude, pela operadora do cartão fraudado.</p><p>Sendo assim, as insituições operadoras de cartão tem o dever de monitorar, em tempo real, as transações financeiras, transacionadas pelos cartões de seus clientes. O desafio destas instituições é terem ferramentas que possam prever a probabilidade da transação ser fraude e agir com tempestividade, preservando os dados e o cliente. Apenas no Brasil, cerca de 12,1 milhões de pessoas já foram vítimas de algum tipo de fraude financeira no último ano. Traduzindo em valores, os golpes financeiros ultrapassaram a cifra de R$ 1,8 bilhão de prejuízo por ano para os últimos 12 meses.</p><p>Para abordar esse problema <strong>das fraudes em cartões de crédito</strong>, uma das principais preocupações das instituições financeiras como bancos e <em>fintechs, u</em>sando (i.) uma base histórica, (ii.) um algoritmo de machine learning e (iii.) as compreensão das técnicas e boas práticas da Ciência de Dados, podemos desenvolver uma ferramenta que permitirá prever se a transação que está ocorrendo poderia ser uma possível fraude, gerando uma economia desses milhões de Reais.</p><p><a href="http://bit.ly/3f84qBZ">Neste script</a>, disponível em meu <a href="http://bit.ly/potifoliobuso">portifólio do gitHub</a>, usamos uma coleção de informações catalogadas em um período de <strong>2 dias</strong>, por usuários de cartões na Europa. Ao longo desse período foram registradas quase <strong>290 mil transações</strong> envolvendo cartões, sendo que <strong>492 foram fraudes</strong>. Os dados podem ser conferidos <a href="https://www.kaggle.com/mlg-ulb/creditcardfraud">neste link</a>.</p><p>A análise exploratória dos dados, observou-se que os mesmos são todos no formato numérico e não havia dados faltantes.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*go2OS2Xl9Rqxlcim9cBXBw.png" /></figure><p>As vezes falta de dados missing causa estranheza e ficamos “receiosos” de entender o porque não existem😁😂😁…. mais os dados, por serem transações reais, foram anonimizadas por uma técnica conhecida como Análise de Componentes Principais (<a href="http://www2.ic.uff.br/~aconci/PCA-ACP.pdf"><em>Principal Component Analysis</em> — PCA)</a>, por isso que os atributos estão com label’s de V1 a V28.</p><p>Ainda no processo de exploração dos dados, por se tratar de um problema de classificação binária, separar as variáveis distribuídas pelas classes, nos deu um bom indício de quais variáveis poderia ter um maior de predição.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/886/1*cv458Im2QiDTZo5s8PsNeQ.png" /></figure><p>Verificamos também que a classe positiva (não relacione o sentido da palavra “positivo” com o objetivo do projeto, que é <strong>dectar fraude</strong>) encontra-se com baixíssima ocorrência no dataSet, mostrando um possível <strong>desbalanceamento dos dados</strong>. A classe fraudulenta representa 0,17% do total de entradas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/578/1*msgb9dJpak1IaDC4lv3m7Q.png" /></figure><p>Como os atributos foram anonimizados pela técnica de PCA, assume-se a premissa que foram padronizados. Ao passo que, as colunas Time e Amount não estão padronizados, como as demais <em>features. </em>Essa fase de a<strong>nálise exploratória </strong>é muito importante para o cientista de dados obter uma <em>consciência situacional</em> dos dados com o qual esta trabalhando.</p><p><em>Algoritmos de machine learning</em> esperam receber os dados em um formato específico. Logo temos que preparar os dados em uma estrutura que esteja adequada ao algoritmo que você está utilizando. É muito provável que você tenha que realizar tarefas de <strong>pré-processamento</strong> nos dados. Esse é um passo extremamente necessário dentro do processo.</p><p><strong>O desafio é </strong>o fato que cada algoritmo requer uma estrutura diferente, o que pode requerer transformações diferentes nos dados. Mas é possível em alguns casos, obter bons resultados sem um trabalho de pré-processamento. Mas, é uma boa prática criar diferentes visões e transformações dos dados, de modo a poder testar diferentes algoritmos de Machine Learning. <strong><em>Testar é o lado divertido de Ciência de dados!!</em></strong></p><p>Neste projeto utilizei a seguinte estratégia:</p><figure><img alt="bit.ly/3f84qBZ" src="https://cdn-images-1.medium.com/max/1024/1*5iU2WmumMe0ic5ve0RXXew.jpeg" /></figure><p>Padronizamos as <em>features </em>necessárias, separamos os dados em variáveis preditoras <strong>“X”</strong> e variável alvo <strong>“y”. </strong>Dividimos os dados em “dados de treino” e “dados de teste”.</p><p>Assim como nosso veículos🚙 precisam estar com as rodas “balanceadas” senão “puxa” mais para um lado e desgasta apenas um pneu, os dados categóricos também tem que manter um balancemanto entre as classes. Se temos classe majoritária, o modelo de ML possivelmente aprenderá mais sobre ela e temos um problema ➡ modelo sem generalização, devemos evitar. Para balancear classe podemos utilizar técnicas de:</p><ul><li><strong>oversampling</strong> : cria-se de forma randômica, dados sintéticos para classe minoritária, com base em regras estatísticas e de forma aleatória.</li><li><strong>undersampling</strong>: remove-se alguns registros da classe majoritária, preservando as características da classe minoritária, ideal para quando se há um grande volume de dados. Este método pode acarretar em um desempenho inferior na hora de fazer predições da classe majoritária, pois reduz o tamanho do dataset.</li></ul><p><strong>ATENÇÃO 1</strong>: o ideal é sempre aplicar as técnicas depois de realizar o split dos dados (treino e teste). Se aplicar o balancemento antes, o padrão usado para aplicar o oversampling/undersampling será o mesmo nos dados de treino e de teste, com isso a avaliação do modelo fica comprometida.</p><p><strong>ATENÇÃO 2</strong>: ao tomar decisão de balancear os dados, diretamente está alterando seu conjunto de dados. Ou seja, saiba <strong><em>o que</em></strong> está fazendo e <strong><em>para que</em></strong> está fazendo!!!!</p><p>Optamos por utilizar 3 técnicas de balanceamento, sendo 1 de undersamplig (método 1) e 2 de oversampling( método 2 e 3).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/439/1*u2Z9dhineb9W5gjkZ7YTVw.png" /></figure><p>Usei 2 algoritmos de ML para problemas de classificação,</p><ul><li>(i.) <a href="https://towardsdatascience.com/introduction-to-logistic-regression-66248243c148">Regressão Logística</a> é um algoritmo de análise preditiva e se baseia no conceito de probabilidade.</li><li>(ii.) Árvore de decisão, são construídas a partir de um processo de indução, onde os dados são divididos em subconjuntos cada vez mais puro — ganho de informação e entropia.</li></ul><p>Treinei esses 2 algoritmos com os 4 dataSet que possuímos sendo 1 com dados <em>desbalanceados</em> e 3 com técnicas diferentes de balanceamento. Ou seja, no fim temos 8 modelos para decidir qual melhor usar.</p><p>Treinamos (<em>fit</em>)os modelos com os “dados de treino” desbalanceados e balanceados. Para estimar quão bem o modelo irá performar diante de novos dados, é entregue ao modelo (<em>predict</em>)“dados de teste”, informações que ele não viu ainda, para verificar o quão <strong>generalizável</strong> está o modelo. Por fim, comparamos a previsões como o que realmente deveria ser previsto (<em>score</em>).</p><p>Usaremos como métrica <a href="https://medium.com/bio-data-blog/entenda-o-que-%C3%A9-auc-e-roc-nos-modelos-de-machine-learning-8191fb4df772">AUC</a> (área sobre a curva) uma das melhores métricas para avaliar um modelo de Machine Leraning, uma vez que quando as previsões estão 100% erradas seu valor é zero e quando estão 100% certas seu valor é 1. Com base nessa métrica avaliamos o melhor modelo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/357/1*w2CsQHLy9Ls1DjsmWqkhfA.png" /></figure><p>Verificamos que com os dados balanceados pelo método 3 (<a href="https://arxiv.org/abs/1106.1813"><strong>SMOTE</strong></a><strong>) </strong>apresentou melhor perfamance tanto com algoritmo de Regressão Logistica, com Árvore de decisão. Visualizaremos uma matriz de confusão desses dois melhores modelos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/408/1*udMwmJM3zBs7InolEJSaEg.png" /></figure><p>A <em>confusion matrix</em> permite identificar quais dos 2 tipos de erros o modelo incorreu.</p><p>Erros do <strong>tipo 1</strong> são os conhecidos como <strong>falso Positivo (FP)</strong>, para nosso caso esse erro é quando o modelo preveu que seria uma fraude ao passo que era uma transação genuína, ou seja, sabe quando você encontra uma oferta relâmpago na Amazon.com e vai comprar teu cartão nega…então… é isso… você poderá ter sido um Falso Positivo, ou ainda.. quando está comprando uma passagem aérea pela com aquele precinho na <em>Itapemirim Airlines</em>….. opa, nesse caso foi vantagem ser um Falso Positivo 😄😄😄.</p><p>Erros do <strong>tipo 2</strong> são os <strong>falso Negativo (FN)</strong>, ou seja, foi previsto que a transação seria genuína, no entanto era fraude. Para nosso problema de negócio, haveria um prejuízo financeiro para o cliente ou a instiuição do cartão.</p><p>Principais conclusões:</p><ol><li>Algoritmos de Árvores Decisão obtiveram um desempenho melhor ao lidar com os <strong>dados desbalanceados</strong>.</li><li>Algoritmos de Regressão Logistica foram superiores ao lidar com <strong>dados balanceados</strong>. Sendo a técnica SMOTE que obteve melhores resultados.</li><li>A solução ideal é aquela que melhor atende a instituição, podendo ser a com o maior AUC, ou a com o maior número de detecção de fraudes, ou a menor taxa de FP (falso positivo).</li><li>O modelo que melhor conseguiu prever fraudes foi o Modelo de Regressão Logística que treinou com dados balanceados pelo método SMOTE.</li></ol><p>Então quer dizer que para todo modelo de classificação podemos usar a Regressão logistica e a técnica de balanceamento SMOTE?</p><p>Não… 😶😶😶 vai depender do <strong>problema de negócio</strong> que quer responder… a <strong>qualidade de seus dados</strong>… o t<strong>empo de treinamento</strong>… o <strong>volume representativo de dados</strong>.. <strong>capacidade computacional</strong>….. 😄 Por isso que <em>Data Science</em> é apaixonante!! <strong>desafios únicos a cada projeto</strong>! E ainda podemos fazer um<em> tunning dos hyperparâmetros</em> para ver se melhoramos a acurácia… efim aqui é apenas o começo!!!!</p><p>Caso queiram entrar em contato: <a href="https://linktr.ee/angelobuso">Angelo Buso!!</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=95edf35a48aa" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Compreendendo como os computadores processam a Linguagem Natural Humana]]></title>
            <link>https://angelobuso-jr.medium.com/compreendendo-como-os-computadores-processam-a-linguagem-natural-humana-416cfe4f5b84?source=rss-fc80c06bfe5b------2</link>
            <guid isPermaLink="false">https://medium.com/p/416cfe4f5b84</guid>
            <category><![CDATA[streamlit-app]]></category>
            <category><![CDATA[spacy]]></category>
            <category><![CDATA[natural-language-process]]></category>
            <category><![CDATA[nltk]]></category>
            <dc:creator><![CDATA[Angelo Buso Jr]]></dc:creator>
            <pubDate>Mon, 18 Oct 2021 12:55:32 GMT</pubDate>
            <atom:updated>2021-10-18T12:55:32.619Z</atom:updated>
            <content:encoded><![CDATA[<h4>Usando especificamente a Linguagem Escrita</h4><p>A <strong>comunicação</strong> está diretamente ligado ao desenvolvimento de nós, seres humanos. É uma atividade essencial para a sobrevivência, convivência em sociedade, além necessário na busca das <strong>realizações pessoais e profissionais</strong>. O ato de <em>comunica</em>r tem a capacidade de integrar, instruir, desenvolver e relacionar-se mutuamente tanto nos contextos sociais e empresariais.</p><p>Neste sentido, a <strong>linguagem</strong> é a capacidade humana de comunicação, bem como suas manifestações, seja verbal ou não-verbal. Com tal capacidade conseguimos, transmitir de um indivíduo a outro, desde conhecimentos ciêntíficos ou não, situações vivenciadas, experiências vividas, fatos históricos, fatos fantasiosos, coisas supérfluas, acontecimentos diários, infelizmente <em>fake-news</em>…. enfim!!! Trocar informações faz parte da vida de qualquer pessoa.</p><p>A <strong>linguagem escrita</strong> é uma destas capacidades que usamos para nos comunicar, interagir no ambiente. E na medida que a “<em>tecnologia</em>” cerca nossa sociedade, trazendo em seu bojo uma série de desafios e oportunidades, aumenta nossa necessidade de usar os computadores para <strong>aprenderem</strong> sobre essa capacidade humana de linguagem escrita<em>. </em>Assim como a Visão Computacional ensina as máquinas como “enxergamos” o mundo com suas cores e formas, <strong>Processamento Linguagem Natural — PLN</strong> surge com suas técnicas e modelagens para instruir as máquinas a lerem, escreverem e compreenderem a língua humana. Os usos de técnicas de PLN no nosso dia-a-dia vão desde os <em>apps</em> de tradução automáticas , até <em>chatbot’s</em>.</p><p>Processamento da Linguagem Natural — PLN em sua essência, é uma das sub-áreas da inteligência artificial que combina a <strong>Linguística</strong> (ciência das línguas) e a <strong>Ciência da Computação</strong>. (a língua em que me refiro é o código de comunicação, exemplo português, libras, python, etc não o músculo do rosto do corpo humano 😁😁😁😁😁)</p><p>Um ponto que merece destaque é que, nós humanos, lidamos com naturalidade com ambiguidades, irregularidades, vagueza e variedade quando usamos a linguagem escrita ou falada para nos comunicar. Entretanto, para as máquinas, a linguagem deve ser clara, coesa, simples e sem ambiguidade. Com isso em mente podemos concluir que, com as técnicas de <strong>PLN</strong> conseguimos automatizar [<em>por enquanto</em>] apenas <strong>aspectos da língua</strong> e não 100% dela, sendo uma ferramenta auxiliar as tarefas humanas e não de substituição [<em>por enquanto</em>] !!</p><p>Vamos ao que interessa!!!! seria interessante se pudéssemos pegar de um texto qualquer, as palavras que mais aparecem. E uma vez identificada essas palavras mais frequentes, poderíamos extrair a idéia principal daquele texto, se realmente as palavras mais frequentes são de domínio do texto, dentro outros <em>insigths. </em>Com esse propósito e compreendendo algumas técnicas de <strong>PLN, </strong>construí um script que extrai de um arquivo em PDF todo o texto contido nele, verifica quais são as palavras mais frequentes e apresenta um nuvem de palavras (<em>wordcloud</em>) que seria a forma visual dessas frequência, em que a quantidade de vezes que a palavra surge no texto é proporcional ao seu tamanho nessa nuvem.</p><p>No <em>script</em> usei como texto o Evangelho de São Lucas, não é o objetivo deste fazer apologia religiosa, apenas escolhi um texto bíblico dado a minha fé cristã e pela importância que os textos bíblicos possuem na minha história.</p><p><strong>O </strong><a href="https://github.com/angeloBuso/PLN_Processamento_Linguagem_Natural/blob/main/WordCloud_PLN.ipynb"><strong>script </strong></a><strong>se adequa a qualquer texto de sua preferência.</strong></p><p>Usando a linguagem Pyhton, realizei a leitura da versão em PDF do Evangelho de São Lucas que possui:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CVHYGPFn7Y19oBQ3fTrmUQ.png" /></figure><p>Destas 62 páginas, extraímos seu conteúdo e após a extração, obtemos uma lista em Python de cada página com o texto. Podemos acessar cada página usando <em>slicing</em> em pyhton.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wUptYFkkzu5WTR0z7KAIDQ.png" /></figure><p>Antes de montar a nuvem de palavras, realizei alguns tratamentos como retirar as <em>stopwords</em> do texto. Mais a propósito… <em>stopwords </em>são palavras que possuem uma frequência alta no texto, mas não agregam informação para construir a nuvem de palavras, normalmente são artigos, preposições. Na biblioteca NLTK temos um conjunto de <em>stopwords</em> em português com 203 palavras em seu conjunto.</p><p>Com as <em>stopwords </em>no texto as 10 palavras mais frequentes seria essas:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/175/1*5rjErFAnemy6pjcxE8SGgA.png" /></figure><p>Após esse tratamento, as 10 palavras mais frequentes no Evangelho de São Lucas, foi:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/185/1*0oaajkos3f-AHrJ_tJav8A.png" /></figure><p>Uma das técnicas para conseguir realizar tanto a construção da nuvem de palavras, bem como identificar a frequência das mesmas, é <strong>tokenizar </strong>o texto, ou seja, reduzir um estrutura ao menor nível. Pegar o texto, separar em parágrafos, depois por sentenças. Destas últimas por frases e por fim por palavra. Ao longo desse precesso, combinado outras técnicas de PLN, conseguimos identificar as classes gramaticais das palavras, os caratectes que indicam pontuções, números. Feito esse <em>pipeline</em>, conseguimos gerar nossa nuvem.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/676/1*1pP4y7DoHXBRXEyh7G73UQ.png" /></figure><p>No entanto, não existe ferramenta 100%… ou seja, não há perfeição nas soluções feitas pelos homens!!! Podemos notar que algumas palavras ainda aparecem no texto e <strong>conhecendo</strong> o texto que esta analisando podemos atualizar a lista de stopwords. E gerar uma nova versão da nuvem:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/676/1*uYJWdmpwUjLNNlnDi0EcaA.png" /></figure><p>A medida que vamos aprofundando no conhecimento das ferramentas em que usamos, ganhamos <strong>vantagem situacional</strong>. Podemos melhorar esse visual da nuvem aplicando um fundo personalizado que representa o contexto do texto, no nosso caso, o Evangelho de São Lucas. Sendo assim temos como resultado:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/554/1*vTe4VK44IYHcp0H5OhwvgA.png" /></figure><p>Agora sim… temos um resultado a altura do texto!!!</p><p>Para auxiliar na geração dessas nuvens, usando apenas python, construi um <a href="https://gera-nuvem-palavra.herokuapp.com/"><strong>aplicativo</strong></a><strong> que gera uma <em>wordcloud </em></strong>de um texto inserido. <strong>Dá um confere lá</strong> e use para textos em que você necessite ver as principais palavras!!!</p><p>Caso queiram entrar em contato: <a href="https://linktr.ee/angelobuso">Angelo Buso!!</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=416cfe4f5b84" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Ciências de dados e os métodos científicos]]></title>
            <link>https://angelobuso-jr.medium.com/ci%C3%AAncias-de-dados-e-os-m%C3%A9todos-cient%C3%ADficos-1c082a983d27?source=rss-fc80c06bfe5b------2</link>
            <guid isPermaLink="false">https://medium.com/p/1c082a983d27</guid>
            <category><![CDATA[metodologia-científica]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <dc:creator><![CDATA[Angelo Buso Jr]]></dc:creator>
            <pubDate>Mon, 20 Sep 2021 12:21:47 GMT</pubDate>
            <atom:updated>2021-09-20T12:23:12.837Z</atom:updated>
            <content:encoded><![CDATA[<p>Os <strong>métodos científicos </strong>exige que qualquer pessoa seja capaz de replicar os mesmos resultados, considerando as mesmas premissas.</p><p><strong>Ciência</strong> é um metamorfose do <strong>senso comum </strong>, ambos buscam de alguma forma gerar conhecimento útil para soluções de problemas da humanidade.</p><p>A diferença é que, para o método científico há um <strong>rigor</strong> para se obter uma conclusão. “Rigor” significa exatidão extremada, <em>rigidez</em> , sendo assim, a <strong>ciência</strong> nada mais é que uma especialização do <strong>senso comum</strong> com um controle disciplinado de seu uso.</p><p>Apenas o que é <em>problemático</em> é pensado. Um problema advém de uma desordem, uma inquietude, um desconforto. Neste enredo, o desconforto é a manisfestação do problema, através de uma referência anterior da ordem. Pois, para saber o que é desordem, <em>a-priori</em> tem-se a noção da ordem!!!</p><p>Então o cientista de dados tem que ter a capacidade de reconhecer a desordem, ajudar ou formular o problema de forma clara e conhecer a ordem para estabelecer uma solução!!</p><p>Para tal missão, usamos <strong>modelos</strong> que é uma construção mental da ordem. Modelo é um artefato que tem forte relação com a <strong>teoria </strong>(conexão entre o fenômeno). Sendo assim exige revistar <strong>todo conhecimento</strong> existente sobre o assunto problemático. As <strong>hipóteses</strong> são lançadas com o objetivo de conduzir os esforços para reestabelcer a ordem, são as perguntas propostas, as tentativas de explicar o fenômeno pesquisado. <strong>Modelagem </strong>e <strong>Simulação </strong>computacional é a emulação da realidade, mas modelado por computadores, em que serão exercitados experimentos para (i) avaliação e (ii) melhoria/otimização de seu desempenho — modelo em questão, é a realidade em um ambiente controlado.</p><p>De forma resumida acima, compreendemos que os métodos científicos, aplicado em <strong>Ciência de dados </strong>, visa adotar tais métodos na infinidade dos <strong>dados</strong> em que somos expostos, como objetivo de transformar esses últimos em <strong>conhecimento!!</strong></p><p>Cada projeto de Ciência de Dados é único, tem o objetivo transformar um problema de negócio em um conhecimento mais apurado para o processo de tomada de decisão. No meu repositório do git, tem alguns passos que visa nortear na construção de projetos de ciência de dados, o intuito não é esgotar o assunto, pelo contrário, esse assunto é muito vasto!!!!</p><p><a href="https://github.com/angeloBuso/algoritmos_ML/blob/main/Template_chklist_projeto_ds.ipynb">algoritmos_ML/Template_chklist_projeto_ds.ipynb at main · angeloBuso/algoritmos_ML</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1c082a983d27" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Será que sabemos estruturar um “problema”?]]></title>
            <link>https://angelobuso-jr.medium.com/ser%C3%A1-que-sabemos-estruturar-um-problema-e26a013203b8?source=rss-fc80c06bfe5b------2</link>
            <guid isPermaLink="false">https://medium.com/p/e26a013203b8</guid>
            <category><![CDATA[soft-skills]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[problem-solving]]></category>
            <dc:creator><![CDATA[Angelo Buso Jr]]></dc:creator>
            <pubDate>Fri, 17 Sep 2021 13:43:59 GMT</pubDate>
            <atom:updated>2021-09-17T13:43:59.569Z</atom:updated>
            <content:encoded><![CDATA[<h4>Como ampliar os “soft skills” de um cientista de dados usando métodos científicos de estruturação de problemas.</h4><p>Usamos a ciência de dados como ferramenta para <strong>soluções de problemas </strong>do nosso dia-a-dia. Mas, normalmente, em que condições surgem um problema? E como estruturamos esse problema para otimizar sua solução? Essas perguntas, por um bom tempo, ficaram no limbo da minha curiosidade, até o dia em que em uma das aulas do <a href="https://medium.com/u/6fd700a00329">Carlos Melo</a> trouxe à luz alguns conceitos que cercam o tema e métodos de estruturação de problemas (<em>PSM — Problem Structure Method</em>).</p><p>Pois bem, as condições em que os problemas ocorrem, dentre uma infinidade de situações, os que tenho mais experimentado no contexto de ciência de dados foram (a) barreiras ao progresso, (b) sentimento de frustação, (c) necessidade de mudança, (d) acontecimento inesperado, (e)desacordo quanto a uma ação, (f) ocorrência/falha. Tais situações em que somos expostos em que os problemas emergem e há necessidade de usar todo o aparato de <em>data science</em> para resolver tal situação/problema. No entanto, será que estruturamos bem esse “problema” para solucionar?</p><p>Assim com a ciência de dados utiliza de metodologia cientifica para otimizar a solução de problemas, podemos tomar emprestado as metodologias científicas e aplicar na estruturação do problema em que queremos solucionar com <em>data science</em>. Com isso chegamos a Pesquisa Operacional Soft (PO Soft) que são <strong>abordagens estruturadas que usa a otimização e auxiliam na solução de problemas decisórios</strong>, uma vez que, a <strong>tomada de decisão</strong> é um <strong>processo lógico </strong>de selecionar uma escolhar dentre outras (<strong><em>trade-off’s</em></strong>). Independente da complexidade do problema, existem alguns elementos chave no processo que deverão ser considerados (i) compreender o propósito, (ii) conhecer o <em>bias (</em>viés) da organização e pessoal e (iii) considerar as diferentes consequências.</p><p>Usando as metodologias propostas pelo PSM (<em> Problem Structure Method) </em>tais como, a<em> </em>Soft Systems Methodology (<strong>SSM</strong>), Strategic Options Development and Analysis (<strong>SODA</strong>), <strong>mapas cognitivos</strong>, Strategic Choice Approach (<strong>SCA</strong>),<strong> </strong>Value Focused Thinking (<strong>VFT</strong>), estruturamos de modo adequado o<br>problema a ser abordado, com isso permite extrair idéias, sentimentos, valores, atitudes, viéses e por fim, chegamos no <strong>senso comum</strong>. Neste sentido, o foco passa a <strong>entender o problema, antes de resolvê-lo</strong>.</p><p>Não é o intuito discorrer sobre os métodos do PSM, uma vez que, cada método serve a um propósito, além de ser um tema muito extenso. No entanto, gostaria de falar como os <strong>mapas cognitivos </strong>auxiliam em problemas do cotidiano em tomadas de decisão. Esse método de estuturação de problemas, mapeia em “nós” no intuito de representar o pensamento (mundo subjetivo) de uma pessoa ou um grupo de pessoas, permitindo ter uma visão holística do problema. Usando um software <a href="https://www.superdecisions.com/downloads/">Superdecision</a>, auxiliando na construção do mapa cognitivo, utilizando o método <strong>AHP </strong>(Analytic Hierarchy Process) que divide o problema em níveis hierárquicos, facilitamos sua compreensão e avaliação na construção da estrutura hierárquica. Comparamos os critérios “<em>dois a dois</em>” e verifica a consistência das comparações.</p><p>De forma prática, para exlcuir a subjetividade na compra de um veículo (problema a ser resolvido) podemos aplicar o método <strong>AHP </strong>para embasar a tomada de decisão. O <strong>(a) objetivo principal </strong>é topo da estrutura (método <em>top-down</em> de estruturação). Os <strong>(b) critérios</strong> seriam os balizadores que atendem ao objetivo principal e que serão comparados entre si. As <strong>(c) alternativas</strong> serão as opções que podem solucionar o problema (objetivo principal).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/744/1*QInM6nENHS9Vq5Sp7QdObA.png" /></figure><p>Uma vez esturado o problema, com auxílio do software podemos confrontar cada par de critério dado o objetivo principal, além de confrontar cada par de alternativas com os critérios porpostos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RVWJxo9JGY51oRPklXj5Vw.png" /></figure><p>A comparação dos pares inicia-se confrontando cada par de critérios frente ao objetivo principal. Ou seja, nessa parte colhemos 6 julgamentos que, entre dois <strong>critérios, </strong>qual tem mais “relevância” para o<strong> objetivo principal</strong>. Nesse ponto já podemos notar que, para mim, “consumo” e “tecnologia” são mais importantes que “preço” e “conforto”.</p><p>As próximas análises, confronta cada <strong>critério </strong>com pares das <strong>alternativas</strong>. demais comparações seguem o mesmo fluxo. Interessante ressaltar que dos 4 critérios, temos 2 que são subjetivos (“tecnologia” e “conforto”) e os demais são quantitativos (“preço” e “consumo”). O software permite incluir esses valores quantitativos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QMNRUSyhage7URdxEipfcw.png" /><figcaption>critério “tecnologia” -&gt; subjetivo</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OoHzJFBulMA51_H7ZwHUWw.png" /><figcaption>critério “preço” -&gt; quantitativo</figcaption></figure><p>Após fazer todas as estruturação hierarquica e colhidos os “julgamentos” necessários, podemos ver qual o resultado proposto pelo <strong>método AHP</strong> para a solução do problema.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/902/1*SgD6r8-G3ILJYE5i-nPetA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/795/1*YFlHROhsOGm8OL8UmuPYtw.png" /></figure><p>Observado todo método científico por trás dos métodos de estrutução de problemas, conseguimos extrair um <strong>ranking </strong>de alternativas que o<strong>timiza a solucão do problema proposto</strong>. Dado aos critérios elencados como importantes e a percepção desses nas alternativas dos veículos a alternativa 1 Nissan Kicks otimiza a escolha do veículo. Com esse exemplo simples, retiramos alguns <em>viéses </em>que por hora estamos expostos, além de poder extrapolar na estruturação problemas mais complexos e com isso concatenar com o arsenal que a ciência de dados possui e otimizar todo o processo.</p><p>Pra finalizar, quando for convidado a usar <strong>ciência de dados</strong> para “resolver” um problema de negócio… e se para esse “problema” as metas e objetivos não estiverem claros ou bem compartilhados, há muita subjetividade que inviabiliza a mensuração do problema ou se até as decisões e consequências destas são “multi-descentralizadas”, então….. é uma boa prática aplicar um dos métodos de PSM, para <strong>re/estruturar </strong>o “problema”!!!!</p><p>E você, conhece e faz uso de alguma método de estruturar problemas?</p><p>Bibliografia</p><p>Apresentação do curso MB-217. Método AHP <strong>Método Analytic Hierarchy Process</strong> . Dra Amanda C. Simões da Silva. Maio-2017.</p><p><a href="https://sigmoidal.ai/blog-sigmoidal/">Carlos Melo</a>, <a href="https://sigmoidal.ai/">Escola de Data Science.</a></p><p><a href="https://banxia.com/pdf/de/GettingStartedWithCogMapping.pdf">Getting Started with Cognitive Mapping</a>, <br>Fran Ackermann, Colin Eden, Steve Cropper, 1992.</p><p><a href="https://www.scielo.br/j/gp/a/PDr9Vs5zGfJdfdfbZndQ48H/?lang=pt">Estruturação do problema de gerenciamento de desastres do estado de São Paulo por intermédio do método Strategic Options Development and Analysis</a>, Daniel Ferreira MansoRicardo SuterioMischel Carmen Neyra Belderrain, 2015.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e26a013203b8" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Reconhecimento Facial]]></title>
            <link>https://angelobuso-jr.medium.com/reconhecimento-facial-ad69c6b5f23b?source=rss-fc80c06bfe5b------2</link>
            <guid isPermaLink="false">https://medium.com/p/ad69c6b5f23b</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[computer-vision]]></category>
            <dc:creator><![CDATA[Angelo Buso Jr]]></dc:creator>
            <pubDate>Wed, 25 Aug 2021 21:05:52 GMT</pubDate>
            <atom:updated>2021-08-25T21:05:52.028Z</atom:updated>
            <content:encoded><![CDATA[<h4>Utilizando auto-vetores e auto-valores no reconhecimento de faces!</h4><p>Diariamente nós, os humanos, relacionamos e interagimos com pessoas tanto no âmbito profissional ou pessoal. Nessas interações temos a capacidade de reconhecer o rostos das pessoas e com o passar do tempo e a familiaridade que tal rosto tem, mesmo com algumas alterações, seja pelo uso de máscaras, corte de cabelo ou a ação natural do tempo, ainda continuamos a reconhecer aquela pessoa, bastando apenas olhar para seu rosto.</p><p>Replicar esse notável reconhecimento de faces/pessoas nos computadores não é uma tarefa trivial, no entanto existem computadores que realizam tal tarefa e usam modelos que reconhecem pessoas, como Linear Discriminant Analysis, Elastic Bunch Graph Matching e Reconhecimento Facial utilizando <strong><em>Eigenfaces</em></strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/656/1*dYooxxseJAeOsAPLWiLerQ.png" /></figure><p>O Reconhecimento Facial utilizando <strong><em>Eigenfaces</em></strong>, emprega um conceito emprestado da <strong>Matemática</strong> os “<strong>auto-valores”</strong> e “<strong>auto-vetores”</strong>.</p><p><a href="https://pt.khanacademy.org/math/linear-algebra/alternate-bases/eigen-everything/v/linear-algebra-introduction-to-eigenvalues-and-eigenvectors">De forma bem resumida</a>, a ideia é se puder substituir uma matriz inteira por um número escalar, os vetores que respeitam esta regra são chamados de <strong>autovetores </strong>e o número escalar é o que chamamos de <strong>autovalor</strong>.</p><p>Usando um repositório <a href="http://www.vision.caltech.edu/html-files/archive.html">público de imagens</a>, da California Institute of Technology, referência popular para algoritmos de reconhecimento facial, onde foi catalogada 450 imagens de pessoas diferentes (31 ao todo) e que cada foto foi capturada em várias condições de iluminação, cenas de fundo e expressões faciais. O intuito do projeto foi exercitar o uso dos <strong><em>Eigenfaces</em></strong> (auto-espaço de faces) no pré-processamento das imagens e após entregar esses Eigenfaces ao algoritmo classificador, SVM (t<a href="https://github.com/angeloBuso/algoritmos_ML/blob/main/Template_SVM_ConstrucaoManual_Classificacao.ipynb">empos atrás falei um pouco do SVM — Suport Vector Machine</a>) que tem por objetivo treinar um modelo de reconhecimento facial.</p><p>No meu repositório do GitHub encontra-se o <a href="https://github.com/angeloBuso/CV_reconhecimento_facial">código fonte</a>.</p><p>Para esse projeto, a parte de pré-processamento dos dados foi extremamente importante, pois é nessa parte que usamos a técnica do <strong><em>Eigenfaces </em></strong>e foi foco do projeto<strong><em>.</em></strong></p><p>Uma imagem é vista como uma matriz de pixels pelos computadores e se colorida temos uma matriz com 3 dimensões (RGB). Para estabelecer o relacionamento das imagens para que o algoritmo aprenda a similaridade das faces, o primeiro desafio que temos é redimensionar o tamanho das matrizes com três dimensões a um tamanho e formato, que ao mesmo tempo (i) mantenha as propriedades da matriz original e (ii) garanta performance nos cálculos.</p><p>A imagem lida em seu formato original, podemos identificar a dificuldade que teríamos se fossémos utilizar as imagens sem um pré-tratamento:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yYh2OIOOHne7ToXWfjpuOQ.jpeg" /><figcaption>Note que é apenas a 1° imagem “lida” e já informa que é muito grande essa estrutura de dados</figcaption></figure><p>Para superar esse primeiro obstáculo, uma técnica em visão computacional é tranformar uma imagem que possua 3 dimensões em apenas 1 dimensão, em uma escala de cinza, mantendo as mesmas características da imagem colorida e facilitando a manipulação destas imagens:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jKAUhcL7ZjTiLrcyDhI-JQ.jpeg" /><figcaption>A imagem passa a ser um array de 0 a 255, escala de cinza.</figcaption></figure><p>Um segundo obstáculo, foi a extração do ROI — <em>Region of Interest</em> das imagens em questão. Como o escopo principal do projeto é detectar a face de uma imagem, temos que extrair dessas imagens apenas o local da face, antes de alimentar o modelo de machine learning. A extração do ROI das imagens foi realizada por um mapeamento feito pelo proprietário das imagens, que foi muito “bonzinho”, no entanto caso não tivéssemos tais locais ou (a) faríamos esse processo quando estivéssemos etiquentando os dados ou (b) usaríamos algum algoritmo de ML para essa finalidade.</p><p>Após esses pré-processamentos, das 450 imagens de 31 pessoas diferentes obtemos a seguinte matriz:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/721/1*dqMMyXydtBE4o0KaYPcpXw.png" /><figcaption>450 observações com 2913 atributos/colunas</figcaption></figure><p>Entretanto o pré-processamento não termina por aqui, muito embora os dados já estejam em escala de cinza e apenas as faces de cada imagem eles possuem uma dimensionalidade grande e provavelmente treinar um classificador com dados de alta dimensionalidade não teremos performance e nem acurácia. É aqui que utilizamos os <strong><em>Eigenfaces</em></strong> para estabelecer o relacionamento entre um conjunto de imagens e encontramos o auto-espaço de faces (os auto-vetores e auto-valores), no qual se pode computar o quão similar duas ou mais faces são. Empregando uma técnica difundida para determinar padrões em dados de grande dimensão o PCA (Principal Component Analysis) remove informações que não são úteis e especificamente decompõe a estrutura da face em componentes que não estão correlacionados com isso obtemos os <strong><em>Eigenfaces.</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OsHwvMxvpFB6ZP01PfaFag.png" /></figure><p>Resumindo, das imagens de cada pessoa, nesse caso 25 imagens da “pessoa_15”, comprime e extrai o PCA desse indivíduo. Com o PCA o modelo aprende a relação/similaridade/correlação de cada face e quando é apresentado uma nova face realiza a previsão, lógico que de forma recursiva para todas as faces.</p><p>No repositório do <a href="https://github.com/angeloBuso/CV_reconhecimento_facial">GitHub </a>, no read-me tem um gif que resume o que descrevi (não consegui hospedar aqui no medium pelo tamanho) procurei comentar bem o código e esta modularizado. Estou a disposição para dúvidas ou suegstões de temas, bast entrar em contato: <a href="https://www.linkedin.com/in/angelo-buso/">Linkedin</a>, <a href="https://github.com/angeloBuso">GitHub</a> e aqui no próprio Medium!!</p><p>Referências:</p><ul><li><a href="https://www.lcg.ufrj.br/marroquim/courses/cos756/trabalhos/2013/abel-nascimento/abel-nascimento-report.pdf">https://www.lcg.ufrj.br/marroquim/courses/cos756/trabalhos/2013/abel-nascimento/abel-nascimento-report.pdf</a></li><li><a href="https://en.wikipedia.org/wiki/Eigenface">https://en.wikipedia.org/wiki/Eigenface</a></li><li><a href="https://www.cs.ucsb.edu/~mturk/Papers/mturk-CVPR91.pdf">https://www.cs.ucsb.edu/~mturk/Papers/mturk-CVPR91.pdf</a></li><li><a href="https://arxiv.org/pdf/1705.02782.pdf">https://arxiv.org/pdf/1705.02782.pdf</a></li><li><a href="http://vision.stanford.edu/teaching/cs231a_autumn1112/lecture/lecture2_face_recognition_cs231a_marked.pdf">http://vision.stanford.edu/teaching/cs231a_autumn1112/lecture/lecture2_face_recognition_cs231a_marked.pdf</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ad69c6b5f23b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Regressão Linear com matrizes]]></title>
            <link>https://angelobuso-jr.medium.com/regress%C3%A3o-linear-com-matrizes-266a6f5fd797?source=rss-fc80c06bfe5b------2</link>
            <guid isPermaLink="false">https://medium.com/p/266a6f5fd797</guid>
            <category><![CDATA[regression-analysis]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Angelo Buso Jr]]></dc:creator>
            <pubDate>Sat, 05 Jun 2021 18:17:47 GMT</pubDate>
            <atom:updated>2021-06-05T18:17:47.049Z</atom:updated>
            <content:encoded><![CDATA[<h4>Obtendo os mesmos resultados de um regressor de Machine Learning</h4><p>A Regressão Linear é considerada como um dos algoritmos mais simples de Machine Learning (ML). Entretanto, não confunda simplicidade com ineficiência. Em problemas de regressão, busca-se prever valores numéricos e considerando aprendizagem supervisionada, onde tenho dados de entrada (X) e dados de saída (Y), algoritmos regressores aprendem qual os melhores <strong>pares de parâmetros/coeficientes</strong> que define uma <strong>reta de regressão</strong>. Com esta reta de regressão, dado um novo valor de entrada, conseguimos saber qual seu correspondente, logo a reta de regressão é o nosso modelo <em>modelo preditivo</em>.</p><p>Para alcançar seu objetivo, os motores de cálculo dos regressores em ML normalmente usam como função de custo a (i.) soma dos erros ao quadrado ou (ii.) a soma da difereção absoluta, logo encontram a melhor equação que minimiza os erros, a mínima diferença dos valores previsto com o que realmente foi observado. Exemplificando, Y = b0 +b1*X, onde Y é o resultado da relação de X com os parâmetros b0 e b1. Regressores de ML recebem os valores de X e Y, iterando sobre esses dados “aprendem” a relação matemática e identifica os melhores valores para “b0” e “b1”. Com a equação completa temos o modelo preditivo que é a nossa reta de regressão.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/501/1*Egn4dKg1rJ2OLwAdM6Q4BQ.png" /></figure><p>No entanto, quero mostrar uma outra forma em que podemos encontrar esses coeficientes (b0 e b1), usando apenas <strong>operações com matrizes. </strong>Já adianto, querido leitor, que usando apenas matrizes não chegamos na mesmas performances e otimização que os regressores de ML, apenas é uma outra forma de compreender o poder das relações entre matrizes.</p><p>Operações matriciais são muito usadas em Deep Learning, redes neurais artificiais profundas, em que o produto entre as matrizes de (i.) peso, (ii.) dados de entrada e (iii.) <em>bias</em>-linearidade, alimenta uma função de ativação que calcula uma probabilidade de sucesso em cada camada de “neurônio artificial”. Mas… o objetivo aqui não é deep learning, mas sim como operações com matrizes são poderosas.</p><p>No <a href="https://github.com/angeloBuso/algoritmos_ML/blob/main/Template_ConstManual_Regressor_DotMatrix.ipynb">notebook </a>disponível no meu repositório, temos o passo-a-passo de como se dão as operações matemáticas e as transformações necessárias, para encontrar os coeficientes que satisfazem a equação Y= b0 + b1*X, tanto de <strong>(i.) forma matricial</strong>, quanto o <strong>(ii.) uso da biblioteca Stats Models</strong>.</p><p>Na forma matricial, temos que converter nos dados de entrada X e os dados de saída Y em matrizes….até porque se queremos a multiplicação entre as matrizes… temos que ter as matrizes 😁😁🤣😁!! Dos vetores de dados que tínhamos, colocamos em uma matriz aumentada os valores de X e seu <em>bias </em>e em uma outra matriz, os valores de saída de Y.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6fb580ec47aeac3879994e3b19c34f80/href">https://medium.com/media/6fb580ec47aeac3879994e3b19c34f80/href</a></iframe><p>Agora que temos a matriz de entrada X e a matriz de saída Y, atendendo as <a href="https://pt.khanacademy.org/math/algebra-home/alg-matrices">regras básicas e propriedades</a> da multiplicação entre matrizes, encontramos as matrizes escalonadas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OojoDxPhCZtjURdRTxCJzA.png" /></figure><p>E usando o cálculo de determinante matricial, dado pelo produto da matriz inversa e as matrizes escalondas, encontramos os coeficientes.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EqRHds2e7IiS6oOtt4GuFQ.png" /></figure><p>Usando o StatsModels, entregando a ele os dados no formato em que ele espera receber, treinamos o modelo com uma linha de comando:</p><pre>regressor = smf.ols(formula = ‘Y ~ X’, data= df).fit()<br>print(regressor.summary())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/717/1*MN-RjSNzq5ufO_-Ufx1OEA.png" /></figure><p>Usando matrizes ou algoritmo de regressão linear, encontramos so mesmos coeficientes.</p><pre>print(&#39;A função linear com matrizes é: Y^= <strong>{}</strong> +<strong>{}</strong>*X&#39;.format(round(b0[0],2),round(b1[0],2)))<br>print(&#39;A função linear com algoritmo regressor é: Y^= <strong>{}</strong> + <strong>{}</strong>*X&#39;.format(round(modelo.params[&#39;Intercept&#39;],2), round(modelo.params[&#39;X&#39;],2)))</pre><pre>A função linear com matrizes é: 		 Y^= -0.09 + 1.07*X<br>A função linear com algoritmo regressor é: 	 Y^= -0.09 + 1.07*X</pre><p>A diferença é a performance e otimização no cálculo. Com uso de matrizes os coeficientes são encontrados em 27 microssegundos, ao passo que com o algoritmo regressor 11 microssegundo.</p><p>E performance faz toda a diferença quando temos <strong>muitos registros e variáveis, não acha???</strong></p><p>Caso queiram entrar em contato: <a href="https://linktr.ee/angelobuso">https://linktr.ee/angelobuso</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=266a6f5fd797" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[É preciso “reinventar” a roda para usar Machine Learning?]]></title>
            <link>https://angelobuso-jr.medium.com/%C3%A9-preciso-reinventar-a-roda-para-usar-machine-learning-852581a668c6?source=rss-fc80c06bfe5b------2</link>
            <guid isPermaLink="false">https://medium.com/p/852581a668c6</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[framework]]></category>
            <dc:creator><![CDATA[Angelo Buso Jr]]></dc:creator>
            <pubDate>Fri, 28 May 2021 12:17:10 GMT</pubDate>
            <atom:updated>2021-05-28T12:17:10.396Z</atom:updated>
            <content:encoded><![CDATA[<h4>Compreender as operações dos algoritmos de ML garantem seu melhor uso!</h4><p>A resposta para essa pergunta é muito simples, “não”! Assim como os <strong>dados</strong> são considerados o novo petróleo, ao nosso <strong>tempo</strong> devemos dar a mesma importância e usá-lo de forma eficiente.</p><p>Para auxiliar-nos na construção de modelos preditivos com uso de algoritmos de Machine Learning (ML), podemos recorrer a frameworks como Scikit Learn, TensorFlow, Spark Mlib, AzureML, Rose, entre outros. Esses frameworks encapsulam as operações matemáticas, estatísticas e a lógica necessária, para cada desafio que um algoritmo consegue realizar, de forma performática e generalizada (atenção: <em>generalizada </em>é diferente de <em>genérico</em>).</p><p>No entanto, o fato de não precisar construir um algoritmo de ML do “zero”, não significa que devemos nos limitar em sermos executores de script’s e funções dos framework’s. Conhecer as operações matemáticas, estatísicas e ciência da computação que está por trás de cada algoritmo, ou pelo menos os que mais usamos né 😁!, é o que separa um profissional que <em>“apenas aperta um botão”</em>, de um que sabe o <em>“porquê que está apertando um botão”.</em></p><p>Nesta linha, compreender quais tarefas que um algoritmo realiza é importante. O algoritmo SVM (<em>Support Vector Machine</em>) é uma classe de algoritmo em que seu espaço de hipóteses (delimita o que um algoritmo pode realizar) possuem métodos baseados em <strong>otimização</strong>. Eles podem solucionar problemas/tarefas tanto de <strong>classificação</strong>, como <strong>regressão</strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/691/1*fFz60KVy9_-5-Gf2dNEbLw.png" /></figure><p>Quando os dados não forem lineramente separáveis, os SVM’s possuem habilidades de expor esses dados a <strong>novas dimensões</strong> e serem capazes de encontrar uma linha ou um <em>plano</em> [hyperplano/modelo preditivo] que mehor segrega esses pontos de dados. Cada margem encontram os <em>suport vectors</em>, os vetores limites de cada classe de dados e servirá para delimitar o limite dessa classe. Esses vetores limites daram o <em>suporte</em> para um “segregador”. Sendo que cada classe de vetor, atributos do modelo, terá seu próprio “segregador” e entre eles encontramos o hyperplano (modelo preditivo de SVM).</p><p>No <a href="https://github.com/angeloBuso/ml_SVM/blob/main/Template_SVM_ConstrucaoManual_Classificacao.ipynb">notebook </a>disponível no meu repositório, temos o passo-a-passo de como se dão as operações matemáticas para encontrar o hyperplano de SVM, tanto de <strong>(i.) forma personalizada e iterativa</strong>, quanto o <strong>(ii.) uso do framework Scikit Learn</strong>.</p><p>Ambas modelos preditivos tiveram a mesma acurácia, entretanto a construção da (i.) forma personalizada demanda tempo para confeccionar e se alterar alguma premissa há necessidade de rever todo código.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/48b63ca8bb97d309098c10e139f470f0/href">https://medium.com/media/48b63ca8bb97d309098c10e139f470f0/href</a></iframe><p>Ao passo que usando o (ii) framework Scikit Learn, temos:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/067bfa895764e330fd132f96dd91fa92/href">https://medium.com/media/067bfa895764e330fd132f96dd91fa92/href</a></iframe><p>Cabe destacar que o <strong>pré-processamento dos dados</strong>, tanto para a (i.) confecção do algoritmo de ML como para o (ii.) framework foi o mesmo, além de ser um das atividade que antecede a aprendizagem de um modelo é uma das fases <strong>mais importantes</strong> para todo o processo de ciência de dados.</p><p>Com isso concluimos que não precisamos <em>reinventar</em> a roda… podemos maximizar nosso tempo, no entando cabe a nós entender <strong>o mínimo</strong> que cada algoritmo realiza, então saberemos usar com mais eficiência essas “invenções”!!</p><p>E você “investe” um pouco do seu tempo para aprender a matemática por trás dos algoritmos de ML???</p><p>Caso queiram entrar em contato: <a href="https://www.linkedin.com/in/angelo-buso/">Linkedin</a>, <a href="https://github.com/angeloBuso">GitHub</a> e aqui no próprio Medium!!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=852581a668c6" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Panoroma Covid19 no Brasil e no Mundo]]></title>
            <link>https://angelobuso-jr.medium.com/panoroma-covid19-no-brasil-e-no-mundo-e9f14d977fe0?source=rss-fc80c06bfe5b------2</link>
            <guid isPermaLink="false">https://medium.com/p/e9f14d977fe0</guid>
            <category><![CDATA[covid19]]></category>
            <category><![CDATA[data-visualization]]></category>
            <category><![CDATA[data-analysis]]></category>
            <dc:creator><![CDATA[Angelo Buso Jr]]></dc:creator>
            <pubDate>Mon, 19 Apr 2021 12:58:25 GMT</pubDate>
            <atom:updated>2021-04-19T12:59:07.081Z</atom:updated>
            <content:encoded><![CDATA[<h4>Brasil e seus 5.596 caminhos descentralizados no combate da doença.</h4><p>A Covid-19 é uma infecção respiratória aguda causada pelo coronavírus <strong>SARS-CoV-2</strong>, potencialmente grave, de elevada transmissibilidade e de distribuição global, causada por recém-descoberto coronavírus.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ssUnKCYoHdtMx1PLN0d0Lw.jpeg" /></figure><p>Os coronavírus são uma grande família de vírus comuns em muitas espécies diferentes de animais, incluindo o homem, camelos, gado, gatos e morcegos.</p><p>Transmitido principalmente por meio de gotículas provenientes de tosses ou espirros de pessoas infectadas, sendo que a infecção pelo SARS-CoV-2 pode variar de casos assintomáticos e manifestações clínicas leves, até quadros moderados, graves e críticos, sendo necessária atenção especial aos sinais e sintomas que indicam piora do quadro clínico que exijam a hospitalização do paciente</p><p>A ciência já evolui muito no combate à este vírus letal, inclusive produzindo anti-virais, que se soma aos esforços no combate desse mal, que assola o século XXI.</p><p>No Brasil, ainda há grande dificuldade de obter dados relacionados ao Covid19. Existe um grande embate entre alguns atores no cenário brasileiro.</p><p>Uma iniciativa desenvolvida pela <a href="https://www.oxfordmartin.ox.ac.uk/global-development">Universidade de Oxford</a>, busca manter uma base de dados atualizadas diariamente, que inclui informações sobre casos confirmados, óbitos, hospitalizações, testes e vacinações, bem como outras variáveis ​​de potencial interesse, batizado de <a href="https://ourworldindata.org/coronavirus">Our World in Data</a>. Esse repositório de informações de Oxford, encontra no <a href="https://github.com/owid/covid-19-data/tree/master/public/data">repositório</a> da iniciativa.</p><p>O projeto completo pode ser consultado em <a href="https://github.com/angeloBuso/EDA_Covid19/blob/master/EDA_Panorama_do_COVID_19_no_Brasil.ipynb">meu repositório do GitHub</a>.</p><p>A coleção dos dados da Oxford University, possui catalogada 59 variáveis que possuem uma riqueza de informações. Utilizaremos 3 de forma mais específica. (i) Total de casos confirmados, (ii) total de mortes confirmadas e (iii) PIB Per-Capita.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/c9db01bfd92b00cc15f48a6f276c577f/href">https://medium.com/media/c9db01bfd92b00cc15f48a6f276c577f/href</a></iframe><p>A variável gdp_per_capitacabe um comentário, sua informação representa o PIB (Produto Interno Bruto) de cada país, dividido pela população daquela nação, de forma anualizada e em dólares internacionais constantes de 2011 - ano mais recente disponível para todos os países, conforme dados da Oxford University.</p><p>Ou seja, para os Estados Unidos o PIB per capito em 2011 foi de USD 54.225,44 (dólares/ano), ao passo que o PIB per capito em 2011 no Brasil foi de USD 14.103,45 (dólares/ano).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/674/1*laXkDiW89kQPNB8E35m-Eg.png" /></figure><p>Traçando um paralelo entre situação de PIB Per Capita dos países, presentes nos dados, com a quantidade de mortes confirmadas, observa-se uma incidência maior de números de mortos em países em que o PIB per capito é abaixo de USD 20.000,00 (dólares/ano).</p><p><strong>Importante:</strong> a relação entre as variáveis <strong>NÃO SÃO CONCLUSIVAS</strong> por si só. Indica apenas um caminho que deve ser melhor investigado!</p><p>A mortalidade desse vírus é alta, segundo os dados de Oxford, até o dia 18/04/2021, no mundo, foram registrados cerca de 3.019.330 de mortes pela Covid19. E nesta triste realidade, o <strong>Brasil é o segundo</strong> país neste ranking de óbitos pelo vírus.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uks6V0dG9iMfYx6ZivTmgg.png" /></figure><p>Já escutei frases do tipo “ ahhh nos Estados Unidos estão morrendo mais gente… o Brasil é parecido… e lá [nos Estado Unidos] o número está bem maior que o daqui [Brasil]….”</p><p>Se considerarmos que o <strong>PIB </strong>poderia ser uma espécie de <strong>poder de recuperação das nações frente as adversidades</strong>, enquanto o número de mortes do segundo colocado [BRA] representa cerca de 65,8% do primeiro colocado [EUA], o PIB per capita brasileiro, representa apenas cerca de 25,9% do norte-americano. O que enseja em um poder maior de recuperação dos EUA, frente aos outros. Ou seja, a medida que encostarmos em números de mortes dos norte-americanos, não teremos o mesmo poder de reação equivalente. E se observarmos, os países em segundo, terceiro e quarto lugar, correponderam no máximo a 30% do PIB Per Capita Norte-Americano….. É não somos nada parecidos!!!</p><p>Acompanhando a evolução do vírus, ao longo do tempo, temos a seguinte situação:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nfbeZo3zam_1_lG0ESeuhw.png" /></figure><p>Desde o início dessa Pandemia Mundial, jan/2020, houve um crescimento elevado de casos confirmados, até meados do quinquagésimo dia. Reflexo da falta de conhecimento e informações deste novo tipo de corona vírus. A medida que pesquisadores e cientistas foram ganhando mais conhecimento, a cerca do vírus, nota-se uma redução na força dessa elevação de crescimento nos casos de infeccção confirmados.</p><p>No entanto, o gráfico sugere uma caminho de elevação, na proliferação do vírus, ao passo que a China mostra uma manutenção de novos casos da Covid19.</p><p>Com esta mesma visão de evolução do vírus, para casos de óbitos confirmados, temos:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*B_nNbrYoivyl-fH4t1BNVw.png" /></figure><p>Um ponto merece nossa atenção. A curva que representa o <strong>Brasil há uma têndencia de elevação mais acentuada</strong> que os demais países, o que nos deixa mais alertas com o cenário futuro dessa doença no nosso país.</p><p>Uma outra frase, também já ouvi muito, “ mais aqui no Brasil, qualquer morte colocam na ‘conta’ da Covid19….porque recebem verba extra…” e esse tipo de frase reflete aos possíveis 5.596 caminhos diferentes (1 País + 26 Estados + 1 Distrito Federal + 5.568 Municípios) e descentralizados que temos aqui no Brasil.</p><p>No Brasil, vemos que tanto a proliferação do vírus como o número de mortes está em crescimento. E tais números coloca nosso país nesses infelizes top-five de estatísticas da doença.</p><p>O fato é, temos que ter um ponto de inflexão e mudar esse cenário. O que vemos, até agora é que cada um pensando <strong>dentro de sua própria caixinha, não está surtindo efeito desejado. </strong>Ao fazer dessa forma abrimos espaço para se ter 5.596 caminhos descentralizados para o combate dessa doença. E ter essa quantidade de caminhos pode ser perigoso, e até as vezes um caminho sem volta.</p><p>Meu objetivo aqui não foi causar mais pânico…. isso por si só o vírus já tem causado. Mais propor que pensamos fora da caixa!!!</p><p>Soluções: infelizmente não tenho uma!!!! acredito que redução desses possíveis caminhos, de forma mais centralizada, pode ser uma solução possível. Comitês de debates do assunto que tenham equipes multidiciplinares, várias entidades profissionais debatendo o assunto <strong>conjuntamente</strong>…. redução de vieses políticos….enfim… pensemos fora da caixa!</p><p>E você no que acredita para combater essa doença?</p><p>Caso queiram entrar em contato: <a href="https://www.linkedin.com/in/angelo-buso/">Linkedin</a>, <a href="https://github.com/angeloBuso">GitHub</a> e aqui no próprio Medium!!</p><p>Fonte/Pesquisadores: Max Roser, Hannah Ritchie, Esteban Ortiz-Ospina e Joe Hasell (2020) — “Coronavirus Pandemic (COVID-19)”. Publicado online em OurWorldInData.org. Obtido em: <a href="https://ourworldindata.org/coronavirus">https://ourworldindata.org/coronavirus</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e9f14d977fe0" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[E o Rio de Janeiro continua lindo?]]></title>
            <link>https://angelobuso-jr.medium.com/e-o-rio-de-janeiro-continua-lindo-69369cf8a752?source=rss-fc80c06bfe5b------2</link>
            <guid isPermaLink="false">https://medium.com/p/69369cf8a752</guid>
            <category><![CDATA[dados-abertos]]></category>
            <category><![CDATA[analytics]]></category>
            <dc:creator><![CDATA[Angelo Buso Jr]]></dc:creator>
            <pubDate>Thu, 01 Apr 2021 12:05:30 GMT</pubDate>
            <atom:updated>2021-04-01T13:05:31.594Z</atom:updated>
            <content:encoded><![CDATA[<h4>Análise sobre a violência no estado do Rio de Janeiro.</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/696/1*9LtdUh6GyrvedJpcfxO25Q.jpeg" /></figure><p>O Rio de Janeiro não é famoso apenas pelas belas paisagens naturais que possui, mais também, infelizmente, pela quantidade de notícias sobre o quão violento é o estado. Ao passo que a violência avança e atinge grande parte das cidades brasileiras, ganha cada vez mais destaques nos noticiários.</p><p>Compreender a evolução dessa violência, bem como as possíveis causas que as originaram, poderiam auxiliar na percepção e no entendimento do comportamento desses atos violentos praticados. Os dados históricos podem ser um grande aliado nessa missão de reduzir a violência nas cidades brasileiras.</p><p>O código fonte utilizado poderá ser acessado <a href="https://github.com/angeloBuso/ViolenciaRJ/blob/main/Analisando_a_Viol%C3%AAncia_no_Rio_de_Janeiro.ipynb">por aqui</a>.</p><p>Usando a mentalidade de <em>open data</em> cada vez mais presente nas instituições e empresas aqui no Brasil, utilizamos os dados do ISP-RJ (Instituto Segurança Pública do estado do Rio de Janeiro), construídos a partir dos Registros de Ocorrência (RO) lavrados nas delegacias da Secretaria de Estado de Polícia Civil do Rio de Janeiro (SEPOL), além de informações complementares de órgãos específicos da Secretaria de Estado de Polícia Militar do Rio de Janeiro (SEPM).</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/72ee98fd1a2ee85c99d8e032b7dd444a/href">https://medium.com/media/72ee98fd1a2ee85c99d8e032b7dd444a/href</a></iframe><p>Por se tratar de uma série histórica desde 1991, <strong>(i.)</strong> recortaremos os dados para um período de análise para os anos de <strong>2015 à 2021</strong> e <strong>(ii.)</strong> faremos uma exploração em <strong>três</strong> das 56 variáveis relacionadas a violência que o ISP — RJ acompanha.</p><p>Algumas variáveis começaram a fazer parte desse rol, após a data de início da série. Logo os valores faltantes se deve ao fato da ISP-RJ não catalogar os referidos dados no mês e ano de referência do dado faltante. Não havendo necessidade de utilizar técnicas de <em>imputação.</em></p><p>Fazendo um recorte nos dados originais para o período analisado temos:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f192bfa246f6602fd9945f0c3fe67234/href">https://medium.com/media/f192bfa246f6602fd9945f0c3fe67234/href</a></iframe><p>A medida que a frota automotiva cresce, esses veículos estão expostos à ação de criminosos. Muitas das vezes, este veículo foi adquirido por financiamento e em alguns casos, não possuem seguro contra roubo. Logo compreender como está a situação deste tipo de crime, no estado do Rio de Janeiro, poderiam nos informar o tamanho do risco que um cidadão incorre ao financiar um veículo e não considerar realizar um seguro contra roubo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/680/1*TYxO1zZeV9o2cu91k_d14w.png" /></figure><p>Entre o período de janeiro/2015 à fevereiro/2021 a média mensal de roubos e furtos de veículos, no estado RJ, foram de 3.3363 e 1.298 veículos, respectivamente.</p><p>Entretanto a segurança Pública do estado RJ, recupera em média cerca de 50% dos veículos subtraídos.</p><p>Abaixo visualizamos o comportamento mensal deste tipo de crime no estado do RJ.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/604/1*audlDFrz0U9_FHKd7KvRBQ.png" /></figure><p>Observa-se uma redução neste tipo de crime no período em que o Brasil declarou Pandemia da Covid19. Em maio/2020 foi o observado a quantidade mínima do período analisado, com 2.490 veículos roubados!</p><p>Nossa depêndencia dos “<em>smartphones</em>”, como são conhecidos os celulares é uma verdade para todos. Fazemos praticamente tudo nesses aparelhos. Então vamos colocar uma lupa sobre a quantidade de crimes, que lesam as vítimas de seus queridos aparelhos celulares.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/604/1*pxcIijirAj4SNeb9MgT3kg.png" /></figure><p>Dois pontos saltam aos olhos nesse gráfico da evolução dos roubos de celulares no estado do Rio de Janeiro, no período de jan/2015 a fev/2021:</p><ul><li>O ponto mínimo observado, refere-se ao registro do mês de fev/2017. Usando estatística descritiva, podemos inferir que esse registro <strong>pode ter sido um possível erro</strong> de entrada de dados, pois foge a distribuição dos dados.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/593/1*T7iKGsEguKDZJsFNn16b4w.png" /></figure><ul><li>Houve uma tendência de queda, observada no período posterior ao decreto de Pandemia da Covid19 no Brasil (março/2021).</li></ul><p>Não poderíamos deixar de verificar o patrimônio, que no meu ponto de vista, é o mais importante, nossas <strong>vidas</strong>. Sem ela não temos condições de fazer nada nesse mundo terreno.</p><p>Os dados do ISP — RJ consolida os crimes contra a vida humana em um grupo denominado “Crimes Violentos”. Há uma subcategoria, <strong>letalidade_violenta</strong> que é o somatório dos seguintes crimes: Homicídio doloso; Lesão corporal seguida de morte; Latrocínio e Morte por intervenção de agente do Estado.</p><p>Visualizando de forma anualizada, observa-se uma queda na subtração de vida no estado do RJ.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9b40aa9d982fc97a422dfc1493e981f4/href">https://medium.com/media/9b40aa9d982fc97a422dfc1493e981f4/href</a></iframe><p>Entretanto, vizualizando a série mensal percebemos uma tendência de manutenção, com <strong>indício</strong> de crescimento:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/598/1*ZUTZDZoAvUI0IBp5LCvsEw.png" /></figure><p>Observa aqui também, que no período do decreto da Pandemia da Covid19 no Brasil (março/20) , houve uma redução grande de crimes de letalidade violenta. No entanto, fica claro que a partir de novembro/2020 há uma tendência de alta, indicando uma retomada na série para níveis anteriores.</p><p>Todo processo de análise em <em>Data Science</em> as conclusões são únicas, pois reflete aos dados no contexto do problema de negócio apontado no início do projeto. Este dataSet que utilizamos é bom para praticar manipulação de dados e suas variações. Mudando a perspectiva de como os dados são aprensentados podemos obter bons <em>insights</em>.</p><p>Das 3 variáveis que observamos, por ser tratar do tema <strong>violência,</strong> gostaríamos de ter cenários com tendências mensais de queda. No entanto, quando plotamos os dados históricos observamos que há uma manutenção na quantidade destes crimes.</p><p>Notamos que, das 3 varíaveis observadas todas as máximas foram observadas nos meses de <strong>março</strong>, independente do ano. O que indica que o mês de março, no estado do Rio de Janeiro, não seria uma boa idéia “<em>ficar de bobeira”</em>. Podemos ainda afirmar que no período em que foi decretado Pandemia da Covid19 no Brasil, março/2020, notou-se redução desses delitos, uma vez que as vítimas não ficaram expostas às ações de criminosos, parece óbviu essa última conclusão, mas as vezes o<strong> óbviu precisa ser falado</strong>.</p><p>Espero que tenha gostado!</p><p>Caso tenha dúvidas ou sugestão pode entrar em contato comigo!!! será um prazer trocar uma idéia contigo!!</p><p><a href="https://github.com/angeloBuso">GitHub</a> e <a href="https://www.linkedin.com/in/angelo-buso/">LinkedIn</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=69369cf8a752" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>