<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Jogando os Dados - Medium]]></title>
        <description><![CDATA[Hernandes Matias Junior é um profissional multidisciplinar. Formado em Engenharia Civil e em Administração de Empresas, atualmente é pós-graduando em Data Science e encontrou na área de dados uma chance de unir seus conhecimentos da área de exatas, negócios e sua criatividade. - Medium]]></description>
        <link>https://medium.com/jogandoosdados?source=rss----692c8e9a854f---4</link>
        <image>
            <url>https://cdn-images-1.medium.com/proxy/1*TGH72Nnw24QL3iV9IOm4VA.png</url>
            <title>Jogando os Dados - Medium</title>
            <link>https://medium.com/jogandoosdados?source=rss----692c8e9a854f---4</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Thu, 19 Nov 2026 01:18:43 GMT</lastBuildDate>
        <atom:link href="https://medium.com/feed/jogandoosdados" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Mais do que executar um código: fazendo uma análise de correlação com Python]]></title>
            <link>https://medium.com/jogandoosdados/mais-do-que-executar-um-c%C3%B3digo-fazendo-uma-an%C3%A1lise-de-correla%C3%A7%C3%A3o-com-python-638a2971949a?source=rss----692c8e9a854f---4</link>
            <guid isPermaLink="false">https://medium.com/p/638a2971949a</guid>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[correlação]]></category>
            <category><![CDATA[análise-de-dados]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[Hernandes Matias Junior]]></dc:creator>
            <pubDate>Wed, 25 Aug 2021 13:33:10 GMT</pubDate>
            <atom:updated>2021-08-25T14:52:14.520Z</atom:updated>
            <content:encoded><![CDATA[<h4>Nesta análise, testes são realizados para se decidir entre o método de Pearson, Spearman ou Kendall</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*beEP_5lN03hjXa-7qu6bBw.gif" /><figcaption>Illustração por Jonas Mosesson.</figcaption></figure><p>Parte de uma boa análise exploratória de dados, a descoberta do coeficiente de correlação entre variáveis pode ser feita utilizando uma linha de código no Python. No entanto, pode-se chegar ao coeficiente de correlação utilizando alguns métodos, sendo os mais comuns os de <strong>‘Pearson’</strong>, <strong>‘Spearman’</strong> e <strong>‘Kendall’</strong>. Mas como saber qual método escolher? É nesse momento em que uma boa base teórica faz a diferença para quem está fazendo a análise.</p><p>A principal premissa antes de se definir o método a ser utilizado é a distribuição normal da variável a ser analisada. Isso porque ‘Pearson’ é uma medida de correlação paramétrica, enquanto ‘Spearman’ e ‘Kendall’, são medidas de correlação não-paramétricas, sendo esse último recomendado para amostras menores, ou quando a variável possui muitos dados que se repetem.</p><p>Dispondo de uma base de dados de qualidade do ar, a missão desse post é verificar a normalidade dos dados da variável <strong>‘Carbono’</strong>, usando o Boxplot, Histograma, Quantil-Quantil Plot, testes de Shapiro-Wilk, Kolmogorov Smirnov(Lilliefors) e Anderson-Darling, e, após a constatação, escolher entre os três métodos já mencionados anteriormente, para definirmos o coeficiente de correlação entre essa variável e as outras que também estão presentes no dataset.</p><p>Em todo o decorrer do post vou assumir que você já conhece um pouco de Estatística. Isso porque para explicar tudo detalhadamente eu precisaria de mais do que uma publicação aqui no Medium.</p><h3>1. Características da Distribuição Normal</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*8deEIweW7uGmjCGM.png" /><figcaption>Fonte: Departamento de Informática e Estatística da UFSC.</figcaption></figure><p>Talvez a mais utilizada distribuição estatística, a Distribuição Normal é uma curva simétrica em torno do seu ponto médio, onde as frequências de seus valores apresentam um formato de sino. Algumas características dessa distribuição:</p><ul><li>Formato de sino;</li><li>Simétrica ou próxima a um formato simétrico;</li><li>Unimodal;</li><li>Apresenta valores iguais ou próximos para a Média e a Mediana;</li><li>Os valores da distribuição tendem a zero ao se afastarem da Média.</li></ul><h3>2. Analisando a distribuição com Boxplot</h3><p>Começamos importando as bibliotecas, que utilizaremos durante toda a análise, e o nosso dataset do carbono.</p><pre>import pandas as pd<br>import numpy as np<br>import matplotlib.pyplot as plt<br>import seaborn as sns<br>import scipy.stats as stats</pre><pre>from statsmodels.stats.diagnostic import lilliefors as lillie</pre><pre>sns.set()</pre><pre>df = pd.read_excel(&#39;carbono.xlsx&#39;)</pre><p>Visualizando as observações da amostra, vemos que se trata de um dataframe de 887 observações e 6 variáveis.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1011/1*INIkVi6abYbiu3rcNf26OQ.png" /></figure><p>Recapitulando, vamos testar a normalidade do ‘carbono’ e depois verificar a correlação entre ele e as outras variáveis ‘hidrocarboneto1’, ‘benzeno’, ‘hidrocarboneto2’, ‘oxidação’ e ‘ozonio’.</p><pre># gráfico de boxplot</pre><pre>plt.figure(figsize=(15,8))<br>plt.title(&#39;BOXPLOT DOS VALORES DE CARBONO&#39;, fontsize=14, fontweight=&#39;bold&#39;)<br>sns.boxplot(x=&#39;CARBONO&#39;, data=df, color=&#39;purple&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*efWiMNTgqZiQoSedLVV0PA.png" /></figure><p>O Boxplot nada mais é do que um Histograma visto de cima. Uma distribuição normal quando representada em um boxplot teria sua caixa muito próxima do centro da linha horizontal. Vendo o gráfico acima, a distribuição do carbono parece assimétrica com a sua calda à direita. É também do lado direito onde se encontram os outliers. Dessa forma, à primeira impressão é de que a distribuição não é normal.</p><h3>3. Plotando os dados em um Histograma</h3><pre># gráfico de histograma</pre><pre>plt.figure(figsize=(15,8))<br>plt.title(&#39;DISTRIBUIÇÃO DOS VALORES&#39;, fontsize=14, fontweight=&#39;bold&#39;)<br>sns.histplot(x=&#39;CARBONO&#39;, data=df, kde=True, color=&#39;purple&#39;)<br>plt.ylabel(&#39;FREQUÊNCIA&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Dc0ic555imchOXxvGDvPEQ.png" /></figure><p>Como dito anteriormente, perceba como o Histograma tem uma relação com o Boxplot. No gráfico, o formato da distribuição está longe de parecer um sino. A assimetria está de fato à direita e repare como a grande massa dos valores está entre 1150 e 1500 e como existem outliers que ultrapassam os 2250. Essa assimetria à direita desloca a média em sua direção, se comparada à mediana. Vamos verificar?</p><pre>df[&#39;CARBONO&#39;].median(), df[&#39;CARBONO&#39;].mean()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/397/1*EXAoovMeqYwJij9_EZF4RA.png" /></figure><p>Viu? Nossa análise foi correta e a média foi deslocada à direita da mediana. Todo esse conjunto citado reforça o pensamento de que a distribuição não é normal.</p><h3>4. O famigerado QQ Plot</h3><p>O quantil-quantil plot, ou QQ Plot, é outra ferramenta gráfica que auxilia na verificação se a distribuição é normal. É mais eficiente do que o Boxplot e o Histograma, e aqui é feita uma comparação entre os quantis teóricos de uma Normal e os quantis dos dados da nossa amostra.</p><pre>plt.figure(figsize=(15,8))</pre><pre>stats.probplot(df[&#39;CARBONO&#39;], dist=&#39;norm&#39;, plot=plt)<br>plt.title(&#39;NORMAL QQ PLOT&#39;, fontsize=14, fontweight=&#39;bold&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pF9No6MHkpUV4oEYcJ4Y9g.png" /></figure><p>A reta vermelha em 45º representa como deveria ser a distribuição dos dados, caso essa distribuição fosse normal. Os pontos em azul são os dados da nossa amostra. Ou seja, quanto mais próximos os pontos em azul estiverem da reta vermelha, maiores são as chances da nossa distribuição ser normal. No gráfico acima, é possível perceber que existe um distanciamento considerável, principalmente nas extremidades. É interpretativo, mas para mim é outra evidência de uma distribuição não normal. Aconselho muito o estudo e o aprofundamento do QQ Plot.</p><h3>5. A vez dos testes estatísticos: Shapiro-Wilk, Kolmogorov Smirnov e Anderson-Darling</h3><p>Assim como no QQ Plot, eu recomendo o aprofundamento nesses testes estatísticos para a verificação da normalidade, pois seria inviável explicar tudo aqui. Seguindo adiante, ao realizarmos os testes e ao encontrar o p-valor, vamos considerar as duas hipóteses:</p><p>Nível de significância de 0,05 ou 5%, ou a um nível de confiança de 0.95 ou 95%:</p><ul><li>Ho = distribuição normal: p&gt;0.05</li><li>Ha = distribuição não normal: p&lt;=0.05</li></ul><pre># shapiro-wilk<br>stats.shapiro(df[&#39;CARBONO&#39;])</pre><p>8.634053487357324e-14</p><pre># kolmogorov smirnov (lilliefors)<br>lillie(df[&#39;CARBONO&#39;], dist=&#39;norm&#39;)</pre><p>0.0009999999999998899</p><pre># anderson-darling<br>stats.anderson(df[&#39;CARBONO&#39;], &#39;norm&#39;)</pre><p>0.783</p><p>Ambos os testes de Shapiro-Wilk e Kolmogorov Smirnov apontaram uma distribuição não normal. Anderson-Darling, conhecido por ser um teste mais flexível, apontou normalidade.</p><h3>6. O placar final</h3><p>Após as verificações com os gráficos e testes, elencamos o que nós interpretamos e o que eles apontaram:</p><p><strong>BOXPLOT: </strong>Não normal;</p><p><strong>HISTOGRAMA: </strong>Não normal;</p><p><strong>QQ PLOT: </strong>Não normal;</p><p><strong>SHAPIRO-WILK: </strong>Não normal;</p><p><strong>KOLMOGOROV SMIRNOV: </strong>Não normal;</p><p><strong>ANDERSON-DARLING: </strong>Normal.</p><p>Não normal 5 x 1 Normal.</p><h3>7. Finalmente ela: correlação!</h3><p>Como assumimos que a distribuição não é normal, <strong>utilizaremos o método de Spearman</strong> para encontrarmos o coeficiente de correlação da variável ‘Carbono’, e plotaremos inicialmente em um heatmap. O método de <strong>Kendall</strong>, apesar de também ser para distribuição não normal, é adequado para dados ordinais, o que não é o caso aqui.</p><pre>correlacao = df.corr(method=&#39;spearman&#39;)</pre><pre>plt.figure(figsize=(15,8))<br>plt.title(&#39;HEATMAP DE CORRELAÇÃO&#39;, fontsize=14, fontweight=&#39;bold&#39;)<br>sns.heatmap(correlacao, annot=True)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GVyEn6z_-nXrCP-U9N-IRA.png" /></figure><p>O heatmap é uma boa forma de se verificar a correlação, mas como o nosso foco é apenas em uma variável, acredito que seja melhor utilizar uma visualização mais simples e ordenar as outras variáveis de acordo com a sua correlação frente ao ‘Carbono’.</p><pre>correlacao = <br>df.corr(<strong>method=&#39;spearman&#39;</strong>)[&#39;CARBONO&#39;].sort_values(ascending=False)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/309/1*YspGxWCTAxZnx0tIDu48_Q.png" /></figure><p>Todas as outras variáveis possuem correlação interessante com ‘Carbono’.</p><p>‘Hidrocarboneto2’, ‘Benzeno’ e ‘Ozonio’ possuem correlação positiva muito forte com ‘Carbono’, enquanto ‘Hidrocarboneto1’ possui correlação positiva forte e ‘Oxidação’ possui correlação negativa forte.</p><p>Vamos visualizar essas do ‘Carbono’ e das outras variáveis em gráficos de dispersão?</p><pre>colunas = [&#39;HIDROCARBONETO1&#39;, &#39;BENZENO&#39;, &#39;HIDROCARBONETO2&#39;, &#39;OXIDAÇÃO&#39;, &#39;OZONIO&#39;]</pre><pre>plt.figure(figsize=(25,25))</pre><pre>for k in range(len(colunas)):<br>    <br>    plt.subplot(4,3, k+1)<br>    sns.scatterplot(x=&#39;CARBONO&#39;, y=colunas[k], data=df, color=&#39;#ff7252&#39;)<br>    plt.ylabel(colunas[k],fontsize=12)<br>    plt.xlabel(&#39;CARBONO&#39;,fontsize=12)<br>    <br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2EqcLZVuQOu5u3pOGC-wVg.png" /></figure><p>Quando ‘Carbono’ aumenta, ‘Hidrocarboneto1’, ‘Benzeno’, ‘Hidrocarboneto2’ e ‘Ozonio’ também tendem a aumentar, enquanto ‘Oxidação’ tende a diminuir.</p><p>Muito legal, né? Você pode encontrar todo o código e o dataset no repositório do <a href="https://github.com/hernandesmjunior/Python-Analise-de-Dados/tree/main/Qualidade%20do%20Ar"><strong>meu Github</strong></a>.</p><p>Também pode me contactar <a href="http://linkedin.com/in/hernandesmjunior"><strong>pelo Linkedin</strong></a>.</p><p>Abraços!</p><h3>Referências Bibliográficas</h3><p>A distribuição Normal. UFPR. <a href="http://www.leg.ufpr.br/~silvia/CE701/node36.html">http://www.leg.ufpr.br/~silvia/CE701/node36.html</a></p><p>Distribuição Normal (Gaussiana). UFSC. <a href="https://www.inf.ufsc.br/~andre.zibetti/probabilidade/normal.html">https://www.inf.ufsc.br/~andre.zibetti/probabilidade/normal.html</a></p><p>Como testar a distribuição normal. SOS Estatística. <a href="https://sosestatistica.com.br/como-testar-se-uma-distribuicao-e-normal/">https://sosestatistica.com.br/como-testar-se-uma-distribuicao-e-normal/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=638a2971949a" width="1" height="1" alt=""><hr><p><a href="https://medium.com/jogandoosdados/mais-do-que-executar-um-c%C3%B3digo-fazendo-uma-an%C3%A1lise-de-correla%C3%A7%C3%A3o-com-python-638a2971949a">Mais do que executar um código: fazendo uma análise de correlação com Python</a> was originally published in <a href="https://medium.com/jogandoosdados">Jogando os Dados</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Clusterizando os clientes de uma loja de shopping utilizando o algoritmo K-Means]]></title>
            <link>https://medium.com/jogandoosdados/clusterizando-os-clientes-de-uma-loja-de-shopping-utilizando-o-algoritmo-kmeans-91cf5b330204?source=rss----692c8e9a854f---4</link>
            <guid isPermaLink="false">https://medium.com/p/91cf5b330204</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[projetos]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[k-means]]></category>
            <category><![CDATA[r-language]]></category>
            <dc:creator><![CDATA[Hernandes Matias Junior]]></dc:creator>
            <pubDate>Sun, 20 Jun 2021 16:33:25 GMT</pubDate>
            <atom:updated>2021-06-21T12:00:34.297Z</atom:updated>
            <content:encoded><![CDATA[<h4>Neste trabalho, o script foi desenvolvido em linguagem R na IDE do RStudio</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*AFZ2thnOUF1u904h4QkiBA.gif" /><figcaption>Ilustração por Jiaqi Wang.</figcaption></figure><p>Suponha que uma empresa deseja desenvolver campanhas de marketing junto aos seus clientes para alavancar seu faturamento. Essa é uma situação muito comum nas organizações, mas o sucesso de uma campanha está diretamente ligado ao direcionamento correto para um público alvo.</p><p>Neste trabalho desenvolvido em R e utilizando o algoritmo de Machine Learning K-Means, traço os perfis de clientes que uma loja de shopping possui, para que ela possa realizar ações de marketing que façam sentido para cada um de seus públicos.</p><h3>1. Carregando as bibliotecas</h3><p>Sem muito segredo, carregamos as bibliotecas comumente utilizadas nesse tipo de trabalho de clusterização não hierárquico. No código abaixo, cada linha é seguida de um comentário explicando ao que ela se refere.</p><pre>library(tidyverse)  # pacote para manipulação de dados<br>library(cluster)    # algoritmo de cluster<br>library(factoextra) # algoritmo de cluster e visualização<br>library(fpc)        # algoritmo de cluster e visualização<br>library(gridExtra)  # para a funcao grid arrange<br>library(readxl)     # leitura dos dados</pre><h3>2. Importando os dados</h3><p>Com as bibliotecas carregadas, importamos a base de dados “clientes” e a visualizei, verificando o número de variáveis e de observações.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/686/1*q6VlnBWTMtQZzE1KJKITWQ.png" /></figure><p>Esse dataframe possui uma coluna “CustomerID” e as variáveis “Gender”, “Age”, “Annual Income” e “Spending Score”.</p><p>Mantivemos no dataframe apenas as colunas que iremos utilizar para o agrupamento, que serão “Annual Income” e “Spending Score”. Como o foco é definir perfis de consumo, não utilizaremos dados de gênero e idade. Ambas as colunas mantidas foram renomeadas para a tradução em português, para que ficasse mais intuitiva a visualização nos gráficos.</p><pre>clientes &lt;- read.table(&#39;Mall_Customers.csv&#39;,sep = &quot;,&quot;, header = T, dec = &quot;,&quot;)<br>rownames(clientes) &lt;- clientes[,1]<br>clientes &lt;- clientes[,-c(1,2,3)]</pre><pre>clientes &lt;- clientes %&gt;% rename(salario.anual=Annual.Income..k..,<br>                    score=Spending.Score..1.100.<br>                    )</pre><pre>clientes.padronizado &lt;- scale(clientes)</pre><p>Repare que na última linha do bloco anterior eu criei um novo dataframe “clientes.padronizado”, que recebe os dados de “clientes”, mas já com os dados convertidos em uma mesma escala.</p><h3>3. Verificando o número de clusters e agrupando a base de dados</h3><p>Na clusterização, um grande objetivo é manter a menor variância dentro dos grupos, os deixando mais homogêneos. Para definir o número de clusters a serem considerados, utilizando o “Elbow Method”, plotando os dados em um gráfico de linhas, onde no eixo X estão o número de clusters e no eixo Y, o somatório das variâncias.</p><pre>fviz_nbclust(clientes.padronizado, FUN = hcut, method = &quot;wss&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/990/1*1bZfgcjlQPr-ug5y6PItHA.png" /></figure><p>Repare que quanto mais eu aumento o número de clusters, mais eu diminuo a variância dentro deles. No entanto, após o número 5 a queda é menos acentuada, o que demonstra que <strong>a partir dali eu estou dividindo em grupos diferentes clientes que possuem perfis parecidos</strong>.</p><p>Em tradução, o “Elbow Method” significa “Método do Cotovelo”, pois consideramos o número de clusters aquele que aparece bem na volta da curva, como um cotovelo mesmo. Nesse caso, inicialmente o 5 parece ser o número ideal a ser utilizado.</p><p>Mas para fins de estudos, vamos testar os dados com clusters que vão de 3 a 6, e plotaremos em um gráfico para conseguirmos visualizar melhor a divisão.</p><pre>clientes.k3 &lt;- kmeans(clientes.padronizado,centers=3)<br>clientes.k4 &lt;- kmeans(clientes.padronizado,centers=4)<br>clientes.k5 &lt;- kmeans(clientes.padronizado,centers=5)<br>clientes.k6 &lt;- kmeans(clientes.padronizado,centers=6)</pre><p>Com meus dados divididos em clusters de 3 a 6, criamos os gráficos e logo em seguida utilizamos a função “grid.arrange” para visualizarmos e compararmos todos lado a lado.</p><pre>G1 &lt;- fviz_cluster(clientes.k3, geom=&quot;point&quot;, data=clientes.padronizado) + ggtitle(&quot;k=3&quot;)</pre><pre>G2 &lt;- fviz_cluster(clientes.k4, geom=&quot;point&quot;, data=clientes.padronizado) + ggtitle(&quot;k=4&quot;)</pre><pre>G3 &lt;- fviz_cluster(clientes.k5, geom=&quot;point&quot;, data=clientes.padronizado) + ggtitle(&quot;k=5&quot;)</pre><pre>G4 &lt;- fviz_cluster(clientes.k6, geom=&quot;point&quot;, data=clientes.padronizado) + ggtitle(&quot;k=6&quot;)</pre><pre>grid.arrange(G1,G2,G3,G4, nrow=2)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fD4oAziYv_BabyYJwMIS9w.png" /></figure><p>Perceba como os dados que foram divididos em 3 e 4 clusters possuem grupos grandes, com clientes diferentes que claramente elevam a variância dentro de cada um deles. Já nos dados que foram divididos em 5 e 6 clusters os grupos estão abrangendo clientes que são parecidos entre si, em uma delimitação que faz mais sentido.</p><p>Aqui, seria possível utilizar 5 ou 6 clusters. No entanto, como verificamos com o “Elbow Method” que o somatório das variâncias de 5 para 6 cai muito pouco, <strong>escolhemos então utilizar 5 clusters</strong>.</p><h3>4. Juntando os dados</h3><p>Após decidir utilizar o agrupamento do “clientes.k5”, importamos novamente a base de dados inicial e concatenamos, criando <strong>uma nova coluna que se refere a qual grupo aquele cliente pertence</strong>.</p><pre>clientes2 &lt;- read.table(&#39;Mall_Customers.csv&#39;,sep = &quot;,&quot;, header = T, dec = &quot;,&quot;)<br>clientesfit &lt;- data.frame(clientes.k5$cluster)</pre><pre>clientes.final &lt;- cbind(clientes2,clientesfit)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/839/1*vVMJbjB65b7tbJr33JZUOw.png" /></figure><h3>5. Análise descritiva dos grupos</h3><p>Definido qual o grupo de cada cliente, podemos agora realizar uma análise descritiva dos grupos, para saber qual a média de salário anual e qual a média de consumo de cada um deles.</p><pre>mediagrupo &lt;- clientes.final %&gt;% <br>  group_by(clientes.k5.cluster) %&gt;% <br>  summarise(n=n(),<br>            salario.anual=mean(Annual.Income..k..),<br>            score=mean(Spending.Score..1.100.)<br>            )<br>mediagrupo</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/475/1*yx5IcUpFuaPpJnMllg2xlg.png" /></figure><p>Como interpretamos os dados:</p><ul><li><strong>Grupo 1</strong>: Ganha pouco e gasta muito;</li><li><strong>Grupo 2</strong>: Ganha muito e gasta muito;</li><li><strong>Grupo 3</strong>: Ganha muito e gasta pouco;</li><li><strong>Grupo 4</strong>: Ganha pouco e gasta pouco;</li><li><strong>Grupo 5</strong>: Ganho intermediário e gasto também intermediário.</li></ul><h3>6. Salvando a nova base de dados com a coluna de cluster</h3><p>Após interpretar os dados e verificar com a área de negócio se eles fazem sentido, exportamos a nova base de dados em um arquivo .csv.</p><pre>write.csv(clientes.final,file = &quot;clientesfinal.csv&quot;)</pre><p>Gostou do post? O código e as bases de dados estão no <a href="https://github.com/hernandesmjunior/r_machine_learning/tree/main/Clusteriza%C3%A7%C3%A3o/Clientes%20de%20um%20Shopping"><strong>meu Github</strong></a>. Dúvidas e sugestões, é só me mandar mensagem <a href="https://www.linkedin.com/in/hernandesmjunior/"><strong>pelo Linkedin</strong></a> :D</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=91cf5b330204" width="1" height="1" alt=""><hr><p><a href="https://medium.com/jogandoosdados/clusterizando-os-clientes-de-uma-loja-de-shopping-utilizando-o-algoritmo-kmeans-91cf5b330204">Clusterizando os clientes de uma loja de shopping utilizando o algoritmo K-Means</a> was originally published in <a href="https://medium.com/jogandoosdados">Jogando os Dados</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Coletando e visualizando dados do mercado financeiro utilizando Python]]></title>
            <link>https://medium.com/jogandoosdados/coletando-e-visualizando-dados-do-mercado-financeiro-utilizando-python-275260a24e7?source=rss----692c8e9a854f---4</link>
            <guid isPermaLink="false">https://medium.com/p/275260a24e7</guid>
            <category><![CDATA[mercado-financeiro]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[análise]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Hernandes Matias Junior]]></dc:creator>
            <pubDate>Mon, 24 May 2021 13:43:14 GMT</pubDate>
            <atom:updated>2021-05-24T17:30:08.784Z</atom:updated>
            <content:encoded><![CDATA[<h4>Para essa análise, foram escolhidas as ações de 5 empresas e o índice BOVA 11</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/750/1*lMQOYHn1l4jYvW77D7XMSQ.gif" /><figcaption>Ilustração por SeizSafe.</figcaption></figure><p>O mercado financeiro é um grande campo de atuação da Ciência de Dados, sendo possível ser realizada a previsão do preço de ações, clusterização de empresas similares, análise de sentimentos de textos, entre outros trabalhos utilizando algoritmos supervisionados e não supervisionados. Área em que tenho um grande interesse enquanto estudante de Data Science, nesse post ensinarei como coletar os dados das ações utilizando Python e Jupyter Notebook.</p><h3>1. Importando as bibliotecas e o dataset</h3><p>Nessa primeira etapa, importaremos as bibliotecas python bastante utilizadas na análise de dados. O pandas, para a manipulação; numpy, para cálculos matemáticos; matplotlib, seaborn e plotly para a visualização; e, por fim, o datareader, para trazer os dados das ações da web.</p><pre>import pandas as pd<br>import numpy as np<br>import matplotlib.pyplot as plt<br>import seaborn as sns<br>import plotly.express as px</pre><pre>from pandas_datareader import data</pre><pre>sns.set()</pre><p>Nosso objetivo agora é coletar os dados das ações de algumas empresas. Para isso, utilizaremos o datareader, já importado anteriormente, e também o Yahoo! Finanças como nossa fonte web.</p><p>Precisamos definir então ações de quais empresas desejamos importar, colocando seus nomes em uma lista. Esses nomes podem ser encontrados no Yahoo! Finanças, se atentando pois uma mesma empresa pode ter suas ações comercializadas em mercados de vários países, e aqui analisaremos a bolsa de valores brasileira, a B3. Nesse ponto, optei pelas ações da Gol, CVC, WEGE, Magalu, TOTV e o índice da BOVA11.</p><pre>acoes = [&#39;GOLL4.SA&#39;,&#39;CVCB3.SA&#39;,&#39;WEGE3.SA&#39;,&#39;MGLU3.SA&#39;,&#39;TOTS3.SA&#39;,&#39;BOVA11.SA&#39;]</pre><p>Definidas as ações que queremos coletar, criamos um <em>dataframe</em> vazio e um laço de repetição <em>for</em> que vai percorrer cada uma das ações dessa lista, coletá-las do Yahoo! Finanças e armazená-las no <em>dataframe</em>.</p><pre>acoes_df = pd.DataFrame()<br><br><strong>for</strong> acao <strong>in</strong> acoes:<br>    acoes_df[acao] = data.DataReader(acao, data_source=&#39;yahoo&#39;, start=&#39;2015-01-01&#39;)[&#39;Close&#39;]</pre><p>Repare que dentro da função do <em>datareader</em>, passamos o nome da ação, a fonte, a data de início e, fora dos parênteses, frisamos se tratar de dados do fechamento diário da bolsa. Vamos visualizar como ficou nosso <em>dataset</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/507/1*xgOI1qVJ9b8hHKLCj0sosA.jpeg" /></figure><p>Para facilitar a utilização desses dados, podemos renomear as colunas, fazendo com que fiquem mais intuitivo para quem está lendo.</p><pre>acoes_df = acoes_df.rename(columns={&#39;GOLL4.SA&#39;:&#39;GOL&#39;,&#39;CVCB3.SA&#39;:&#39;CVC&#39;,&#39;WEGE3.SA&#39;:&#39;WEGE&#39;,<br>                                    &#39;MGLU3.SA&#39;:&#39;MGLU&#39;,&#39;TOTS3.SA&#39;:&#39;TOTS&#39;,&#39;BOVA11.SA&#39;:&#39;BOVA&#39;})</pre><h3>2. Visualizando os dados</h3><p>Com os dados coletados, uma forma mais interessante de visualizá-los é utilizando gráficos. Para os dados de ações, é possível fazer vários tipos de análises, mas aqui focaremos nas séries temporais para visualizar como as ações se comportam ao longo do tempo.</p><p>Para isso, é necessário transformar a coluna “Date” para o tipo data. Após a conversão, plotaremos um gráfico de linhas utilizando o próprio plot do pandas.</p><pre># <em>convertendo a variável para o tipo data</em></pre><pre>acoes_df_normalizado[&#39;Date&#39;] = pd.to_datetime(acoes_df_normalizado[&#39;Date&#39;])</pre><pre><em># plotando o grafico de linha</em><br><br>acoes_df_normalizado.plot( x = &#39;Date&#39;, figsize=(20,12), title = &#39;Histórico do preço das ações&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sYzH8X_PmMt_w09ObzN4xg.png" /></figure><p>Com o gráfico plotado, o que visualizamos é a flutuação do preço das ações das empresas, estando claro que as ações da BOVA e da WEGE são as que possuem um maior valor.</p><p>Mas para um investidor, o mais interessante não é visualizar qual ação é a mais cara, e sim qual traz mais retorno. Para isso, fazemos uma normalização dos dados, dividindo cada um dos valores pelo valor inicial, e assim vemos o crescimento delas ao longo do tempo.</p><pre>acoes_df_normalizado = acoes_df.copy()<br><br><strong>for</strong> i <strong>in</strong> acoes_df_normalizado.columns[1:]:<br>    acoes_df_normalizado[i] = acoes_df_normalizado[i] / acoes_df_normalizado[i][0]</pre><p>Ao plotarmos novamente o gráfico, agora com os dados em uma mesma escala poderemos visualizar o crescimento no período.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/880/1*bVazSfZI6djROq2tUpH_YQ.png" /></figure><p>Se compararmos os dois gráficos antes e depois da normalização, chegaremos à conclusão de que as ações da BOVA e WEGE são as mais caras, mas <strong>as ações do MGLU são disparadas as que proporcionaram maior retorno para o investidor no período analisado</strong>.</p><h3>3. Elevando a visualização dos dados</h3><p>Embora sejam eficientes para uma análise rápida, os gráficos utilizados até aqui são estáticos, o que impede que ao passar o mouse, o usuário descubra qual o valor da ação que ele apresenta. Uma biblioteca que proporciona uma visualização de dados em gráficos dinâmicos, é o <em>plotly</em>, muito utilizado em dados financeiros.</p><p>Como já importamos a biblioteca do <em>plotly</em> na primeira etapa da nossa análise, basta chamá-lo passando os parâmetros que podem ser encontrados na documentação da biblioteca.</p><pre>figure = px.line(title=&#39;Histórico do preço das ações&#39;)</pre><pre>for i in acoes_df_normalizado.columns[1:]:<br>    figure.add_scatter(x=acoes_df_normalizado[&#39;Date&#39;], y = acoes_df_normalizado[i], name=i)<br>    <br>figure.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nhm6g1O-uzKfBXPh64swbA.png" /></figure><p>Agora ao passar o mouse, é possível descobrir o valor ao qual aquela ação se refere. No canto superior direito do gráfico existem outras opções a serem exploradas, como zoom e comparação paralela de valores.</p><p>Muito legal, né?</p><p>O notebook com a análise mais completa se escontra no <a href="https://github.com/hernandesmjunior/python_analise_de_dados/blob/main/Visualiza%C3%A7%C3%A3o%20de%20dados%20financeiros/Visualiza%C3%A7%C3%A3o%20de%20dados%20financeiros.ipynb"><strong>meu Github</strong></a>.</p><p>Você também pode entrar em contato comigo <a href="https://www.linkedin.com/in/hernandesmjunior/"><strong>pelo Linkedin</strong></a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=275260a24e7" width="1" height="1" alt=""><hr><p><a href="https://medium.com/jogandoosdados/coletando-e-visualizando-dados-do-mercado-financeiro-utilizando-python-275260a24e7">Coletando e visualizando dados do mercado financeiro utilizando Python</a> was originally published in <a href="https://medium.com/jogandoosdados">Jogando os Dados</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[O funcionário sairá da empresa? Fazendo previsões com Machine Learning!]]></title>
            <link>https://medium.com/jogandoosdados/o-funcion%C3%A1rio-sair%C3%A1-da-empresa-fazendo-previs%C3%B5es-com-machine-learning-545fbb2a3ca1?source=rss----692c8e9a854f---4</link>
            <guid isPermaLink="false">https://medium.com/p/545fbb2a3ca1</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[projetos]]></category>
            <category><![CDATA[people-analytics]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[Hernandes Matias Junior]]></dc:creator>
            <pubDate>Sat, 13 Mar 2021 22:53:46 GMT</pubDate>
            <atom:updated>2021-05-24T12:00:23.361Z</atom:updated>
            <content:encoded><![CDATA[<h4>No primeiro projeto do “Jogando os Dados”, são utilizados os modelos de Regressão Logística, Floresta Aleatória e Redes Neurais Artificiais</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RrzDNQRBzTozBtS5pesHaA.png" /><figcaption>Ilustração por Ilona RybakIlona Rybak.</figcaption></figure><p>Desde o final do ano passado venho estudando Ciência de Dados. O que antes era uma espécie de curiosidade, acabou virando uma paixão quando cheguei no Machine Learning. Embora tenha me debruçado no assunto há pouco tempo, de lá para cá sinto que já dei um salto e nisso veio a ideia de centralizar minha trajetória de aprendizagem em um lugar, no caso, o Medium. O objetivo desse espaço que batizei carinhosamente de “Jogando os Dados” é documentar meus estudos, consolidar o meu conhecimento e também ajudar aqueles que, assim como eu, deram início nessa caminhada sensacional pela Ciência de Dados.</p><p>Para esse primeiro projeto envolvendo People Analytics, utilizei uma base de dados fictícia criada pela IBM e disponibilizada no Kaggle. Você pode acessar o dataset <a href="https://www.kaggle.com/pavansubhasht/ibm-hr-analytics-attrition-dataset">aqui</a>.</p><p>Ao longo do projeto, vou considerar que você já tem algum conhecimento sobre Ciência de Dados. Vale lembrar que sou um estudante. Qualquer sugestão que você tiver sobre o meu código, pode entrar em contato comigo pelo <a href="http://linkedin.com/in/hernandesmjunior">meu LinkedIn</a>. Nosso conhecimento se expande quando o compartilhamos, e a Ciência de Dados é uma área que possui espaço para todo mundo.</p><p>Todo o desenvolvimento será realizado utilizando Python, dentro do Jupyter Notebook.</p><p>Vamos aos códigos!</p><h3>1. Entendendo o problema de negócio</h3><p>É sabido que a rotatividade de pessoal é uma das principais preocupações das empresas hoje. O processo de recrutamento representa uma despesa considerável, e para se substituir um funcionário leva-se tempo, não apenas para se encontrar um novo profissional, mas também para treiná-lo, e para que ele consiga chegar no mesmo nível de performance do colaborador anterior. Mas e se as empresas conseguirem identificar, antes de efetivar a contratação, quais candidatos estão mais propensos a trocá-las por uma nova organização? Nesse projeto o objetivo é exatamente esse.</p><p>Utilizando de dados históricos de funcionários que deixaram e permaneceram na empresa, vamos identificar, usando modelos de Machine Learning, quais candidatos estão mais propensos a se desligarem, para que o gestor de área possa atuar diretamente, seja melhorando seu salário, benefícios ou apresentando uma proposta de crescimento vertical na carreira.</p><h3>2. Importando as bibliotecas e o dataset</h3><p>As bibliotecas utilizadas nesse projeto são o pandas e o numpy, para o manuseio dos dados; seaborn e matplotlib para a visualização; o scikitlearn e o tensorflow para o treinamento, teste e avaliação do modelo de Machine Learning; e, por fim, o pickle, para a exportação do modelo.</p><pre>import pandas as pd<br>import numpy as np<br>import seaborn as sns<br>import matplotlib.pyplot as plt</pre><pre>from sklearn.preprocessing import MinMaxScaler<br>from sklearn.preprocessing import OneHotEncoder<br>from sklearn.model_selection import train_test_split<br>from sklearn.linear_model import LogisticRegression<br>from sklearn.ensemble import RandomForestClassifier<br>from sklearn.metrics import precision_score, recall_score, f1_score, classification_report, accuracy_score, confusion_matrix</pre><pre>import tensorflow as tf<br>import pickle</pre><pre>sns.set()</pre><pre>%matplotlib inline</pre><p>Como eu coloquei meu dataset em um diretório diferente do Jupyter Notebook, passei o caminho completo para que ele fosse encontrado. Para esse dataframe, dei o nome de “employee_df”:</p><pre>employee_df = pd.read_csv(r”C:\Users\herna\OneDrive\Ciência de Dados para Negócios\RH\Employee.csv”)</pre><p>Utilizando o “employee_df.shape”, verifiquei que meu dataframe possui 1470 linhas e 35 colunas. Com o “employee_df.head()” pude ter uma visão dos meus dados.</p><p>Se trata de dados autoexplicativos dos funcionários, como idade, gênero, departamento, formação acadêmica, cargo, salário, e nível de satisfação. Recomendo que, caso queira acessar os dados de forma detalhada, acesse <a href="https://github.com/hernandesmjunior/ds_projetos/tree/main/RH"><strong>meu Github</strong></a>.</p><p>Uma das colunas desse dataframe tem o nome “Attrition”, com os dados “Yes” e “No”. <strong>Essa coluna é o nosso atributo, e se refere se o funcionário saiu ou permaneceu na empresa. Nosso trabalho é prever, para novos funcionários, justamente o atributo “Attrition”.</strong></p><h3>3. Análise exploratória dos dados</h3><p>Modelos de Machine Learning utilizam fórmulas matemáticas, e por isso é necessário que seja feito uma transformação nos dados, passando-os de dados categóricos para dados numéricos. Normalmente, essa transformação fica na etapa de pré-processamento, mas aqui adianto para termos uma visão de todos os dados na visualização de histograma.</p><p>Portanto, converti os dados categóricos de <em>Yes</em> e <em>No</em>, das colunas “Attrition”, “OverTime” e “Over18”, para valores binários de 1 e 0. O código fica assim:</p><blockquote>employee_df[‘OverTime’] = employee_df[‘OverTime’].apply(lambda x: 1 if x ==’Yes’ else 0)</blockquote><blockquote>employee_df[‘Over18’] = employee_df[‘Over18’].apply(lambda x: 1 if x ==’Y’ else 0)</blockquote><blockquote>employee_df[‘Attrition’] = employee_df[‘Attrition’].apply(lambda x: 1 if x ==’Yes’ else 0)</blockquote><blockquote>employee_df[‘OverTime’] = employee_df[‘OverTime’].apply(lambda x: 1 if x ==’Yes’ else 0)</blockquote><blockquote>employee_df[‘Over18’] = employee_df[‘Over18’].apply(lambda x: 1 if x ==’Y’ else 0)</blockquote><p>Antes de irmos para a visualização dos dados, checamos de existem dados faltantes(null) em nosso dataframe. Para isso, utilizei a função “Heatmap” da biblioteca seaborn.</p><blockquote>sns.heatmap(employee_df.isnull(), cbar=False)</blockquote><p>Não foram encontrados dados faltantes, portanto não foi necessário nenhum tipo de transformação.</p><p>Agora partindo para a visualização de dados, utilizei o “Histograma”.</p><blockquote>employee_df.hist(bins=30, figsize=(20,20), color = ‘r’);</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xZQhPqCpkl5hVue0Pj_WsA.png" /></figure><p>Algumas conclusões que cheguei com o histograma:</p><ul><li>A maioria dos funcionários possui idade entre 30 e 40 anos;</li><li>Os funcionários moram majoritariamente perto da empresa;</li><li>O capital intelectual da empresa tem como principais formações “Bachelor” e “Master”;</li><li>Mais da metade dos colaboradores se encontra em cargos iniciais, e isso reflete na remuneração;</li><li>“Very High” e “High” são os que possuem maior quantidade quando se trata da satisfação dos funcionários, mas “Low” e “Medium” também são relevantes.</li></ul><p>Separei meu dataframe para verificar a quantidade de funcionários que saíram e a quantidade dos funcionários que permaneceram na empresa:</p><blockquote>left_df = employee_df[employee_df[‘Attrition’]==1]<br>stayed_df = employee_df[employee_df[‘Attrition’]==0]</blockquote><blockquote>print(‘Total: ‘, len(employee_df))<br>print(‘Número de funcionários que saíram da empresa= ‘, len(left_df))<br>print(‘Porcentagem de funcionários que saíram da empresa= ‘, (len(left_df) / len(employee_df))*100)<br>print(‘Número de funcionários que ficaram na empresa= ‘, len(stayed_df))<br>print(‘Porcentagem de funcionários que ficaram na empresa= ‘, (len(stayed_df) / len(employee_df))*100)</blockquote><p>O resultado foi que <strong>o dataframe é desbalanceado</strong>, com os funcionários que saíram representando 16%, e os que permaneceram, 84. Isso prejudicará o treinamento do nosso modelo de Machine Learning.</p><p>Realizei uma série de visualizações para identificar o perfil de quem saiu e quem permaneceu na empresa:</p><blockquote>plt.figure(figsize=(25,12))<br>sns.countplot(x=’Age’, hue=’Attrition’, palette=’inferno’, data=employee_df)</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Wu8tW0oaPWgi9rzPzTPK5g.png" /></figure><blockquote>plt.figure(figsize=(20,20))<br>plt.subplot(411)<br>sns.countplot(x=’JobRole’, hue=’Attrition’,palette=’inferno’, data=employee_df)<br>plt.subplot(412)<br>sns.countplot(x=’MaritalStatus’, hue=’Attrition’, palette=’inferno’,data=employee_df)<br>plt.subplot(413)<br>sns.countplot(x=’JobInvolvement’, hue=’Attrition’, palette=’inferno’,data=employee_df)<br>plt.subplot(414)<br>sns.countplot(x=’JobLevel’, hue=’Attrition’, palette=’inferno’,data=employee_df)</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*urf1sIbTuakW0-D1secLzw.png" /></figure><p>Algumas conclusões que cheguei com as visualizações:</p><ul><li>Pessoas mais jovens entre 18 e 26 anos são as mais propensas a saírem da empresa;</li><li>O cargo de “Sales Representative” é o que mais possui representatividade de evasão, enquanto o “Manager” é o que mais possui representatividade de permanência;</li><li>Como pessoas mais jovens são as que mais saem, o estado civil “Single” é o que registra maior saída, assim como os níveis iniciais de cargo e função.</li></ul><p>Utilizando o “Kernel Density Estimate”, não encontrei relação entre o “Attrition” e o “DistanceFromHome”, o que foi uma surpresa, pois acreditava que pessoas que moram muito longe do trabalho, tendem a procurar por um mais próximo.</p><blockquote>plt.figure(figsize=(20,9))<br>sns.kdeplot(left_df[‘DistanceFromHome’], label=’Funcionários que saíram da empresa’, shade=True, color=’r’)<br>sns.kdeplot(stayed_df[‘DistanceFromHome’], label=’Funcionários que ficaram na empresa’, shade=True, color=’b’)</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sFblIbImOLgYFHBcr0FL6w.png" /></figure><p>O mesmo aconteceu com o “TotalWorkingYears”:</p><blockquote>plt.figure(figsize=(20,9))<br>sns.kdeplot(left_df[‘TotalWorkingYears’], label=’Funcionários que saíram da empresa’, shade=True, color=’r’)<br>sns.kdeplot(stayed_df[‘TotalWorkingYears’], label=’Funcionários que ficaram na empresa’, shade=True, color=’b’)</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TeRBzOQQjlW9JI4fycnMeg.png" /></figure><p>Muitas vezes o motivo pela mudança de emprego é pelo funcionário estar buscando uma remuneração maior. Vamos verificar se essa relação apareci nos dados:</p><blockquote>plt.figure(figsize=(15, 10))<br>sns.boxplot(x = ‘MonthlyIncome’, y = ‘JobRole’, palette=’hsv’, data=employee_df);</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1005/1*bx9YrBH-wf0tpw6EgG1YNw.png" /></figure><p>De fato, o “Sales Representative”, cargo que apresenta maior representatividade de evasão, é justamente o cargo que possui a menor remuneração. O aposto acontece com o “Manager”.<strong> Portanto, quanto maior a remuneração, maior também a permanência.</strong></p><h3>4. Pré-processamento de dados</h3><p>Como dito anteriormente, é necessário converter dados categóricos em dados numéricos, antes de submeter ao treinamento do modelo. Separei meus dados categóricos em um dataframe e fiz a conversão utilizando o <em>OneHotEncoder</em>, importado da biblioteca “Scikit Learn”:</p><blockquote>X_cat = employee_df[[‘BusinessTravel’, ‘Department’, ‘EducationField’, ‘Gender’, ‘JobRole’, ‘MaritalStatus’]]<br>onehotencoder = OneHotEncoder()<br>X_cat = onehotencoder.fit_transform(X_cat).toarray()</blockquote><p>Separei também os meus dados que já eram numéricos:</p><blockquote>X_numerical = employee_df[[‘Age’, ‘DailyRate’, ‘DistanceFromHome’, ‘Education’, ‘EnvironmentSatisfaction’, ‘HourlyRate’, ‘JobInvolvement’, ‘JobLevel’, ‘JobSatisfaction’, ‘MonthlyIncome’, ‘MonthlyRate’, ‘NumCompaniesWorked’, ‘OverTime’, ‘PercentSalaryHike’, ‘PerformanceRating’, ‘RelationshipSatisfaction’, ‘StockOptionLevel’, ‘TotalWorkingYears’ ,’TrainingTimesLastYear’ , ‘WorkLifeBalance’, ‘YearsAtCompany’ ,’YearsInCurrentRole’, ‘YearsSinceLastPromotion’, ‘YearsWithCurrManager’]]</blockquote><p>E concatenei, unindo os dois dataframes em apenas um:</p><blockquote>X_all = pd.concat([X_cat, X_numerical], axis = 1)</blockquote><p>Com os atributos numéricos, utilizei o MinMaxScaler para que o modelo de machine learning os considere com o mesmo grau de importância:</p><blockquote>scaler = MinMaxScaler()</blockquote><blockquote>X = scaler.fit_transform(X_all)</blockquote><h3>5. Aplicação dos modelos de Machine Learning</h3><p>Recapitulando, o objetivo do modelo é prever o atributo “Attrition”, se o funcionário sairá ou não da empresa.</p><p>Com minha função <em>train_test_split</em> importada da biblioteca “Scikit Learn”, dividi os meus dados reservando 30% deles para o meu teste:</p><blockquote>X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)</blockquote><p>O meu modelo será desenvolvido utilizando os dados de “treino”. Após isso, submeto meus dados de “teste” no meu modelo treinado, dados de “teste” que eu já sei a resposta, portanto vou verificar a acurácia do meu modelo.</p><p>Existem várias formas de se mensurar a precisão do modelo, e aqui representarei apenas a <em>Confusion Matrix</em>. Para visualizar a avaliação mais detalhada, visite o notebook do modelo no meu Github.</p><h4>Regressão Logística</h4><p>Diferente da Regressão Linear, utilizada para prever dados numéricos, por exemplo, de vendas, a Regressão Logística nos retorna um resultado binário, como aprovado/reprovado, bom/ruim, e sim/não, exatamente o resultado que buscamos nesse modelo.</p><p>Abaixo o treinamento do modelo e sua avaliação:</p><blockquote>logistic = LogisticRegression()<br>logistic.fit(X_train, y_train)</blockquote><blockquote>y_pred = logistic.predict(X_test)</blockquote><blockquote>cm = confusion_matrix(y_test, y_pred)</blockquote><blockquote>sns.heatmap(cm,annot=True,cbar = False, fmt=”d”)</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/368/1*-mOts8QHaB6mIjovYyGC_w.png" /></figure><p>A <em>Confusion Matrix</em> ao lado, pode ser interpretada da seguinte forma:</p><p>O eixo X é a resposta correta, e o eixo Y é o que o meu modelo previu.</p><p>Dos 369 funcionários que permaneceram na empresa, o modelo previu esse acontecimento em 360 deles, <strong>uma acurácia de 98%</strong>.</p><p>Dos 72 funcionários que saíram da empresa, o modelo previu esse acontecimento em 38 deles, uma acurácia de apenas 53%. <strong>Isso acontece porque meu dataframe está desbalanceado, como dito anteriormente.</strong></p><h4>Floresta Aleatória</h4><p>Seguindo metodologia parecia com a utilizada no modelo anterior e estando com a função já importada da biblioteca “Scikit Learn”, temos:</p><blockquote>forest = RandomForestClassifier(n_estimators=100)<br>forest.fit(X_train, y_train)</blockquote><blockquote>y_pred = forest.predict(X_test)</blockquote><blockquote>cm = confusion_matrix(y_test, y_pred)</blockquote><blockquote>sns.heatmap(cm, annot=True, cbar = False, fmt=”d”)</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/368/1*E5OmkJAqDmRuhY0vrIGjIw.png" /></figure><p>A <em>Confusion Matrix</em> ao lado, pode ser interpretada da seguinte forma:</p><p>O eixo X é a resposta correta, e o eixo Y é o que o meu modelo previu.</p><p>Dos 369 funcionários que permaneceram na empresa, o modelo previu esse acontecimento em 367 deles, <strong>uma acurácia de quase 100%</strong>.</p><p>Dos 72 funcionários que saíram da empresa, o modelo previu esse acontecimento em 38 deles, uma acurácia de apenas 20%. <strong>O desempenho então foi pior que o modelo de Regressão Logística.</strong></p><h4>Redes Neurais Artificiais</h4><p>Diferente dos outros modelos em que utilizei a biblioteca “Scikit Learn”, nas Redes Neurais utilizei o “Tensorflow”. Confesso que esse é um modelo novo para mim, e sugiro que qualquer pessoa que queira se aprofundar sobre Machine Learning, dê uma atenção a Redes Neurais. Aqui, utilizei 25 neurônios, que é meu número de entradas do treino dividido por dois. A saída é apenas 1 neurônio, que é o atributo que eu busco.</p><p>Criando as camadas das Redes Neurais:</p><blockquote>rede_neural = tf.keras.models.Sequential()<br>rede_neural.add(tf.keras.layers.Dense(units=25, activation=’relu’, input_shape=(50,)))<br>rede_neural.add(tf.keras.layers.Dense(units=25, activation=’relu’))<br>rede_neural.add(tf.keras.layers.Dense(units=25, activation=’relu’))<br>rede_neural.add(tf.keras.layers.Dense(units=1, activation=’sigmoid’))</blockquote><p>Compilando:</p><blockquote>rede_neural.compile(optimizer=’Adam’, loss=’binary_crossentropy’, metrics=[‘accuracy’])</blockquote><blockquote>rede_neural.fit(X_train, y_train, epochs=200)</blockquote><p>Avaliando o modelo:</p><blockquote>y_pred = rede_neural.predict(X_test)</blockquote><p>O resultado dessa minha predição vem com notação científica. Precisei criar uma regra para, se for maior ou igual a 0,5, retornar 1, do contrário, 0. Segue o raciocínio do atributo “Attrition”.</p><blockquote>y_pred = (y_pred &gt;= 0.5)</blockquote><blockquote>cm = confusion_matrix(y_test, y_pred)<br>cm</blockquote><blockquote>sns.heatmap(cm, annot=True,cbar=False,fmt=”d”)</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/368/1*VDjlqZUfhfPROwbUD3tc7A.png" /></figure><p>A <em>Confusion Matrix</em> ao lado, pode ser interpretada da seguinte forma:</p><p>O eixo X é a resposta correta, e o eixo Y é o que o meu modelo previu.</p><p>Dos 369 funcionários que permaneceram na empresa, o modelo previu esse acontecimento em 342 deles, <strong>uma acurácia de 93%</strong>.</p><p>Dos 72 funcionários que saíram da empresa, o modelo previu esse acontecimento em 32 deles, uma acurácia de apenas 44%. <strong>O desempenho então foi pior que o modelo de Regressão Logística.</strong></p><h3>6. Salvando o modelo</h3><p>Diante dos resultados encontrados, o modelo que apresentou mais precisão foi o de <strong>Regressão Logística</strong>. Agora, o que precisa ser feito é salvar esse modelo para que ele possa ser colocado em produção pelo pessoal do front-end, quando falamos de uma empresa.</p><p>Para salvar o modelo, utilizamos o “Pickle”. Damos um nome para o arquivo, no caso “variaveis_modelo.pk1”, e, como estamos com o objetivo de gravar o modelo em disco, utilizamos a função “wb”. Em seguida apontamos o que queremos salvar. Nesse caso, é o “logistic”, e as funções que utilizamos no pré-processamento, “scaler” e “onehotencoder”.</p><blockquote>with open(‘variaveis_modelo.pkl’, ‘wb’) as f:<br> pickle.dump([scaler, onehotencoder, logistic], f)</blockquote><h3>Próximos passos</h3><p>O modelo praticamente não errou quando se tratava de apontar quais funcionários permanecerão na empresa. No entanto,<strong> a grande questão era definir quais funcionários possuem potencial de sair</strong>.</p><p>O dataset estava desbalanceado. Nesse caso, <strong>faz-se necessário mais inputs de funcionários que saíram da empresa</strong>, para colocarmos os dados em treinamento.</p><p>Também é interessante que o RH trabalhe com mais pesquisas e forneça atributos para que possamos trabalhar com mais variáveis.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=545fbb2a3ca1" width="1" height="1" alt=""><hr><p><a href="https://medium.com/jogandoosdados/o-funcion%C3%A1rio-sair%C3%A1-da-empresa-fazendo-previs%C3%B5es-com-machine-learning-545fbb2a3ca1">O funcionário sairá da empresa? Fazendo previsões com Machine Learning!</a> was originally published in <a href="https://medium.com/jogandoosdados">Jogando os Dados</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>