<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Renan Viana Cruz De Macedo on Medium]]></title>
        <description><![CDATA[Stories by Renan Viana Cruz De Macedo on Medium]]></description>
        <link>https://medium.com/@renannviana?source=rss-5564c741b476------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*1KvI4nPIm-QK9wXdzIoXew.jpeg</url>
            <title>Stories by Renan Viana Cruz De Macedo on Medium</title>
            <link>https://medium.com/@renannviana?source=rss-5564c741b476------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 07:49:20 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@renannviana/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Projeto de Ciência de Dados: Previsão De Internação Hospitalar]]></title>
            <link>https://medium.com/@renannviana/previs%C3%A3o-de-interna%C3%A7%C3%A3o-hospitalar-no-estado-do-cear%C3%A1-em-2020-38d59af88657?source=rss-5564c741b476------2</link>
            <guid isPermaLink="false">https://medium.com/p/38d59af88657</guid>
            <dc:creator><![CDATA[Renan Viana Cruz De Macedo]]></dc:creator>
            <pubDate>Wed, 17 Jul 2024 04:49:43 GMT</pubDate>
            <atom:updated>2024-07-27T04:52:54.043Z</atom:updated>
            <content:encoded><![CDATA[<h3>Projeto de Ciência de Dados: Previsão De Internação Hospitalar.</h3><h4>Python para manipulação de dados e aprendizado de máquina (Base de dados reais).</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lJx-9z9JMXSkuRzr-gMtCQ.jpeg" /></figure><h3>Contexto:</h3><p>O Sistema Único de Saúde (SUS) é um dos maiores sistemas públicos de saúde do mundo, sendo responsável por garantir o acesso gratuito aos serviços de saúde para todos os cidadãos brasileiros, independentemente de sua condição socioeconômica.</p><p>O principal desafio que o SUS enfrenta é a gestão de seus recursos, evitando disperdícios e redirecionando a verba disponível para processos que realmente necessitem de investimento.</p><p>Tendo isso em mente, a Secretaria da Saúde do Estado do Ceará (SESA), a qual faz parte de uma das instâncias de hierarquia do SUS, precisava saber como estava a demanda populacional por hospitais públicos, e para isso, seria necessário prever um Indicador Chave de Desempenho (KPI) muito importante: Demanda semestral de leitos de internação.</p><h3>Resolução do Problema:</h3><p>Com a disponibilidade de dados históricos sobre internações hospitalares nos últimos 6 meses no estado do Ceará, podemos usar técnicas de ciência de dados para prever a probabilidade de um paciente ser internado com base em suas características e condições de saúde.</p><h3>Passo 1: Coleta de dados</h3><p>O primeiro passo do projeto é achar uma boa base de dados para trabalhar, então a Fiocruz em parceria com o Instituto Brasileiro de Geografia e Estatistica (IBGE) haviam coletado informações importantes para o projeto, através da Pesquisa Nacional em Saúde (PNS), a qual consta todas as informações necessárias;</p><p>Base de dados: <a href="https://www.pns.icict.fiocruz.br/bases-de-dados/">https://www.pns.icict.fiocruz.br/bases-de-dados/</a></p><p>Ao acessar o link, é possível ter acesso aos Dados (formato CSV) e Metadados (Informações sobre os dados, como dicionário de dados, formato Excel).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1021/1*tzlIXLOCoYnaz_RyLef-6A.jpeg" /></figure><h3>Passo 2: Configurar Ambiente</h3><ul><li>Importar Bibliotecas Python</li></ul><pre>import pandas as pd<br>import matplotlib.pyplot as plt<br>import numpy as np</pre><ul><li>Configurando exibição dos data frames.</li></ul><pre>pd.set_option(&#39;display.max_rows&#39;, None)<br>pd.set_option(&#39;display.max_columns&#39;, None)</pre><h3>Passo 3: Extraindo informações iniciais sobre o dataset.</h3><p>Importar arquivo CSV e obter informações sobre variáveis:</p><pre>df_raw = pd.read_csv(&#39;pns2019.csv&#39;)<br>df_raw.info()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/283/1*nXlFa_FuAdMuQnS1m9MP6g.jpeg" /></figure><ul><li>O arquivo CSV original/raiz contém 99.557 linhas e 1087 Colunas/variáveis.</li><li>1.078 variáveis tipo Float; 8 variáveis tipo Inteiro, 1 variável tipo Objeto.</li></ul><pre>df_raw.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*p7sNmRc5YtSNDfMinPF2zQ.jpeg" /></figure><p>Com a função <strong>head()</strong> no data frame raiz (df_raw), é possível ver que as variáveis estão organizadas em códigos, os quais, vou precisar olhar os metadados no arquivo excel e ver o que cada variável significa e em seguida, filtrar quais variáveis são interessantes para o meu modelo preditivo.</p><h3>Passo 4: Escolha das Variáveis</h3><p>Escolher variáveis de interesse e colocar elas num data frame chamado df_variáveis:</p><pre>df_variaveis = df_raw[[&#39;C006&#39;,&#39;C008&#39;,&#39;V0001&#39;, &#39;I00102&#39;, &#39;J001&#39;, &#39;J037&#39;, &#39;J039&#39;, &#39;J04002&#39;, &#39;P00104&#39;, &#39;P00404&#39;, &#39;P027&#39;, &#39;P050&#39;, &#39;Q00201&#39;, &#39;Q03001&#39;, &#39;Q055012&#39;, &#39;Q060&#39;, &#39;Q022&#39;, &#39;Q120&#39;, &#39;Q12105&#39;, &#39;Q12102&#39;, &#39;Q12107&#39;,&#39;Q12108&#39;, &#39;Q12109&#39;, &#39;Q121013&#39;, &#39;Q121012&#39;, &#39;Q124&#39;, &#39;T004&#39;, &#39;Q11604&#39;, &#39;Q111&#39;, &#39;Q06307&#39;, &#39;Q06308&#39;, &#39;Q06309&#39;, &#39;Q06310&#39;, &#39;Q06311&#39;]]</pre><p>Renomear variáveis conforme dicionário de dados do arquivo Excel:</p><pre>renomeando_colunas = {&#39;C006&#39;:&#39;sexo&#39;,&#39;C008&#39;:&#39;idade&#39;,&#39;V0001&#39;:&#39;estado_br&#39;, &#39;I00102&#39;:&#39;plano_saude&#39;, &#39;J001&#39;:&#39;estado_saude&#39;, &#39;J037&#39;:&#39;internaçao&#39;, &#39;J039&#39;:&#39;motivo_internaçao&#39;, &#39;J04002&#39;:&#39;dias_internado(a)&#39;, &#39;P00104&#39;:&#39;peso_kg&#39;, &#39;P00404&#39;:&#39;altura_cm&#39;, &#39;P027&#39;:&#39;alcoolismo&#39;, &#39;P050&#39;:&#39;tabagista&#39;, &#39;Q00201&#39;:&#39;hipertenso(a)&#39;, &#39;Q03001&#39;:&#39;diabetes&#39;, &#39;Q055012&#39;:&#39;DCVs&#39;, &#39;Q060&#39;:&#39;hipercolesterolemia&#39;, &#39;Q022&#39;:&#39;Depressao&#39;, &#39;Q120&#39;:&#39;Cancer&#39;, &#39;Q12105&#39;:&#39;CA_intestino&#39;, &#39;Q12102&#39;:&#39;CA_pele&#39;, &#39;Q12107&#39;:&#39;CA_mama&#39;,&#39;Q12108&#39;:&#39;CA_Cl_Utero&#39;, &#39;Q12109&#39;:&#39;CA_prostata&#39;, &#39;Q121013&#39;:&#39;CA_cerebro&#39;, &#39;Q121012&#39;:&#39;CA_linf_leuc&#39;, &#39;Q124&#39;:&#39;Insuf_renal_cron&#39;, &#39;T004&#39;:&#39;dst&#39;, &#39;Q11604&#39;:&#39;DPOC&#39;, &#39;Q111&#39;:&#39;doença_mental&#39;, &#39;Q06307&#39;:&#39;infarto&#39;, &#39;Q06308&#39;:&#39;angina&#39;, &#39;Q06309&#39;:&#39;insuf_card&#39;, &#39;Q06310&#39;:&#39;arritmia&#39;, &#39;Q06311&#39;:&#39;outra_dcv&#39;}<br>df_variaveis.rename(columns=renomeando_colunas, inplace=True)<br>df_variaveis.columns</pre><ul><li>Criei dicionário em python, chamado <strong>‘renomeando_colunas’</strong>, que mapeia os nomes originais das colunas para novos nomes mais descritivos.</li><li>Usei a função <strong>rename()</strong> da biblioteca pandas para renomear as colunas do <strong>‘df_variaveis’</strong> com os nomes especificados no dicionário <strong>‘renomeando_colunas’</strong>.</li><li>Verifiquei se deu certo, imprimindo os nomes das colunas com <strong><em>columns.</em></strong></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/527/1*ZcFANv74rkL7qHXTndqR1A.jpeg" /></figure><p>Filtrar dados apenas do estado do Ceará:</p><pre>df_filtro_CE = df_variaveis[df_variaveis[&#39;estado_br&#39;] == 23]<br>df_filtro_CE.value_counts(df_filtro_CE[&#39;estado_br&#39;] == 23)</pre><ul><li>Explorando os metadados do arquivo excel, vi que pessoas do Ceará possuem a variável <strong>[‘estado_br’]</strong> representado pelo código ‘23’</li><li>Ao filtrar, joguei todos os meus dados para o <strong>‘df_filtro_CE’</strong>, fazendo com que<strong> </strong>todos os dados desse dataframe pertencem às pessoas do estado do Ceará.</li><li>Fiz a contagem de linhas/indivíduos que pertecem ao estado do Ceará com a função <strong>value_counts().</strong></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/185/1*Y-xKsNNHZc_OIEx6obVRDA.jpeg" /></figure><p>Comparei se esse valor de 7.758 bate com a quantidade de indivíduos do <strong>‘df_filtro_CE’,</strong> para ter certeza de que esse novo dataframe não perdeu dados.</p><pre>df_filtro_CE.shape</pre><ul><li>Esse método me retorna uma<strong><em> </em>tupla: ‘(7758, 34)’</strong> com as dimensões dos dados do dataframe, ou seja, 7.758 linhas e 34 colunas. Confirmando que meu filtro deu certo sem perda de dados.</li></ul><p>Excluir a variável [‘estado_br’], pois todos os dados são iguais e jogar o resultado para ‘df_drop_estado’</p><pre>df_drop_estado = df_filtro_CE.drop(labels=&#39;estado_br&#39;, axis=1, inplace=False)</pre><ul><li>axis=1, especifica que é pra excluir a coluna inteira</li><li>inplace=False, significa que não é pra excluir do df original, apenas do novo df criado.</li></ul><h3>Passo 5: Identificação e Tratamento de Dados Nulos</h3><p>Contagem de dados Não Nulos por variável:</p><pre>df_drop_estado.notnull().sum()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/202/1*BS_EfxaG53aJsEmiShJDYw.jpeg" /></figure><ul><li>Analisando isso, vi que o dataframe está com um problema de inconsistência dos dados, devido excesso de dados nulos. Isso pode acabar criando um viés enorme no momento do treinamento dos dados, por conta do risco de <strong>overfitting <em>(</em></strong><em>modelo se ajusta muito bem aos dados de treinamento, mas falha em generalizar)</em></li></ul><p>Dropar variáveis inconsistentes, pelo Excesso de dados Nulos/Faltantes e passando resultado para <strong>‘df_drop_var_nulos’.</strong></p><pre>df_drop_var_nulos = df_drop_estado.drop(labels=[&#39;CA_intestino&#39;, &#39;CA_pele&#39;,<br>       &#39;CA_mama&#39;, &#39;CA_Cl_Utero&#39;, &#39;CA_prostata&#39;, &#39;CA_cerebro&#39;, &#39;CA_linf_leuc&#39;,&#39;motivo_internaçao&#39;, &#39;dias_internado(a)&#39;, &#39;DCVs&#39;, &#39;Depressao&#39;, &#39;doença_mental&#39;, &#39;infarto&#39;, &#39;angina&#39;, &#39;insuf_card&#39;, &#39;arritmia&#39;,<br>       &#39;outra_dcv&#39;], axis=1, inplace=False)</pre><p>Vendo quantidade de valores não Nulos do novo DF:</p><pre>df_drop_var_nulos.notnull().sum()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/242/1*CB5QXy0euypSLrY8V2UWWw.jpeg" /></figure><ul><li>Apesar de excluir variáveis com excesso de nulos, as variáveis que sobraram ainda têm dados nulos, e é preciso dropar esses nulos.</li></ul><p>Dropando Nulos e obtendo informações do novo dataset:</p><pre>df_drop_null = df_drop_var_nulos.dropna(axis=0)<br>df_drop_null.info()</pre><ul><li>axis=0, a cada indivíduo/linha que tenha algum nulo em qualquer variável, dropar a linha inteira, ou seja, tirar essa pessoa do dataset.</li><li>Uso da função <strong>dropna()</strong> para excluir/dropar nulos.</li><li>Atribuí os resultados ao <strong>‘df_drop_null’</strong> e requisitei informações sobre esse novo dataset novamente com <strong>info()</strong></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/361/1*jxxKGd5qYhohcenJq6L54A.jpeg" /></figure><ul><li>Percebi que todos os dados que sobraram estão em forma de float, ou seja, possuem casas decimais. Portanto, foi preciso ver o que cada variável representava.</li></ul><h3>Passo 6: Ánalise dos tipos de dados e distribuição do dataset.</h3><p>Imprimir a contagem dos valores e ver as distribuições de cada variável.</p><pre>print(df_drop_null[&#39;sexo&#39;].value_counts())<br>print()<br>print((df_drop_null[&#39;idade&#39;]&gt;130).value_counts())<br>print()<br>print(df_drop_null[&#39;plano_saude&#39;].value_counts())<br>print()<br>print(df_drop_null[&#39;estado_saude&#39;].value_counts())<br>print()<br>print(df_drop_null[&#39;internaçao&#39;].value_counts())<br>print()<br>print((df_drop_null[&#39;peso_kg&#39;]&gt;599).value_counts())<br>print()<br>print((df_drop_null[&#39;altura_cm&#39;]==999).value_counts())<br>print()<br>print((df_drop_null[&#39;alcoolismo&#39;]).value_counts())<br>print()<br>print((df_drop_null[&#39;tabagista&#39;]).value_counts())<br>print()<br>print((df_drop_null[&#39;hipertenso(a)&#39;]).value_counts())<br>print()<br>print((df_drop_null[&#39;diabetes&#39;]).value_counts())<br>print()<br>print((df_drop_null[&#39;hipercolesterolemia&#39;]).value_counts())<br>print()<br>print((df_drop_null[&#39;Cancer&#39;]).value_counts())<br>print()<br>print((df_drop_null[&#39;Insuf_renal_cron&#39;]).value_counts())<br>print()<br>print((df_drop_null[&#39;dst&#39;]).value_counts())<br>print()<br>print((df_drop_null[&#39;DPOC&#39;]).value_counts())</pre><ul><li>As variáveis: [‘idade’], [‘peso_kg’] e [‘altura_cm’] são quantitativas, portanto, a distribuição desses valores devem ser analisados de forma unitária.</li><li>Vendo os metadados do arquivo excel, [‘idade’] só vai até 130, acima disso, seria considerado nulo. [‘peso_kg’] só vai até 599, acima disso seria nulo e em [‘altura_cm’], o valor 999 significa “não declarado”.</li><li>No entanto, ao printar a contagem desses valores nessas condições especificadas acima, constam 1595 falses, ou seja, não há nenhum valor considerado inválido ou nulo.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/432/1*4XsUFz7mVt7dqiuYWF2VnA.jpeg" /></figure><ul><li>Em sua maioria, as variáveis são categóricas, existindo uma boa quantidade de valores binários, ou valores passíveis de serem binarizados, o que já ajudou a nortear na escolha do melhor algorítmo de aprendizado de máquina.</li><li>Além disso, essas distribuições dos valores estão extremamente desbalanceados, <em>por exemplo [‘DPOC’] — 1.578 valores iguais a 2.0 e 17 valores iguais a 1.0</em>. O que complica muito a generalização do modelo preditivo.</li><li>Entretanto, existem técnicas de balanceamento de dados, o qual não pretendo explorar nesse projeto.</li></ul><h3>Passo 8: Tratamento de dados Duplicados</h3><p>Requisitando a soma dos dados duplicados em todo o dataframe <strong>‘df_drop_null’:</strong></p><pre>df_drop_null.duplicated().sum()</pre><ul><li>Resultado: 3</li></ul><p>Dropando dados duplicados e obtendo informações sobre novo df gerado <strong>(‘df_dropped_duplicated’).</strong></p><pre>df_dropped_duplicated = df_drop_null.drop_duplicates()<br>df_dropped_duplicated.info()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/367/1*eJmOVO0qd_eZsLVoSCupUQ.jpeg" /></figure><ul><li>Todas as variaveis estão com o número de linhas iguais (1.592), portanto, foram excluidas 3 linhas corretamente em todas as colunas.</li></ul><h3>Passo 9: Tratamento de variáveis quantitativas</h3><p>Em grande maioria, as variáveis do meu dataset são categóricas e binárias. Portanto, decidi que padronizar todas as variáveis dessa forma, aumentaria minhas opções na escolha do algorítmo de aprendizado de máquina.</p><blockquote>Análise estatística e tratamento de [‘idade’]:</blockquote><pre>df_dropped_duplicated[&#39;idade&#39;].hist(bins = 100)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/513/1*-M0Wvb5cRZmEmhk0Hd3_Iw.jpeg" /></figure><ul><li>É possível ver que a distribuição é normal, isso facilita a modelagem, melhora a performance do modelo e interpretação dos resultados.</li></ul><p>Descrição estatística:</p><pre>df_dropped_duplicated[&#39;idade&#39;].describe()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/206/1*5qoFB6UE0oe-YymUBm9D-w.jpeg" /></figure><p>Considerando outlier, como um dado que está 3 desvios padrão (std) distante da média (mean), é possível ver que não há outliers. Além disso, plotei um boxplot para ver se a máquina identifica algum dado como outlier.</p><pre>plt.boxplot(df_dropped_duplicated[&#39;idade&#39;])<br>plt.title(&#39;Boxplot da Variável Idade&#39;)<br>plt.xlabel(&#39;idade&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/515/1*xGWFSGEVtp-bQHSPyb12HA.jpeg" /></figure><ul><li>Sem outlier, portanto, há menos risco de viés criado pela variável [‘idade’] no modelo.</li></ul><p>Após analisar a distribuição dos dados, entendi que [‘idade’] está pronta para sofrer binarização, então, agrupei os indivíduos por faixas de idades, o que torna a variável categórica.</p><p>As faixas de idades foram escolhidas de acordo com as medidas de posição em estatística descritiva da própria variável, dividindo o conjunto de dados em menor valor, quartis e valor máximo do conjunto de dados.</p><p>Criação de Listas:</p><pre>faixa_etaria = [15, 33, 46, 61, 75, 95]<br>rotulo_faixa_etaria = [&#39;idade(15-33)&#39;, &#39;idade(34-46)&#39;, &#39;idade(47-61)&#39;, &#39;idade(62-75)&#39;, &#39;idade(76+)&#39;]</pre><ul><li><strong>faixa_etaria:</strong> Lista de valores que define os limites das faixas etárias.</li><li><strong>rotulo_faixa_etaria:</strong> Lista de rótulos que descrevem cada faixa etária.</li></ul><p>Discretização da variável [‘idade’]:</p><pre>series_faixa_etaria = pd.cut(df_dropped_duplicated[&#39;idade&#39;], bins=faixa_etaria, labels=rotulo_faixa_etaria)<br>series_faixa_etaria.head(10)</pre><ul><li><strong>pd.cut(): </strong>Segmenta<strong> [‘idade’] </strong>do <strong>df_dropped_duplicated</strong> em faixas definidas pelos limites em <strong>faixa_etaria.</strong></li><li><strong>bins=faixa_etaria</strong>: Define os limites de cada faixa etária.</li><li><strong>labels=rotulo_faixa_etaria:</strong> Atribui rótulos em cada faixa etária.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/188/1*YDDWp8FIHsG6Ud5mCCcwYQ.jpeg" /></figure><ul><li>Resulta em uma Série, onde cada valor de [‘idade’] é substituído pelo rótulo da faixa etária correspondente.</li></ul><p>Criei um data frame para cada faixa etária:</p><pre>df_faixa_etaria = {}<br>for label in rotulo_faixa_etaria: <br>    df_faixa_etaria = (series_faixa_etaria).to_frame(name=label)</pre><ul><li>Iniciei um dicionário vazio chamado ‘<strong>df_faixa_etaria’.</strong></li><li>Fiz um <strong>‘for loop’ </strong>para iterar os valores de <strong>series_faixa_etaria</strong> sob os <strong>rotulos_faixa_etaria.</strong></li><li>Armazenei os dataframes de faixas etárias no dicionário que estava vazio.</li><li>Converti o formato do<strong> </strong>‘<strong>df_faixa_etaria’ </strong>para dataframe.</li></ul><p>Então finalmente pude fazer a binarização da variável:</p><pre>df_dummies = pd.get_dummies(df_faixa_etaria[label], drop_first = False)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/443/1*Kvh8xNwpbQv9TCw6d0A-gA.jpeg" /></figure><ul><li><strong>get_dummies()</strong> retorna se o indivíduo atende ou não à faixa etária da coluna, em formato true/false.</li></ul><p>Conversão das dummies True/False para binários 0/1, convertendo df para inteiro e guardando no <strong>‘df_dummies_binar’</strong>:</p><pre>df_dummies_binar = df_dummies.astype(int)<br>df_dummies_binar.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/460/1*udyPU7_3Rjx4EeajprhlCw.jpeg" /></figure><p><strong>Para finalizar, concatenei/juntei esse df novo das idades discretizadas e binarizadas com o df contendo outras variáveis:</strong></p><pre>df_total_idade_discret_binar = pd.concat([df_dropped_duplicated, df_dummies_binar], axis=1)<br>df_total_idade_discret_binar.drop(labels=&#39;idade&#39;, axis=1, inplace = True)<br>df_total_idade_discret_binar.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/702/1*d_AvfdQo1GFjK9fOI6ZDlA.jpeg" /></figure><ul><li>Além de concatenar, dropei [‘idade’], já que possuo essa informação das idades nas variáveis transformadas.</li></ul><blockquote>Análise Estatística e Tratamento de [‘peso_kg’]:</blockquote><h4><strong>Histograma pra ver distribuição dos dados:</strong></h4><pre>df_total_idade_discret_binar[&#39;peso_kg&#39;].hist(bins=70)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/516/1*GUQHduDNoQP1dkf4mFpymA.jpeg" /></figure><ul><li>Distribuição normal</li><li>Possível presença de outlier, por observar alguns indivíduos distantes da curva do histograma, próximo do peso de 120kg.</li></ul><h4><strong>Descrição estatística:</strong></h4><pre>df_total_idade_discret_binar[&#39;peso_kg&#39;].describe()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/207/1*dqdxXXEuw9fA6587-Ptf1g.jpeg" /></figure><ul><li>Usando metodologia de considerar outliers quando o dado está 3 desvios padrão distante da média, já é possível confirmar presença de outliers, pois seguindo esse cáculo, qualquer dado &gt; 113 = outlier.</li></ul><p><strong>Vendo se ausência de outliers alteram muito estatísticas de [‘peso_kg’]:</strong></p><pre>df_peso_sem_out = df_total_idade_discret_binar[df_total_idade_discret_binar[&#39;peso_kg&#39;] &lt;= 113]<br>df_peso_sem_out[&#39;peso_kg&#39;].describe()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/212/1*w_BuEvFwmbhPqxu1hvGErw.jpeg" /></figure><ul><li>Ao comparar as estatísticas descritivas, entendo que a alteração foi praticamente mínima, não valendo a pena dropar 10 linhas e perder essa quantidade de informações por conta de outliers com pouco potencial de criação de viés.</li></ul><p><strong><em>Decidi que não vou fazer alterações nessa variável, porque mais pra frente, vou criar uma variável [‘imc’] e vou precisar dos dados de peso e altura em sua forma “natural”.</em></strong></p><blockquote>Análise Estatística e Tratamento de [‘altura_cm’]:</blockquote><h4><strong>Histograma de para ver distribuição dos dados:</strong></h4><pre>df_total_idade_discret_binar[&#39;altura_cm&#39;].hist(bins=100)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/530/1*jcT-fk-WZ-TGj5S5iKA9sA.jpeg" /></figure><ul><li>É possível desconfiar da presença de outliers</li></ul><p><strong>Boxplot para ver se há outliers</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/533/1*kF-jgXWtBPU-6EsCbVDvrw.jpeg" /></figure><ul><li>Outliers confirmados.</li></ul><p><strong>Confirmar se eles alteram estatística da variável:</strong></p><pre>df_total_idade_discret_binar[&#39;altura_cm&#39;].describe()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/231/1*ewT9fVjZLMMK6I8ESRPubQ.jpeg" /></figure><p><strong>Testando sem outliers:</strong></p><pre>df_teste_outlier_altura = df_total_idade_discret_binar.loc[(df_total_idade_discret_binar[&#39;altura_cm&#39;]&gt;=136) &amp; (df_total_idade_discret_binar[&#39;altura_cm&#39;]&lt;=188)]<br>df_teste_outlier_altura[&#39;altura_cm&#39;].describe()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/232/1*Qe7aYhGPpiZa1uMt1q72eA.jpeg" /></figure><ul><li>Desvio mínimo criado por outlier não compensa exclusão dos dados.</li></ul><p><strong>Criação de Variável [‘IMC’] com variáveis do próprio df_total_idade_discret_binar:</strong></p><pre>df_total_idade_discret_binar[&#39;imc&#39;] = (df_total_idade_discret_binar[&#39;peso_kg&#39;]) / ((df_total_idade_discret_binar[&#39;altura_cm&#39;]/100)**2)</pre><ul><li>Cálculo usado para obter IMC: (Peso) / ((Altura/100)²)</li></ul><p><strong>Criando Listas para segmentar/discretizar dados em intervalos com ‘pd.cut()’:</strong></p><pre>faixa_imc = [0, 18.5, 24.9, 30, 39.9]<br>rotulo_faixa_imc = [&#39;imc_baixo&#39;, &#39;imc_ideal&#39;, &#39;imc_acima&#39;, &#39;imc_obeso&#39;]<br>series_faixa_imc = pd.cut(df_total_idade_discret_binar[&#39;imc&#39;], bins=faixa_imc, labels=rotulo_faixa_imc)</pre><p><strong>Criando Dataframe:</strong></p><pre>df_imc_faixas = {}<br>for label in rotulo_faixa_imc: <br>    df_imc_faixas = (series_faixa_imc).to_frame(name=label)</pre><ul><li>Criei Dicionário vazio.</li><li>Fiz for loop em cada item do <strong>rotulo_faixa_imc</strong>.</li><li>Atribui dados do Series ao Dicionário.</li><li>Converti a Series em DF.</li></ul><p><strong>Convertendo DF Qualitativo em Dummies (booleanos):</strong></p><pre>df_dummies_imc_binar = pd.get_dummies(df_imc_faixas[label], drop_first = False)<br>df_dummies_imc_binar = df_dummies_imc_binar.astype(int)<br>df_dummies_imc_binar.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/307/1*GyQ-700DDOzeWrbEU3IqeQ.jpeg" /></figure><p><strong>Concatenando / Juntando DF dummies ao DF original:</strong></p><pre>df_total_dummies_imc_binar = pd.concat([df_total_idade_discret_binar, df_dummies_imc_binar], axis=1)<br>df_total_dummies_imc_binar.drop(labels= [&#39;altura_cm&#39;, &#39;peso_kg&#39;, &#39;imc&#39;], axis=1, inplace = True)<br>df_total_dummies_imc_binar.head()</pre><ul><li>Em seguida, dropei variáveis que serviram de base para criação dos dummies — Peso, IMC e Altura.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/673/1*u271KTaKkHMid_gjJZLEyg.jpeg" /></figure><h3>Passo 10: Padronização de variáveis qualitativas:</h3><p>Eu sabia que as variáveis estavam como float, então converti para inteiro e padronizei para valores = 0 ou 1, isso melhora performance e métricas do algorítmo de aprendizado de máquina.</p><p><strong>SEXO:</strong></p><pre>df_dropped_duplicated[&#39;sexo&#39;] = df_dropped_duplicated[&#39;sexo&#39;].replace(1,0)<br>df_dropped_duplicated[&#39;sexo&#39;] = df_dropped_duplicated[&#39;sexo&#39;].replace(2,1)</pre><ul><li>Padronizei 0 — Homem / 1 — Mulher</li></ul><p><strong>PLANO DE SAÚDE:</strong></p><p>Eu sabia que essa variável estava como float, então converti para inteiro:</p><pre>df_total_dummies_imc_binar[&#39;plano_saude&#39;] = df_total_dummies_imc_binar[&#39;plano_saude&#39;].astype(int)</pre><p>E converti esses valores = 1 para 0, e valores = 2 para 1:</p><pre>replace_planos = {1:0, 2:1}<br>df_total_dummies_imc_binar[&#39;plano_saude&#39;] = df_total_dummies_imc_binar[&#39;plano_saude&#39;].replace(replace_planos)<br>df_total_dummies_imc_binar[&#39;plano_saude&#39;].unique()</pre><p><strong>ESTADO DE SAÚDE:</strong></p><p>Convertendo valores para inteiro:</p><pre>df_total_dummies_imc_binar[&#39;estado_saude&#39;] = df_total_dummies_imc_binar[&#39;estado_saude&#39;].astype(int)</pre><p>De acordo com arquivo Excel, considerei (1, 2 e 3 = bom / 4 e 5 = ruim):</p><pre>estado_saude = {1:0, 2:0, 3:0, 4:1, 5:1}<br>df_total_dummies_imc_binar[&#39;estado_saude&#39;] = df_total_dummies_imc_binar[&#39;estado_saude&#39;].replace(estado_saude)</pre><p><strong>ALCOOLISMO:</strong></p><p>Segundo arquivo excel: 1.0 = Não, 2.0 e 3.0 = Sim</p><pre>df_total_dummies_imc_binar[&#39;alcoolismo&#39;] = df_total_dummies_imc_binar[&#39;alcoolismo&#39;].replace(3,2)<br>df_total_dummies_imc_binar[&#39;alcoolismo&#39;] = df_total_dummies_imc_binar[&#39;alcoolismo&#39;].replace(1,0)<br>df_total_dummies_imc_binar[&#39;alcoolismo&#39;] = df_total_dummies_imc_binar[&#39;alcoolismo&#39;].replace(2,1)<br>df_total_dummies_imc_binar[&#39;alcoolismo&#39;] = df_total_dummies_imc_binar[&#39;alcoolismo&#39;].astype(int)</pre><ul><li>Portanto, decidi padronizar 1 para 0 / 2 e 3 para 1</li></ul><p><strong>HIPERTENSÃO:</strong></p><p>Segundo arquivo excel: Hipertenso (2.0 = Não, 1.0 = Sim)</p><pre>df_total_dummies_imc_binar[&#39;hipertenso(a)&#39;] = df_total_dummies_imc_binar[&#39;hipertenso(a)&#39;].replace(1,0)<br>df_total_dummies_imc_binar[&#39;hipertenso(a)&#39;] = df_total_dummies_imc_binar[&#39;hipertenso(a)&#39;].replace(2,1)<br>df_total_dummies_imc_binar[&#39;hipertenso(a)&#39;] = df_total_dummies_imc_binar[&#39;hipertenso(a)&#39;].astype(int)</pre><ul><li>Padronizei (0 = Sim, 1 = Nao)</li></ul><p><strong>DIABETES:</strong></p><p>Segundo arquivo excel: (1.0 — sim, 2.0 — não)</p><pre>df_total_dummies_imc_binar[&#39;diabetes&#39;] = df_total_dummies_imc_binar[&#39;diabetes&#39;].replace(1,0)<br>df_total_dummies_imc_binar[&#39;diabetes&#39;] = df_total_dummies_imc_binar[&#39;diabetes&#39;].replace(2,1)<br>df_total_dummies_imc_binar[&#39;diabetes&#39;] = df_total_dummies_imc_binar[&#39;diabetes&#39;].astype(int)</pre><ul><li>Padronizei (0 = Sim, 1 = Nao)</li></ul><p><strong>HIPERCOLESTEROLEMIA:</strong></p><p>Segundo arquivo excel: (1.0 — sim, 2.0 — não)</p><pre>df_total_dummies_imc_binar[&#39;hipercolesterolemia&#39;] = df_total_dummies_imc_binar[&#39;hipercolesterolemia&#39;].replace(1,0)<br>df_total_dummies_imc_binar[&#39;hipercolesterolemia&#39;] = df_total_dummies_imc_binar[&#39;hipercolesterolemia&#39;].replace(2,1)<br>df_total_dummies_imc_binar[&#39;hipercolesterolemia&#39;] = df_total_dummies_imc_binar[&#39;hipercolesterolemia&#39;].astype(int)</pre><ul><li>Padronizei (0 = Sim, 1 = Nao)</li></ul><p><strong>CANCÊR:</strong></p><p>Segundo arquivo excel: (1.0 — sim, 2.0 — não)</p><pre>df_total_dummies_imc_binar[&#39;Cancer&#39;] = df_total_dummies_imc_binar[&#39;Cancer&#39;].replace(1,0)<br>df_total_dummies_imc_binar[&#39;Cancer&#39;] = df_total_dummies_imc_binar[&#39;Cancer&#39;].replace(2,1)<br>df_total_dummies_imc_binar[&#39;Cancer&#39;] = df_total_dummies_imc_binar[&#39;Cancer&#39;].astype(int)</pre><ul><li>Padronizei (0 = Sim, 1 = Nao)</li></ul><p><strong>INSUFICIÊNCIA RENAL CRÔNICA:</strong></p><p>Segundo arquivo excel: (1.0 — sim, 2.0 — não)</p><pre>df_total_dummies_imc_binar[&#39;Insuf_renal_cron&#39;] = df_total_dummies_imc_binar[&#39;Insuf_renal_cron&#39;].replace(1,0)<br>df_total_dummies_imc_binar[&#39;Insuf_renal_cron&#39;] = df_total_dummies_imc_binar[&#39;Insuf_renal_cron&#39;].replace(2,1)<br>df_total_dummies_imc_binar[&#39;Insuf_renal_cron&#39;] = df_total_dummies_imc_binar[&#39;Insuf_renal_cron&#39;].astype(int)</pre><ul><li>Padronizei (0 = Sim, 1 = Nao)</li></ul><p><strong>DOENÇA SEXUALMENTE TRANSMISSÍVEL (DST):</strong></p><p>Segundo arquivo excel: (1.0 — sim, 2.0 — não)</p><pre>df_total_dummies_imc_binar[&#39;dst&#39;] = df_total_dummies_imc_binar[&#39;dst&#39;].replace(1,0)<br>df_total_dummies_imc_binar[&#39;dst&#39;] = df_total_dummies_imc_binar[&#39;dst&#39;].replace(2,1)<br>df_total_dummies_imc_binar[&#39;dst&#39;] = df_total_dummies_imc_binar[&#39;dst&#39;].astype(int)</pre><ul><li>Padronizei (0 = Sim, 1 = Nao)</li></ul><p><strong>DOENÇA PULMONAR OBSTRUTIVA CRÔNICA (DPOC):</strong></p><p>Segundo arquivo excel: (1.0 — sim, 2.0 — não)</p><pre>df_total_dummies_imc_binar[&#39;DPOC&#39;] = df_total_dummies_imc_binar[&#39;DPOC&#39;].replace(1,0)<br>df_total_dummies_imc_binar[&#39;DPOC&#39;] = df_total_dummies_imc_binar[&#39;DPOC&#39;].replace(2,1)<br>df_total_dummies_imc_binar[&#39;DPOC&#39;] = df_total_dummies_imc_binar[&#39;DPOC&#39;].astype(int)</pre><ul><li>Padronizei (0 = Sim, 1 = Nao)</li></ul><p><strong>INTERNAÇÃO:</strong></p><p>Lembrando que essa variável é a Target, ou seja, é ela que iremos prever com o algorítmo de aprendizado de máquina.</p><p>Segundo arquivo excel: (1.0 — sim, 2.0 — não)</p><pre>df_total_dummies_imc_binar[&#39;internaçao&#39;] = df_total_dummies_imc_binar[&#39;internaçao&#39;].replace(1,0)<br>df_total_dummies_imc_binar[&#39;internaçao&#39;] = df_total_dummies_imc_binar[&#39;internaçao&#39;].replace(2,1)<br>df_total_dummies_imc_binar[&#39;internaçao&#39;] = df_total_dummies_imc_binar[&#39;internaçao&#39;].astype(int)</pre><ul><li>Padronizei (0 = Sim, 1 = Nao)</li></ul><p><strong>Resultado da transformação dos dados (primeiras 20 linhas):</strong></p><pre>df_total_dummies_imc_binar.head(20)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vp6L5APbJNClYL0uI3nB8Q.jpeg" /></figure><p>Por fim, após o longo processo de pré-processamento do dataset, os dados se encontram padronizados e binarizados, prontos para passar pelo algorítmo de Aprendizado de máquina.</p><h3>Passo 11: Algorítmo de Regressão Logística</h3><p>Existem diferentes modelos de aprendizado de máquina, e a escolha do modelo depende do tipo de dados disponíveis, da variável a ser predita e da performance esperada do algoritmo.</p><p>Escolhi o modelo de Regressão Logística, pois é um modelo de classificação, ou seja, prevê variáveis categatóricas. Além disso, lida bem com variáveis binárias, que é o caso do meu dataset.</p><p>Outro ponto muito importante para justificar minha escolha é que a regressão logística é pouco propensa ao <strong><em>“Overfitting”,</em></strong> quando comparado a alguns outros modelos de classificação.</p><p>Esse fenômeno é indesejado, pois se trata do excesso de aprendizado da máquina sobre os dados de treino e baixa capacidade de generalização para dados do mundo real.</p><p>Esse desbalanço na distribuição das variáveis do meu dataset pode criar um viés na predição, o que prejudica classificações do modelo em produção.</p><p><strong>Separação de Variáveis Preditoras (X) e Variável a ser Predita (y)</strong></p><pre>X = df_total_dummies_imc_binar.drop([&#39;internaçao&#39;], axis=1)<br>y = df_total_dummies_imc_binar[&#39;internaçao&#39;]</pre><p><strong>Separação dos dados de Treino e de Teste</strong></p><pre> from sklearn.model_selection import train_test_split<br>X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42, stratify=y)</pre><p>A função <strong>train_test_split()</strong> divide os dados em 4 subconjuntos:</p><ul><li><strong>X_train</strong>: Conjunto de dados para treinamento.</li><li><strong>X_test:</strong> Conjunto de dados para teste.</li><li><strong>y_train</strong>: Rótulos correspondentes para o conjunto de treinamento.</li><li><strong>y_test</strong>: Rótulos correspondentes para o conjunto de teste.</li><li><strong>test_size=0.25 </strong>(Garante que<strong> </strong>25% dos dados serão reservados para teste e 75% para treinamento).</li><li><strong>random_state=42</strong> (Garante que a divisão dos dados será a mesma se você executar o código várias vezes, facilitando a comparação de resultados).</li><li><strong>stratify=y (</strong>Garante que o conjunto de treino e de teste tenham a mesma proporção de classes).</li></ul><p><strong>Tamanho e balanço dos dados de treino e teste</strong></p><pre>print(&#39;Tamanho do treino:&#39;,y_train.shape[0])<br>print(&#39;Tamanho do teste:&#39;,y_test.shape[0])<br>print()<br>print(&#39;Balanço do treino:&#39;,y_train.value_counts())<br>print()<br>print(&#39;Balanço do teste:&#39;,y_test.value_counts())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/212/1*kqXuqXB6pBBz3hQei1zNGg.jpeg" /></figure><p><strong>Importação de funções da biblioteca Scikit-Learn para fazer métricas de avaliação do algorítmo e para aplicar o modelo de Regressão</strong></p><pre>from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score<br>from sklearn.linear_model import LogisticRegression</pre><p><strong>Treinamento com dados de treino</strong></p><pre>LR = LogisticRegression()<br>LR.fit(X_train, y_train)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/162/1*cFA33ZRqYgWIBLtrjWonpg.jpeg" /></figure><p><strong>Função retorna varáveis a serem preditas pelo modelo para as amostras fornecidas (X_test)</strong></p><pre>y_pred = LR.predict(X_test)<br>print(y_pred)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/505/1*GgLJj_GIeuOynrLd3Nk_YQ.jpeg" /></figure><p><strong>Probabilidade de cada amostra pertencer à classe positiva (classe 1)</strong></p><pre>y_prob = LR.predict_proba(X_test)[:, 1]<br>print(y_prob)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/446/1*ELaCOFqF2xreiFIL9-iXKw.jpeg" /></figure><p><strong>Matriz de Confusão</strong></p><ul><li>A matriz de confusão é uma boa ferramenta para a avaliação de algoritmos de classificação. Ela permite uma visualização do desempenho do modelo, mostrando quantas previsões foram corretamente ou incorretamente feitas para cada classe.</li></ul><pre>confusion_matrix(y_true=y_test, y_pred = y_pred, labels = [1,0])</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/137/1*O-A0w1F7CWZtFfC7XdN-WQ.jpeg" /></figure><p><strong>Interpretação da Matriz:</strong></p><ul><li>Existem 367 casos onde o modelo corretamente identificou uma internação hospitalar.</li><li>Existe 1 caso onde o modelo não conseguiu identificar uma internação hospitalar (errou dizendo que não haveria internação).</li><li>Existem 30 casos onde o modelo previu uma internação hospitalar, mas não houve internação (errou dizendo que haveria internação).</li><li>Não há nenhum caso onde o modelo corretamente identificou a ausência de uma internação hospitalar.</li></ul><p><strong>Outras Métricas:</strong></p><pre>precision = precision_score(y_test, y_pred, pos_label=1)  <br>recall = recall_score(y_test, y_pred, pos_label=1)  <br>f1 = f1_score(y_test, y_pred, pos_label=1) <br><br>print(&#39;precision:&#39;, precision), <br>print( &#39;recall:&#39;, recall), <br>print(&#39;f1:&#39;,f1)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/208/1*s5hVi90iEkO5VJ1BAvw-hg.jpeg" /></figure><p><strong>Considerações sobre o Modelo</strong></p><p>O modelo é bom em identificar internações hospitalares (alta precisão e recall), mas tem uma taxa significativa de falsos positivos, o que indica que muitas vezes prevê uma internação hospitalar que não ocorre. Além disso, a ausência de verdadeiros negativos mostra que o modelo não consegue prever corretamente quando não haverá internação hospitalar.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=38d59af88657" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>