<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Jonatas Liberato on Medium]]></title>
        <description><![CDATA[Stories by Jonatas Liberato on Medium]]></description>
        <link>https://medium.com/@jonatasliberato?source=rss-8d0c66edc75f------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*PEExQSkKogM9wFk3</url>
            <title>Stories by Jonatas Liberato on Medium</title>
            <link>https://medium.com/@jonatasliberato?source=rss-8d0c66edc75f------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Thu, 19 Nov 2026 20:20:07 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@jonatasliberato/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[O DRAMA DAS QUEIMADAS NO BRASIL: Análise de Dados com Python]]></title>
            <link>https://medium.com/@jonatasliberato/o-rama-das-queimadas-no-brasil-an%C3%A1lise-de-dados-com-python-d58b05932887?source=rss-8d0c66edc75f------2</link>
            <guid isPermaLink="false">https://medium.com/p/d58b05932887</guid>
            <category><![CDATA[queimadas]]></category>
            <category><![CDATA[data-sicence]]></category>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[analise-de-dados]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[Jonatas Liberato]]></dc:creator>
            <pubDate>Sat, 12 Oct 2024 17:39:44 GMT</pubDate>
            <atom:updated>2024-10-12T17:41:11.803Z</atom:updated>
            <content:encoded><![CDATA[<p>As queimadas, um flagelo que tem se intensificado em nosso país, vêm impactando diretamente a vida de milhões de brasileiros. Para entender melhor essa realidade e buscar soluções, criei esse projeto para junto contigo, leitor, mergulhar em uma análise profunda dos dados sobre focos de incêndio no Brasil.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MVK4-SHJFhyS9TFgMZtmjg.png" /></figure><h4><strong>Um Olhar para o Passado:</strong></h4><p>Utilizamos dados precisos e oficiais coletados pelo Instituto Nacional de Pesquisas Espaciais (INPE) desde 1998, construímos uma linha do tempo que nos permite visualizar a evolução do número de queimadas ao longo dos anos. Essa jornada no tempo nos revela um cenário complexo, com picos e quedas que refletem a interação entre fatores naturais e a ação humana.</p><h4><strong>A Dança das Estações e o Fogo:</strong></h4><p>Quando analisamos os dados mês a mês, percebemos um padrão sazonal bastante evidente. Durante a estação seca, as queimadas tendem a se intensificar, impulsionadas pelas condições climáticas mais favoráveis à propagação do fogo. Há de se destacar, a magnitude e a duração desses períodos de maior atividade variam significativamente de um ano para outro, indicando a influência de outros fatores, como o manejo do fogo e as mudanças climáticas.</p><h4><strong>Um Mapa da Devastação:</strong></h4><p>Além disso, analisamos a série temporal, também investigamos a distribuição geográfica dos focos de queimadas. Ao mapear os pontos de ignição, identificamos as regiões mais afetadas por esse problema. Essa análise espacial nos permite compreender melhor as dinâmicas locais e os fatores que contribuem para a concentração de queimadas em determinadas áreas.</p><h4><strong>Desvendando os Padrões:</strong></h4><p>É partindo da análise dos dados, que buscamos identificar padrões e tendências que possam nos ajudar a compreender as causas e as consequências das queimadas. Essa investigação nos permite:</p><ul><li><strong>Identificar os principais biomas afetados:</strong> A Amazônia e o Cerrado são os biomas que mais sofrem com as queimadas, mas outros ecossistemas também são vulneráveis.</li><li><strong>Avaliar a relação entre as queimadas e o desmatamento:</strong> A conversão de áreas naturais em pastagens e agricultura é um dos principais motores das queimadas, uma vez que o fogo é frequentemente utilizado como ferramenta para limpar o terreno.</li><li><strong>Analisar o impacto das mudanças climáticas: </strong>O aumento da temperatura e a redução das chuvas estão tornando o clima mais propício à ocorrência de incêndios florestais, intensificando os efeitos das queimadas sobre os ecossistemas e a sociedade.</li></ul><h4><strong>Por que essa análise é importante?</strong></h4><p>Seja da vertente político, ideológica ou partidária as quais você pertença, é fato que ao compreender as dinâmicas das queimadas, podemos desenvolver estratégias mais eficazes para prevenir e combater os incêndios florestais. Torna-se também tão ou mais importante, informar a todos os brasileiros o que vem acontecendo e o quão preocupante a situação está não somente no Brasil, mas no mundo. Essa análise também nos permite:</p><ul><li><strong>Informar a tomada de decisão:</strong> Os dados gerados por essa pesquisa podem ser utilizados por gestores públicos, pesquisadores e organizações da sociedade civil para desenvolver políticas públicas e projetos que visem à conservação da biodiversidade e à redução das emissões de gases de efeito estufa.</li><li><strong>Sensibilizar a população:</strong> Ao apresentar os dados de forma clara e objetiva, podemos contribuir para a conscientização da população sobre os impactos das queimadas e a importância da preservação do meio ambiente.</li><li><strong>Mobilizar a sociedade: </strong>A divulgação dos resultados dessa pesquisa pode estimular a participação da sociedade civil em ações de combate às queimadas e de restauração dos ecossistemas degradados.</li></ul><h4><strong>Um chamado à ação:</strong></h4><p>As queimadas são um problema complexo que exige uma resposta multifacetada. É fundamental que todos nós, como cidadãos, nos engajemos nessa luta. Cada um de nós pode contribuir para a construção de um futuro mais sustentável, adotando hábitos de consumo mais conscientes, apoiando projetos de conservação e cobrando dos nossos representantes políticos ações efetivas para combater as queimadas e proteger o nosso patrimônio natural.</p><h4><strong>Para resumir essa introduçãozona:</strong></h4><p>Ao analisar os dados sobre focos de queimadas no Brasil, podemos construir um panorama mais completo desse problema e identificar as principais áreas de atuação para sua prevenção e controle. Essa análise é fundamental para a elaboração de políticas públicas eficazes e para a mobilização da sociedade em torno dessa causa.</p><h3><strong>Como será feita a análise</strong></h3><p>Como citado, utilizaremos dados atualizados fornecidos pelo Instituto Nacional de Pesquisas Espaciais (INPE). Esses dados, coletados por satélites, nos oferecem uma visão detalhada do número de focos de queimadas em todo o território nacional, mês a mês.</p><p><strong>Uma Jornada no Tempo:</strong></p><p>Ao analisar esses dados, percebemos que estamos lidando com uma série temporal. Ou seja, os dados são ordenados cronologicamente, permitindo que identifiquemos padrões e tendências ao longo do tempo. Essa característica é fundamental para entender a evolução do problema e identificar os fatores que influenciam o aumento ou a diminuição do número de queimadas.</p><h4><strong>Desvendando os Padrões:</strong></h4><p>Ao examinar a série temporal, observamos alguns padrões claros:</p><ul><li><strong>Tendência de Crescimento:</strong> Ao longo dos anos, notamos um aumento geral no número de focos de queimadas, indicando que o problema está se intensificando.</li><li><strong>Sazonalidade Marcante:</strong> Existe um padrão sazonal bem definido, com picos de queimadas durante a estação seca (julho a setembro) e quedas durante a estação chuvosa (janeiro a março). Esse padrão está diretamente relacionado às condições climáticas, que favorecem a propagação do fogo durante os períodos mais secos.</li><li><strong>Variabilidade:</strong> A distribuição dos focos de queimadas apresenta uma grande variabilidade, com picos bastante elevados em alguns anos e períodos de relativa estabilidade em outros. Essa variabilidade pode ser explicada por diversos fatores, como as condições climáticas, as práticas agrícolas, o desmatamento e as políticas públicas.</li></ul><h4><strong>Ferramentas para a Análise:</strong></h4><p>Para aprofundar nossa análise, utilizamos diversas ferramentas estatísticas e de visualização:</p><ul><li><strong>Gráficos de Linha:</strong> Esses gráficos nos permitem visualizar a trajetória da série temporal de forma clara e intuitiva, facilitando a identificação de tendências e sazonalidades.</li><li><strong>Estatísticas Descritivas:</strong> Cálculos como média, mediana, desvio padrão e variância nos fornecem um resumo numérico dos dados, permitindo comparar diferentes períodos e identificar valores atípicos.</li><li><strong>Histogramas:</strong> Os histogramas nos ajudam a visualizar a distribuição dos dados, mostrando a frequência com que cada valor ocorre.</li><li><strong>Análise Sazonal:</strong> Ao analisar os dados mês a mês, podemos identificar os meses com maior e menor número de focos de queimadas, confirmando o padrão sazonal observado.</li><li><strong>Violin Plots:</strong> Essa ferramenta visual nos permite comparar a distribuição dos dados em diferentes meses do ano, evidenciando as diferenças entre os períodos mais secos e mais chuvosos.</li><li><strong>Decomposição:</strong> A decomposição da série temporal nos permite separar os componentes da série: tendência, sazonalidade e resíduos. Essa técnica é útil para entender a contribuição de cada componente para a variação dos dados.</li><li><strong>Dessazonalização e Média Móvel:</strong> Essas técnicas são utilizadas para remover a sazonalidade e suavizar a série temporal, facilitando a análise de tendências de longo prazo.</li></ul><h4><strong>Por que Essa Análise é Importante?</strong></h4><p>Ao compreender os padrões e as tendências dos dados sobre queimadas, podemos:</p><p><strong>Identificar as causas:</strong> Relacionar o aumento das queimadas com fatores como o desmatamento, as mudanças climáticas e as práticas agrícolas.</p><ul><li><strong>Avaliar o impacto:</strong> Analisar os impactos das queimadas sobre a biodiversidade, o clima, a qualidade do ar e a saúde humana.</li><li><strong>Desenvolver estratégias:</strong> Informar a tomada de decisão e o desenvolvimento de políticas públicas para prevenir e combater as queimadas.</li><li><strong>Monitorar o problema:</strong> Acompanhar a evolução das queimadas ao longo do tempo e avaliar a eficácia das medidas adotadas.</li></ul><h4><strong>Um Olhar para o Futuro:</strong></h4><p>A análise dos dados do INPE nos mostra a urgência de adotar medidas para combater as queimadas e proteger nossos ecossistemas. Ao compreender as causas e os impactos desse problema, podemos trabalhar juntos para construir um futuro mais sustentável para o nosso país.</p><pre>import pandas as pd<br>import numpy as np<br><br>import seaborn as sns<br>import plotly.express as px<br>import plotly.graph_objects as go<br>import plotly.figure_factory as ff<br>from plotly.subplots import make_subplots<br>from matplotlib import pyplot as plt<br>import plotnine as p9<br><br>import statsmodels.api as sm<br>from statsmodels.tsa.seasonal import seasonal_decompose<br>sns.set()<br><br>from shapely.geometry import Point<br>import geopandas as gpd<br>import contextily<br>import folium<br><br>import os<br>import io<br>from urllib.request import urlretrieve<br>import requests<br>import zipfile<br>from bs4 import BeautifulSoup<br><br><br>import warnings<br>warnings.filterwarnings(&quot;ignore&quot;)</pre><h3>Base de Dados</h3><pre>data_raw = pd.read_csv(&quot;https://terrabrasilis.dpi.inpe.br/queimadas/situacao-atual/media/csv_estatisticas/historico_pais_brasil.csv&quot;)<br>data_raw</pre><h3><strong>Limpando o dataset</strong></h3><p>Apesar de, o conjunto de dados estar meramente organizado, faz-se necessário um tratamento dos mesmos. De início, vamos transformar os dados em <em>tidy</em>, que são dados que seguem a estrutura onde as variáveis ficam nas colunas e as observações nas linhas.</p><p>Ou seja, as colunas categóricas vão se tornar dados em datetime.</p><pre># Exclusão das linhas Máximo, Mínimo e Média<br>data = data_raw[~data_raw[&#39;Unnamed: 0&#39;].isin([&#39;Máximo*&#39;, &#39;Média*&#39;, &#39;Mínimo*&#39;])]<br><br># Uso da coluna Unnamed: 0 para trabalhar com data<br>data[&#39;Unnamed: 0&#39;] = data[&#39;Unnamed: 0&#39;].astype(int)<br><br># Conversão de dados de wide para long e junção com meses e anos<br>data_long = pd.melt(data,<br>                  id_vars = [&#39;Unnamed: 0&#39;],<br>                  value_vars = data.columns[1:-1],<br>                  var_name = &#39;Mês&#39;,<br>                  value_name = &#39;Valor&#39;)<br><br># Nomeando a coluna<br>data_long.rename(columns = {&#39;Unnamed: 0&#39;: &#39;Ano&#39;}, inplace= True)</pre><h4><strong>Indexando os meses do ano</strong></h4><pre># Criando um dicionário para utilizar na indexação<br>meses_mapeados = {<br>    &#39;Janeiro&#39;: &#39;1&#39;,<br>    &#39;Fevereiro&#39;: &#39;2&#39;,<br>    &#39;Março&#39;: &#39;3&#39;,<br>    &#39;Abril&#39;: &#39;4&#39;,<br>    &#39;Maio&#39;: &#39;5&#39;,<br>    &#39;Junho&#39;: &#39;6&#39;,<br>    &#39;Julho&#39;: &#39;7&#39;,<br>    &#39;Agosto&#39;: &#39;8&#39;,<br>    &#39;Setembro&#39;: &#39;9&#39;,<br>    &#39;Outubro&#39;: &#39;10&#39;,<br>    &#39;Novembro&#39;: &#39;11&#39;,<br>    &#39;Dezembro&#39;: &#39;12&#39;<br>}<br><br># Atribuindo o mapeamento ao dataset<br>data = (<br>    data_long<br>    .assign(Mês = data_long[&#39;Mês&#39;].map(meses_mapeados)) # Nomes por números<br>    .assign(data = lambda x: pd.to_datetime(x[&#39;Ano&#39;].astype(str) + &#39;-&#39; + x[&#39;Mês&#39;], format = &#39;%Y-%m&#39;)) # Criação e conversão para datetime<br>    .sort_values(by = &#39;data&#39;) # Padrão Ano-Mês<br>    .reset_index(drop = True) # Resetando o índice do dataframe<br>    .dropna() # retirada de valores NaN<br>    .query(&quot;data &gt;= &#39;1999-01-01&#39;&quot;) # filtrando o período<br>)</pre><h3><strong>Análise Exploratória</strong></h3><pre># Verificando os tipos das variáveis<br>data.info()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/493/1*t9Ui7VO9wXYsuX_hGNdpYQ.png" /></figure><pre># Estatísticas descritivas<br>data[&#39;Valor&#39;].describe()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/303/1*trHyV-pVv4kwH1MVv3D_Zw.png" /></figure><h4><strong>Analisando a relação entre as variáveis</strong></h4><pre># Gráfico de Dispersão com fundo escuro e dimensões ajustadas<br>fig = px.scatter(data, x=&quot;data&quot;, y=&quot;Valor&quot;, opacity=0.5, title=&quot;Gráfico de Dispersão: Valor x Ano&quot;, width=1000, height=600, template=&quot;plotly_dark&quot;)<br><br># Adicionar anotação de fonte<br>fig.update_layout(annotations=[dict(<br>    text=&quot;Fonte: INPE | Autor: Jonatas A. Liberato&quot;, x=0.5, y=-0.15, xref=&quot;paper&quot;, yref=&quot;paper&quot;, showarrow=False<br>)])<br><br># Mostrar o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NB2298YV-LjspQ3stYUCzA.png" /></figure><h4><strong>Entendendo os picos de queimadas</strong></h4><pre># Gráfico de Linha com fundo escuro e dimensões ajustadas<br>fig = px.line(data, x=&quot;data&quot;, y=&quot;Valor&quot;, title=&quot;Queimadas ao Longo do Tempo&quot;, width=1000, height=600, template=&quot;plotly_dark&quot;)<br><br># Adicionar anotação de fonte<br>fig.update_layout(annotations=[dict(<br>    text=&quot;Fonte: INPE | Autor: Jonatas A. Liberato&quot;, x=0.5, y=-0.15, xref=&quot;paper&quot;, yref=&quot;paper&quot;, showarrow=False<br>)])<br><br># Mostrar o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*g5EmVhRjQ5TC1At4ifCGkg.png" /></figure><p>Tanto no gráfico de linha, quanto no gráfico de dispersão, vemos de forma detalhada como o número de queimadas varia ao longo do tempo. E tiramos algumas conclusões:</p><ul><li><strong>Sazonalidade</strong>: O gráfico mostra que há uma espécie de “ritmo” nas queimadas. Isso significa que elas não acontecem de forma constante durante o ano todo. Pelo contrário, há períodos em que o número de queimadas aumenta bastante e outros em que ele diminui.</li><li><strong>Picos nos meses de julho e agosto</strong>: Esses são os meses em que vemos os maiores picos de queimadas. É como se, nesse período, houvesse uma concentração maior de incêndios florestais.</li><li><strong>Menor atividade no início do ano</strong>: No começo do ano, percebemos que o número de queimadas é menor. Isso pode estar relacionado a fatores climáticos, como chuvas ou temperaturas mais amenas.</li><li><strong>Tendência de crescimento geral nos anos 2000</strong>: Se olharmos para a década de 2000 como um todo, notamos que o número de focos de queimadas aumentou gradualmente. Isso sugere que, ao longo desses anos, houve uma tendência de crescimento nesse tipo de evento.</li></ul><p>Em resumo, o gráfico nos mostra esses padrões sazonais, picos nos meses mais quentes e uma tendência de aumento nas queimadas ao longo dos anos.</p><pre>data.groupby(&#39;Mês&#39;)[&#39;Valor&#39;].describe()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/689/1*REaJPxPU9_s8_FZJSF3R7Q.png" /></figure><p>Com base nessas estatísticas, podemos indentificar que:</p><ul><li>os meses de julho e agosto apresentam os maiores picos de queimadas e isso pode estar relacionado ao clima mais seco e às altas temperaturas registradas no período</li><li>nos meses de inverno (janeiro e fevereiro), o número de queimadas é menor, indicando uma diminuição da atividade nessa época</li><li>durante a década de 2000, houve um aumento gradual no número de focos de queimadas, indicando uma tendência de crescimento ao longo desses anos</li><li>os meses de setembro e outubro têm os maiores números de queimadas, com médias superiores a 64000 focos</li><li>os meses de dezembro e janeiro têm as menores médias, com cerca de 11500 e 2068 focos, respectivamente</li></ul><p>Em relação à dispersão dos dados, o desvio padrão varia consideravelmente entre os meses, indicando maior ou menor dispersão dos dados em torno da média.</p><h4><strong>Assimetria dos dados</strong></h4><pre># Supondo que &#39;data&#39; seja o DataFrame contendo a coluna &#39;Valor&#39;<br>valores = data[&#39;Valor&#39;]<br><br># Criar os dados para o gráfico KDE<br>x = np.linspace(min(valores), max(valores), len(valores))<br><br># Gráfico KDE (curva de densidade com preenchimento)<br>fig = ff.create_distplot([valores], group_labels=[&#39;Distribuição de Queimadas&#39;],<br>                         colors=[&#39;skyblue&#39;], show_hist=False)<br><br># Ajustando o layout do gráfico com fundo escuro<br>fig.update_layout(<br>    title=&quot;Distribuição dos Valores das Queimadas&quot;,<br>    xaxis_title=&quot;Focos&quot;,<br>    yaxis_title=&quot;Densidade&quot;,<br>    plot_bgcolor=&#39;black&#39;,<br>    paper_bgcolor=&#39;black&#39;,<br>    font=dict(color=&#39;white&#39;),<br>    width=1000,<br>    height=600<br>)<br><br># Adicionando anotação de fonte<br>fig.add_annotation(text=&quot;Fonte: INPE | Autor: Jonatas A. Liberato&quot;,<br>                   xref=&quot;paper&quot;, yref=&quot;paper&quot;,<br>                   x=0.9, y=-0.1, showarrow=False,<br>                   font=dict(size=12, color=&quot;white&quot;))<br><br># Exibir o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_dFwW7hn1W0e64XYKib68g.png" /></figure><p>Note que a distribuição dos dados é assimétrica, possuindo uma cauda mais longa à direita, indicando queda dos picos.</p><h4><strong>Sazonalidade</strong></h4><p>Aqui o objetivo é observar de forma sazonal os picos decorrentes no período citado anteriormente e confirmar a nossa hipóteses dos períodos com maior volume de focos</p><pre># Transformamos a coluna “data” em um índice de datas mensais<br>data.index = pd.DatetimeIndex(data[&#39;data&#39;], freq = &#39;MS&#39;)<br><br># Transformamos a coluna “data” em um índice de datas mensais<br>data.index = pd.DatetimeIndex(data[&#39;data&#39;], freq=&#39;MS&#39;)<br><br># Definindo o estilo de fundo escuro<br>plt.style.use(&#39;dark_background&#39;)<br>fig, ax = plt.subplots(figsize=(10, 6))  # 1000x600 convertido para polegadas (10x6)<br><br># Gráfico de distribuição dos valores das queimadas<br>sm.graphics.tsa.month_plot(data[&#39;Valor&#39;], ax=ax)<br><br># Ajustando cores das linhas e dos ticks<br>for line in ax.get_lines():<br>    line.set_color(&#39;skyblue&#39;)  # Cor da linha<br>ax.xaxis.label.set_color(&#39;white&#39;)<br>ax.yaxis.label.set_color(&#39;white&#39;)<br>ax.title.set_color(&#39;white&#39;)<br>ax.tick_params(axis=&#39;x&#39;, colors=&#39;white&#39;)<br>ax.tick_params(axis=&#39;y&#39;, colors=&#39;white&#39;)<br><br>plt.xlabel(&quot;Valor&quot;)<br>plt.ylabel(&quot;Densidade&quot;)<br>plt.title(&quot;Distribuição dos Valores das Queimadas&quot;)<br><br># Fonte e anotação<br>plt.annotate(&quot;Fonte: INPE | Autor: Jonatas A. Liberato&quot;,<br>             xy=(0.8, -0.2), xycoords=&quot;axes fraction&quot;,<br>             ha=&quot;center&quot;, va=&quot;center&quot;, color=&quot;white&quot;)<br><br># Exibindo o Gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/908/1*sYFdk8ikaFZy7zjog88K3Q.png" /></figure><h4><strong>Ainda sobre a Distribuição</strong></h4><p>Agora façamos uso de um dos plots que mais me agradam que costuma trazer insights certeiros frente a distribuição e densidade dos dados, que é o <em>violin plot</em>. Para isso vamos agrupá-los por mês, preparando-os para que possamos fazer perguntas como: “Qual foi a média de vendas em cada mês?”, “Em qual mês as vendas foram maiores?” e assim por diante.</p><pre># Obtendo os valores únicos e implementando-os em uma lista<br>mes = data[&#39;Mês&#39;].unique()<br>labels = list(data[&#39;Mês&#39;].unique())<br>valores_mensais = [data.Valor[data[&#39;Mês&#39;] == id] for id in mes]<br><br># Criando as traces para o gráfico de violino<br>violins = []<br>for i, valores in enumerate(valores_mensais):<br>    violins.append(go.Violin(y=valores, name=labels[i], box_visible=True, meanline_visible=True))<br><br># Criando o layout<br>layout = go.Layout(<br>    title=&quot;Distribuição dos Valores das Queimadas&quot;,<br>    width=1000,<br>    height=600,<br>    template=&quot;plotly_dark&quot;,<br>    xaxis=dict(title=&quot;&quot;),<br>    yaxis=dict(title=&quot;&quot;),<br>    annotations=[<br>        dict(<br>            x=0.8, y=-0.1, xref=&quot;paper&quot;, yref=&quot;paper&quot;,<br>            text=&quot;Fonte: INPE | Autor: Jonatas A. Liberato&quot;,<br>            showarrow=False,<br>            font=dict(size=12),<br>            xanchor=&#39;center&#39;, yanchor=&#39;middle&#39;  # Ajustado para &#39;middle&#39;<br>        )<br>    ]<br>)<br><br># Criando a figura<br>fig = go.Figure(data=violins, layout=layout)<br><br># Exibindo o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1hxYAsD3Xe3gnZD4Kumjqg.png" /></figure><h4><strong>Decomposição</strong></h4><p>A decomposição da série temporal é uma técnica importante para entender os padrões presentes nos dados. Ao separar os componentes como tendência, sazonalidade e resíduos, e assim, podemos identificar as causas das variações nos dados e tomar decisões mais informadas.</p><pre># Realizando a decomposição sazonal multiplicativa<br>decomp = seasonal_decompose(data[&#39;Valor&#39;], model=&#39;multiplicative&#39;)<br><br># Criando subplots para trend, seasonal, residual e o original<br>fig = make_subplots(rows=4, cols=1, shared_xaxes=True,<br>                    vertical_spacing=0.05,<br>                    subplot_titles=(&quot;Série Original&quot;, &quot;Tendência&quot;, &quot;Sazonalidade&quot;, &quot;Resíduos&quot;))<br><br># Série Original<br>fig.add_trace(go.Scatter(x=data.index, y=data[&#39;Valor&#39;], mode=&#39;lines&#39;, name=&#39;Série Original&#39;,<br>                         line=dict(color=&#39;skyblue&#39;)), row=1, col=1)<br><br># Tendência<br>fig.add_trace(go.Scatter(x=data.index, y=decomp.trend, mode=&#39;lines&#39;, name=&#39;Tendência&#39;,<br>                         line=dict(color=&#39;orange&#39;)), row=2, col=1)<br><br># Sazonalidade<br>fig.add_trace(go.Scatter(x=data.index, y=decomp.seasonal, mode=&#39;lines&#39;, name=&#39;Sazonalidade&#39;,<br>                         line=dict(color=&#39;green&#39;)), row=3, col=1)<br><br># Resíduos<br>fig.add_trace(go.Scatter(x=data.index, y=decomp.resid, mode=&#39;lines&#39;, name=&#39;Resíduos&#39;,<br>                         line=dict(color=&#39;red&#39;)), row=4, col=1)<br><br># Layout com fundo escuro<br>fig.update_layout(<br>    height=600,<br>    width=1000,<br>    title=&quot;Decomposição Sazonal da Série de Valores das Queimadas&quot;,<br>    plot_bgcolor=&#39;black&#39;,<br>    paper_bgcolor=&#39;black&#39;,<br>    font=dict(color=&#39;white&#39;),<br>    showlegend=False<br>)<br><br># Adicionando rótulos de eixos<br>fig[&#39;layout&#39;][&#39;xaxis4&#39;][&#39;title&#39;] = &#39;Tempo&#39;<br>fig[&#39;layout&#39;][&#39;yaxis1&#39;][&#39;title&#39;] = &#39;Original&#39;<br>fig[&#39;layout&#39;][&#39;yaxis2&#39;][&#39;title&#39;] = &#39;Tendência&#39;<br>fig[&#39;layout&#39;][&#39;yaxis3&#39;][&#39;title&#39;] = &#39;Sazonalidade&#39;<br>fig[&#39;layout&#39;][&#39;yaxis4&#39;][&#39;title&#39;] = &#39;Resíduos&#39;<br><br># Anotação de fonte<br>fig.add_annotation(text=&quot;Fonte: INPE | Autor: Jonatas A. Liberato&quot;,<br>                   xref=&quot;paper&quot;, yref=&quot;paper&quot;,<br>                   x=0.9, y=-0.15, showarrow=False,<br>                   font=dict(size=12, color=&quot;white&quot;))<br><br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VmCVQv0T1fYLzkRpOC1gIw.png" /></figure><h4><strong>Dessazonalização e Média Móvel</strong></h4><p>Você deve estar perguntando: “<em>Tú sazonou e agora vai dessazonalizar, tú é doido?</em>”</p><p>Calma, meus queridos. Imagine que você está analisando as vendas de sorvetes ao longo do ano. É claro que as vendas serão maiores no verão e menores no inverno, certo? Essa variação que se repete a cada ano é o que chamamos de <strong>sazonalidade</strong>.</p><p>Agora, imagine que você queira saber se, além dessa variação natural, as vendas de sorvete estão aumentando ou diminuindo ao longo dos anos. Para isso, precisamos remover o efeito da sazonalidade, ou seja, tirar a influência do verão e do inverno nas vendas. É como se estivéssemos “alisando” a linha do gráfico para ver a tendência geral.</p><p>Em relação às queimadas:</p><ul><li><strong>Dessazonalização</strong>: É como tirar o efeito da época do ano (seca ou chuvosa) do número de queimadas. Assim, podemos ver se, independentemente da estação, o número de queimadas está aumentando ou diminuindo.</li><li><strong>Média móvel</strong>: É como calcular uma média dos últimos meses para suavizar as variações bruscas e destacar a tendência de longo prazo. É como se você estivesse olhando para uma média móvel de 12 meses, por exemplo, para ver se as vendas estão subindo ou descendo em geral.</li></ul><pre># Remover a sazonalidade<br>desazonalizado = data[&#39;Valor&#39;] / decomp.seasonal<br><br># Calcular a média móvel de 24 meses<br>media_movel = desazonalizado.rolling(window=24).mean()<br><br># Agrupar os valores anuais de queimadas<br>queimadas_anuais = data.groupby(&#39;Ano&#39;)[&#39;Valor&#39;].sum()<br><br># Criar a figura com subplots<br>fig, axs = plt.subplots(2, 1, figsize=(10, 10))<br><br># Gráfico 1: Dados desazonalizados com média móvel<br>axs[0].plot(desazonalizado, label=&#39;Dados Desazonalizados&#39;, color=&#39;black&#39;)<br>axs[0].plot(media_movel, label=&#39;Média Móvel 24 Meses&#39;, color=&#39;red&#39;, linewidth=2)<br>axs[0].plot(decomp.trend, label=&#39;Tendência da Decomposição&#39;, color=&#39;blue&#39;, linewidth=2, linestyle=&#39;dashed&#39;)<br><br>axs[0].set_title(&#39;Focos de Queimadas ativos no Brasil\nDados Mensais Desazonalizados&#39;)<br>axs[0].set_ylabel(&#39;Mil&#39;)<br>axs[0].legend()<br>axs[0].grid(True)<br><br># Anotação da fonte<br>plt.annotate(&quot;Fonte: INPE | Autor: Jonatas A. Liberato&quot;,<br>             xy=(0.8, -0.2), xycoords=&quot;axes fraction&quot;,<br>             ha=&quot;center&quot;, va=&quot;center&quot;)<br><br># Gráfico 2: Valores anuais de queimadas<br>axs[1].bar(queimadas_anuais.index, queimadas_anuais.values, color=&#39;gray&#39;)<br>axs[1].set_title(&#39;Valores Anuais de Queimadas no Brasil&#39;)<br>axs[1].set_xlabel(&#39;Ano&#39;)<br>axs[1].set_ylabel(&#39;Mil&#39;)<br>axs[1].grid(True)<br><br># Ajustar layout<br>plt.tight_layout()<br><br># Exibir o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kjeuH1Npinjd9Ew4xbxUHA.png" /></figure><p>O que os gráficos mostram:</p><ul><li><strong>Gráfico dessazonalizado: </strong>Mostra a tendência de crescimento das queimadas, sem a influência da época do ano. Isso significa que, mesmo tirando o efeito da seca e da chuva, o número de queimadas está aumentando.</li><li><strong>Gráfico da média móvel: </strong>Confirma a tendência de crescimento vista no gráfico dessazonalizado, mas de forma mais suave, facilitando a visualização.</li><li><strong>Gráfico dos valores anuais: </strong>Mostra a evolução do número de queimadas ao longo dos anos, permitindo comparar os valores anuais com os dados ajustados pela sazonalidade.</li></ul><p><strong>PERIGO:</strong></p><p>O fato de que a tendência de crescimento das queimadas continua mesmo após a dessazonalização é um sinal de alerta. Isso indica que, além da influência da época do ano, outros fatores estão contribuindo para o aumento do número de queimadas.</p><h3><strong>Focos</strong></h3><p>É possível coletar as informações sobre os focos seja, por dia, mês e ano. Então, é precisar informar ao leitor que as informações apresentadas no projeto todo, foram obtidas através do INPE e refletem a situação para o presente momento de elaboração do projeto. Entre os dias 8 e 10 de outubro de 2024.</p><h4><strong>Dados Diários</strong></h4><pre># Obtendo dados do dia para focos diario<br>dia = pd.to_datetime(&quot;today&quot;) - pd.offsets.Day(1)<br>url = f&quot;https://dataserver-coids.inpe.br/queimadas/queimadas/focos/csv/diario/Brasil/focos_diario_br_{dia.strftime(&#39;%Y%m%d&#39;)}.csv&quot;<br>focos_diario = pd.read_csv(url)<br>focos_diario</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qEjRjTWPBM8iQff1S4NmDg.png" /></figure><h4><strong>Dados Mensais</strong></h4><pre>mes = pd.to_datetime(&quot;today&quot;) - pd.offsets.MonthEnd(1)<br>url = f&quot;https://dataserver-coids.inpe.br/queimadas/queimadas/focos/csv/mensal/Brasil/focos_mensal_br_{mes.strftime(&#39;%Y%m&#39;)}.csv&quot;<br>focos_mensal = pd.read_csv(url)<br>focos_mensal</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*z23YD9sP4E0RQTbTz-1IUg.png" /></figure><h3><strong>Áreas Queimadas</strong></h3><p>Vamos analisar as áreas queimadas pelo território nacional, bem como os biomas e os tipos de localidades que mais sofrem com as queimadas.</p><pre>url_inpe = &quot;https://dataserver-coids.inpe.br/queimadas/queimadas/area_queimada/AQ1km/csv/aq1km_biomas.csv&quot;<br>area_mensal = pd.read_csv(url_inpe)<br>area_mensal</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/788/1*EUQud2v1E4M2zWJ5w6DPyA.png" /></figure><pre>dados = (<br>  area_mensal<br>  .query(&quot;Ano != &#39;Total anual&#39;&quot;)<br>  .assign(<br>    Ano = lambda x: x.Ano.astype(int),<br>    **{&quot;Mês&quot;: lambda x: x[&quot;Mês&quot;].astype(int)}<br>    )<br>  .sort_values(by = [&quot;Ano&quot;, &quot;Mês&quot;])<br>  .query(&quot;`Mês` &lt;= `Mês`.iloc[-1]&quot;)<br>  .set_index(&quot;Ano&quot;)<br>  .copy()<br>)<br><br>dados_acumulados = (<br>  dados[&quot;Total mensal&quot;]<br>  .rename(&quot;Acumulado&quot;)<br>  .to_frame()<br>  .assign(<br>    mes = dados[&quot;Mês&quot;].case_when([<br>      (dados[&quot;Mês&quot;] == 1, &quot;Janeiro&quot;),<br>      (dados[&quot;Mês&quot;] == 2, &quot;Fevereiro&quot;),<br>      (dados[&quot;Mês&quot;] == 3, &quot;Março&quot;),<br>      (dados[&quot;Mês&quot;] == 4, &quot;Abril&quot;),<br>      (dados[&quot;Mês&quot;] == 5, &quot;Maio&quot;),<br>      (dados[&quot;Mês&quot;] == 6, &quot;Junho&quot;),<br>      (dados[&quot;Mês&quot;] == 7, &quot;Julho&quot;),<br>      (dados[&quot;Mês&quot;] == 8, &quot;Agosto&quot;),<br>      (dados[&quot;Mês&quot;] == 9, &quot;Setembro&quot;),<br>      (dados[&quot;Mês&quot;] == 10, &quot;Outubro&quot;),<br>      (dados[&quot;Mês&quot;] == 11, &quot;Novembro&quot;),<br>      (dados[&quot;Mês&quot;] == 12, &quot;Dezembro&quot;)<br>      ]),<br>    mes_cod = dados[&quot;Mês&quot;]<br>  )<br>  .assign(<br>    mes = lambda x: pd.Categorical(<br>      x[&quot;mes&quot;],<br>      categories = x[&quot;mes&quot;].unique(),<br>      ordered = True<br>      )<br>    )<br>  .reset_index()<br>  .sort_values(by = [&quot;Ano&quot;, &quot;mes_cod&quot;], ascending = False)<br>  .dropna()<br>  .copy()<br>)<br><br>recorde = dados_acumulados.groupby(&quot;Ano&quot;)[&quot;Acumulado&quot;].sum().max()<br>(<br>    p9.ggplot(dados_acumulados) +<br>    p9.aes(y=&quot;Acumulado&quot;, x=&quot;Ano&quot;, fill=&quot;mes&quot;) +<br>    p9.geom_col(position=p9.position_stack(reverse=True)) +<br>    p9.geom_hline(<br>        yintercept=recorde,<br>        linetype=&quot;dashed&quot;,<br>        color=&quot;white&quot;<br>    ) +<br>    p9.annotate(<br>        geom=&quot;text&quot;,<br>        y=recorde + 5000,<br>        x=dados_acumulados.Ano.median(),<br>        label=&quot;Recorde no período&quot;,<br>        angle=270,<br>        size=8,<br>        color=&quot;white&quot;<br>    ) +<br>    p9.coord_flip() +<br>    p9.scale_x_continuous(breaks=dados_acumulados.Ano.unique()) +<br>    p9.scale_fill_brewer(type=&quot;seq&quot;, palette=8) +<br>    p9.labs(<br>        title=&quot;Área queimada no Brasil&quot;,<br>        y=&quot;km² queimados&quot;,<br>        fill=&quot;Mês&quot;,<br>        caption=&quot;Nota: Mostra o total de km² queimados por mês/ano | Fonte: INPE | Autor: Jonatas A. Liberato&quot;<br>    ) +<br>    p9.theme(<br>        panel_grid_minor=p9.element_blank(),<br>        plot_background=p9.element_rect(fill=&quot;black&quot;),<br>        panel_background=p9.element_rect(fill=&quot;black&quot;),<br>        panel_grid_major=p9.element_line(color=&quot;gray&quot;),<br>        plot_title=p9.element_text(size=12, color=&quot;white&quot;, ha=&#39;center&#39;),<br>        plot_subtitle=p9.element_text(size=10, color=&quot;white&quot;),<br>        axis_title_x=p9.element_text(color=&quot;white&quot;),<br>        axis_title_y=p9.element_text(color=&quot;white&quot;),<br>        axis_text_x=p9.element_text(color=&quot;white&quot;),<br>        axis_text_y=p9.element_text(color=&quot;white&quot;),<br>        legend_title=p9.element_text(color=&quot;white&quot;),<br>        legend_text=p9.element_text(color=&quot;white&quot;),<br>        legend_background=p9.element_rect(fill=&quot;black&quot;, color=&quot;white&quot;),<br>        plot_caption=p9.element_text(ha=&quot;center&quot;, color=&quot;white&quot;),<br>        figure_size=(16, 8)<br>    )<br>)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TVUUsxl1mF0msPYDDaqw6Q.png" /></figure><p>O plot acima mostra o presente ano (2024) se tornou o 3º pior da série obtida desde 2002, mesmo em uma semana que a chuva se apresentou em algumas localidades para aliviar a triste situação.</p><h3><strong>Localidades</strong></h3><p>Aqui eu quero mostrar através de um mapa os registros dos focos coletados nos últimos dias. Vamos fazer um Web Scrapping para coletar os dados do site do IBGE.</p><pre>url_brasil_localidades = &#39;https://geoftp.ibge.gov.br/organizacao_do_territorio/estrutura_territorial/localidades/cadastro_de_localidades_selecionadas_2010/Shapefile_SHP/&#39;<br>req = requests.get(url_brasil_localidades)<br>dados_ibge = BeautifulSoup(req.text, &quot;html.parser&quot;)<br>dados_ibge</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PtxKGhvhJ9acotRanBdnsA.png" /></figure><p>Aqui é preciso definir o caminho para o qual os arquivos foram salvos para se utilizar no seu projeto.</p><pre># Defina o caminho do diretório local no seu sistema<br>save_path = &#39;caminho&#39;  # Use um diretório existente ou crie um novo<br>os.makedirs(save_path, exist_ok=True)  # Garante que o diretório exista<br><br># Código para baixar e salvar os arquivos<br>for arq in dados_ibge.find_all(&#39;a&#39;):<br>    if &#39;BR_Localidades&#39; in arq.get_text():<br>        print(arq.get_text())<br>        req = requests.get(url_brasil_localidades + arq[&quot;href&quot;])<br>        print(req.status_code)<br><br>        # Monta o caminho completo do arquivo<br>        file_name = arq[&#39;href&#39;].split(&#39;/&#39;)[-1]<br>        file_path = os.path.join(save_path, file_name)<br><br>        # Salva o arquivo no diretório local<br>        with open(file_path, &#39;wb&#39;) as f:<br>            f.write(req.content)</pre><p>Abaixo também é o mesmo caso de obter o caminho do seu arquivo.</p><pre>localidades = gpd.read_file(&#39;...insira o caminho.../BR_Localidades_2010_v1.shp&#39;)<br>localidades.shape</pre><p>Esse comando específico é usado para obter a informação do sistema de referência de coordenadas (CRS)</p><pre>import contextily as ctx<br>import matplotlib.pyplot as plt<br><br>localidades.crs.to_string()<br>localidades.to_crs(epsg=3857, inplace=True)<br><br># Plotar os pontos em vermelho no mapa<br>ax = localidades.plot(figsize=(15, 10), markersize=1, color=&#39;red&#39;)<br><br># Adicionar um mapa de fundo alternativo em preto e branco<br>ctx.add_basemap(ax, source=ctx.providers.OpenStreetMap.BlackAndWhite, zoom=10)<br><br># Remover os eixos<br>ax.set_axis_off()<br><br># Anotação no gráfico<br>plt.annotate(&#39;Autor: Jonatas A. Liberato&#39;, (1, 1), xycoords=&#39;axes fraction&#39;, fontsize=10, color=&#39;white&#39;, ha=&#39;right&#39;, va=&#39;bottom&#39;)<br><br># Mostrar o resultado<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/683/1*ocbjVD996NX27icdVargvQ.png" /></figure><h4><strong>Verificando a quantidade de focos por tipo de localidade</strong></h4><pre>localidades[&#39;NM_CATEGOR&#39;].unique()<br>plt.figure(figsize=(16, 8), facecolor=&#39;black&#39;)<br>ax = sns.countplot(x=&#39;NM_CATEGOR&#39;, data=localidades)<br><br># Ajustando labels e título<br>ax.set_xlabel(&#39;Categoria&#39;, color=&#39;white&#39;)<br>ax.set_ylabel(&#39;Quantidade&#39;, color=&#39;white&#39;)<br>ax.set_title(&#39;Queimadas por Tipos de Localidade&#39;, color=&#39;white&#39;)<br><br># Ajustando as cores dos ticks e os rótulos no eixo X<br>labels = [l.replace(&#39; &#39;, &#39;\n&#39;) for l in localidades[&#39;NM_CATEGOR&#39;].unique()]<br>ax.set_xticklabels(labels=labels, color=&#39;white&#39;, fontsize=10)<br>ax.tick_params(colors=&#39;white&#39;)  # Alterando cor dos ticks no eixo Y<br><br># Adicionando a anotação do autor<br>plt.annotate(&#39;Autor: Jonatas A. Liberato&#39;, (1, 1), xycoords=&#39;axes fraction&#39;, fontsize=10, color=&#39;white&#39;, ha=&#39;right&#39;, va=&#39;bottom&#39;)<br><br># Definindo a cor de fundo do gráfico<br>ax.set_facecolor(&#39;black&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ijgQpSO1b1aMJ_winpd3nw.png" /></figure><p>Nota-se maior incidência nas cidades, vilas e povoados. Valores muito acima dos outros tipos de localidades.</p><h4><strong>Distribuição mensal dos focos</strong></h4><pre># Selecionando as colunas mais importantes<br>focos_mensal_2024 = focos_mensal[[&#39;lat&#39;, &#39;lon&#39;, &#39;data_hora_gmt&#39;, &#39;municipio&#39;, &#39;estado&#39;, &#39;pais&#39;, &#39;numero_dias_sem_chuva&#39;, &#39;precipitacao&#39;, &#39;risco_fogo&#39;, &#39;bioma&#39;, &#39;frp&#39;]]<br>focos_mensal_2024</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*b8lvOU6U1NP7G3WZ8cYiqA.png" /></figure><pre>geometry = [Point(xy) for xy in zip(focos_mensal_2024[&#39;lon&#39;], focos_mensal_2024[&#39;lat&#39;])]<br>queimadas_mensal_2024 = gpd.GeoDataFrame(<br>    focos_mensal_2024,<br>    crs=&#39;EPSG:4326&#39;,<br>    geometry=geometry)<br>queimadas_mensal_2024.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Qpf7uWs8I6JyKnvQWN8zZg.png" /></figure><pre># Tamanho do dataframe<br>queimadas_mensal_2024.isna().sum()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/276/1*FXh2ZarGvuIYJ5ycAIfQ9g.png" /></figure><pre>queimadas_brasil_2024 = queimadas_mensal_2024.to_crs(crs=&#39;EPSG:3857&#39;)<br>queimadas_brasil_2024.crs.to_string()<br>queimadas_mensal_2024.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5gU8BzaDqUPJmN_5Mokh0g.png" /></figure><h4><strong>Biomas mais afetados</strong></h4><p>Podemos chamar os biomas brasileiros como “as grandes casas naturais”, cada uma com suas plantas e animais únicos. Infelizmente, muitas dessas casas estão pegando fogo por vários motivos:</p><ul><li>Queimadas criminosas: Algumas pessoas colocam fogo na floresta para limpar a terra para a agricultura, para fazer carvão ou por outros motivos ilegais.</li><li>Secas: Quando não chove por muito tempo, a vegetação fica seca e pega fogo mais facilmente.</li><li>Vento: O vento forte pode espalhar as chamas rapidamente, aumentando o tamanho do incêndio.</li><li>Mudanças climáticas: O aquecimento global está causando temperaturas mais altas e secas mais longas, aumentando o risco de incêndios.</li></ul><p>Aqui analisaremos os biomas mais afetdos pelos incêncos e estão divididos em:</p><ul><li><strong>Amazônia</strong>: A maior floresta tropical do mundo está sofrendo com o desmatamento e as queimadas, que destroem a biodiversidade e liberam gases do efeito estufa.</li><li><strong>Cerrado</strong>: Esse bioma, conhecido como o “savana brasileira”, tem sido bastante atingido por incêndios, principalmente durante a seca.</li><li><strong>Pantanal</strong>: A maior planície inundável do mundo também enfrenta grandes incêndios, que destroem a rica fauna e flora da região.</li><li><strong>Caatinga</strong>: Esse bioma semiárido, localizado no Nordeste, é frequentemente atingido por incêndios, que podem causar a desertificação.</li></ul><pre>plt.figure(figsize=(16, 8), facecolor=&#39;black&#39;)<br>ax = sns.countplot(x=&#39;bioma&#39;, data=queimadas_mensal_2024)<br><br># Título e labels dos eixos<br>ax.set_title(&quot;Biomas do Brasil x Queimadas&quot;, color=&#39;white&#39;)<br>ax.set_xlabel(&#39;Bioma&#39;, color=&#39;white&#39;)<br>ax.set_ylabel(&#39;Qtd. de queimadas&#39;, color=&#39;white&#39;)<br><br># Anotação no gráfico<br>plt.annotate(&#39;Autor: Jonatas A. Liberato&#39;, (1, 1), xycoords=&#39;axes fraction&#39;, fontsize=10, color=&#39;white&#39;, ha=&#39;right&#39;, va=&#39;bottom&#39;)<br><br># Cor do fundo do gráfico<br>ax.set_facecolor(&#39;black&#39;)<br><br># Configurando a cor dos valores dos eixos x e y<br>ax.tick_params(colors=&#39;white&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RNigv3VwU9d7m8bZxVe7bA.png" /></figure><pre>ax = queimadas_mensal_2024.plot(figsize=(15, 10), column=&#39;bioma&#39;, markersize=1, legend=True)<br>contextily.add_basemap(ax)<br>ax.set_axis_off()<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/804/1*M5gctmCkW6mJd4SC1ORGfA.png" /></figure><p>Como imaginávamos. Os biomas Cerrado e Amazônia são os que mais sofrem com as queimadas. Justifica-se pela grande cobertura de ambos biomas pelo território nacional.</p><h4><strong>Medindo Risco de Fogo</strong></h4><p>O INPE utiliza uma combinação de dados meteorológicos, informações sobre a vegetação e dados topográficos para estimar o risco de fogo. Ao identificar as áreas com maior probabilidade de ocorrerem incêndios, é possível implementar medidas preventivas e de combate a incêndios de forma mais eficaz, contribuindo para a proteção dos nossos biomas.</p><p>No projeto utilizamos:</p><ul><li><strong>latitude</strong></li><li><strong>longitude </strong>(referente à localização dos focos)</li><li><strong>número de dias sem chuva</strong>: quantidade de dias sem registros de chuva, o que amenizaria a situação</li><li><strong>precipitação</strong>: basicamente como a água cai da atmosfera no solo</li><li><strong>risco de fogo</strong>: escala que mostra as chances de ocorrerem incêncios</li><li><strong>FRP(Fire Radiative Power” ou Potência Radiativa do Fogo)</strong>: mede a energia radiante liberada por unidade de tempo, associada à taxa de queima da vegetação, em MW — megawatts. Esse valor é derivado a partir da comparação da energia medida no canal termal do píxel com fogo no seu interior com os pixels de seu entorno.”</li></ul><pre># Verificando valores NaN<br>queimadas_mensal_2024.isna().sum()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/289/1*HG2wUFZJvoBWp4LpWP69Kw.png" /></figure><pre># Plotar os boxplots para observarmos os outliers<br>plt.figure(figsize=(16, 8), facecolor=&#39;black&#39;)<br>sns.boxplot(data=queimadas_mensal_2024, orient=&#39;h&#39;, palette=&quot;pastel&quot;)<br><br># Títulos e rótulos<br>plt.title(&#39;Boxplot Horizontal das Estatísticas do Dataset Queimadas&#39;, fontsize=16, color=&#39;white&#39;)<br>plt.xlabel(&#39;Valores&#39;, fontsize=12, color=&#39;white&#39;)<br>plt.ylabel(&#39;Variáveis&#39;, fontsize=12, color=&#39;white&#39;)<br><br># Cor de fundo<br>plt.gca().patch.set_facecolor(&#39;black&#39;)<br><br># Anotação no gráfico<br>plt.annotate(&#39;Autor: Jonatas A. Liberato&#39;, (1, 1), xycoords=&#39;axes fraction&#39;, fontsize=10, color=&#39;white&#39;, ha=&#39;right&#39;, va=&#39;bottom&#39;)<br><br># Eixos (ticks)<br>plt.tick_params(colors=&#39;white&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aLeHpYkCphJnuNOgJxxEkA.png" /><figcaption>Que coisa horrível, né?</figcaption></figure><p>Notamos alguns problemas com a base de dados:</p><ul><li>existência de diversos valores NaN em frp (potência radiante do fogo)</li><li>presença de inúmeros valores negativos que não fazem sentido quanto a número de dias sem chuvas, risco de fogo e frp</li><li>diversos valores outliers (muito acima da distribuição dos dados o que pode prejudicar a análise)</li></ul><p>Faremos uma análise básica quanto à relevância para melhor tomarmos as decisões, mas antes, por iniciativa própria e por entender que pode ser um erro de medição, transformaremos os valores negativos em valores absolutos.</p><p>Para o caso do FRP, que possui uma relevante quantidade de valores NaN, faremos a imputação pela média, depois de tratar os valores negativos.</p><pre># Transformar os valores negativos em valores absolutos<br>queimadas_mensal_2024[&#39;numero_dias_sem_chuva&#39;] = queimadas_mensal_2024[&#39;numero_dias_sem_chuva&#39;].abs()<br>queimadas_mensal_2024[&#39;risco_fogo&#39;] = queimadas_mensal_2024[&#39;risco_fogo&#39;].abs()<br>queimadas_mensal_2024[&#39;frp&#39;] = queimadas_mensal_2024[&#39;frp&#39;].abs()<br><br># Imputando frp com a média<br>queimadas_mensal_2024[&#39;frp&#39;].fillna(queimadas_mensal_2024[&#39;frp&#39;].mean(), inplace = True)<br>queimadas_mensal_2024.isna().sum()</pre><h4><strong>Verificando os outliers de risco_fogo e numero_dias_sem_chuva</strong></h4><pre>qtd_outliers_fogo = queimadas_mensal_2024[&#39;risco_fogo&#39;].loc[queimadas_mensal_2024[&#39;risco_fogo&#39;] &gt; 900].sum()<br>print(f&#39;Temos um total de {round((len(queimadas_mensal_2024)/qtd_outliers_fogo) * 100, 2)}% de outliers para a variável &quot;risco_fogo&quot;&#39;)<br>qtd_outliers_sem_chuva = queimadas_mensal_2024[&#39;numero_dias_sem_chuva&#39;].loc[queimadas_mensal_2024[&#39;numero_dias_sem_chuva&#39;] &gt; 400].sum()<br>print(f&#39;Temos um total de {round((len(queimadas_mensal_2024)/qtd_outliers_sem_chuva) * 100, 2)}% de outliers para a variável &quot;numero_dias_sem_chuva&quot;&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/638/1*YqlVHoqQHsByL2M3R7ZKzw.png" /></figure><pre>from sklearn.linear_model import LinearRegression<br><br># Definir o limite para considerar como outliers em &#39;numero_dias_sem_chuva&#39;<br>outlier_threshold = 200<br><br># Separar os dados em dois grupos: sem outliers e com outliers<br>df_no_outliers = queimadas_mensal_2024[queimadas_mensal_2024[&#39;numero_dias_sem_chuva&#39;] &lt;= outlier_threshold]<br>df_outliers = queimadas_mensal_2024[queimadas_mensal_2024[&#39;numero_dias_sem_chuva&#39;] &gt; outlier_threshold]<br><br># Selecionar as variáveis explicativas e a variável dependente (target)<br>X_train = df_no_outliers[[&#39;lat&#39;, &#39;lon&#39;, &#39;precipitacao&#39;, &#39;risco_fogo&#39;, &#39;frp&#39;]]  # Variáveis explicativas<br>y_train = df_no_outliers[&#39;numero_dias_sem_chuva&#39;]  # Variável alvo<br><br># Treinar o modelo de regressão linear<br>model = LinearRegression()<br>model.fit(X_train, y_train)<br><br># Prever os valores dos outliers<br>X_outliers = df_outliers[[&#39;lat&#39;, &#39;lon&#39;, &#39;precipitacao&#39;, &#39;risco_fogo&#39;, &#39;frp&#39;]]<br>y_pred = model.predict(X_outliers)<br><br># Substituir os valores dos outliers pelas previsões<br>queimadas_mensal_2024.loc[queimadas_mensal_2024[&#39;numero_dias_sem_chuva&#39;] &gt; outlier_threshold, &#39;numero_dias_sem_chuva&#39;] = y_pred<br><br># Verificar o resultado das substituições<br>print(queimadas_mensal_2024[&#39;numero_dias_sem_chuva&#39;].describe())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qwJjM7Vxg9QZ69F1Esnz9w.png" /></figure><p>Fica evidente que algo não está correto. Temos registros até aproximadamente 200 dias sem chuvas (na data do projeto) e de novo, somente após 900 dias aproximadamente. Como proporção de outliers no dataframe é relevantes, vamos utilizar Machine Learning, um modelo de regressão para nos ajudar a imputar valores mais condizentes.</p><h4><strong>Coletando alto risco de fogo</strong></h4><pre>outliers_sem_chuva = queimadas_mensal_2024[&#39;numero_dias_sem_chuva&#39;].loc[queimadas_mensal_2024[&#39;numero_dias_sem_chuva&#39;] &gt; 200].sum()<br>relevancia_sem_chuva = (outliers_sem_chuva / len(queimadas_mensal_2024)) * 100<br>print(f&#39;A coluna &quot;numero_dias_sem_chuva&quot; possui {relevancia_sem_chuva}% de valores outliers.&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/543/1*6LQAQUm37TloWGLy8uZxeg.png" /></figure><p>Notamos que existem valores negativos para número de dias sem chuvas, risco_fogo e frp. O que não faz sentido possuir valores negativos, então trataremos esses dados como números absolutos. Além disso, existem valores que outliers que estão muito acima da média.</p><pre># Top 10 estados com maior risco de fogo<br>ordenando_estados_risco = queimadas_mensal_2024.groupby(&#39;estado&#39;)[&#39;risco_fogo&#39;].mean().nlargest(10).reset_index()<br><br># Ajustando o tamanho da figura para 1000x600 pixels<br>plt.figure(figsize=(10, 6))  # 1000x600 em polegadas (multiplicado por 100)<br><br># Definir o fundo escuro novamente<br>plt.style.use(&#39;dark_background&#39;)<br><br># Plotar o gráfico com as correções<br>sns.barplot(x=&#39;estado&#39;, y=&#39;risco_fogo&#39;, data=ordenando_estados_risco, palette=&#39;hot&#39;)<br><br># Adicionar título e rótulos com as cores corretas<br>plt.title(&#39;Estados com Maiores Risco de Queimada&#39;, fontsize=16, color=&#39;white&#39;)<br>plt.xlabel(&#39;Estados&#39;, fontsize=12, color=&#39;white&#39;)<br>plt.ylabel(&#39;Risco em (%)&#39;, fontsize=12, color=&#39;white&#39;)<br>plt.xticks(rotation=25, fontsize=10, color=&#39;white&#39;)<br><br># Anotação de autor<br>plt.annotate(&#39;Autor: Jonatas A. Liberato&#39;, (1, 1), xycoords=&#39;axes fraction&#39;, fontsize=10, color=&#39;white&#39;, ha=&#39;right&#39;, va=&#39;bottom&#39;)<br><br># Mostrar gráfico ajustado<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BsB9pJXjrQBbSbalN29HwA.png" /></figure><p>Para a data presente onde os dados foram extraídos, ficou claro que os estados com as maiores ocorrências de fogo foram o DF e Alagoas. Destacados pela cor vermelha que indica um mapa de calor.</p><h4><strong>Distribuição das Chuvas</strong></h4><p>Hora de observarmos os biomas que mais sofrem com as queimadas anuais, sendo que no primeiro semestre de 2004, já tínhamos um recorde negativo, segundo essa <a href="https://www.cnnbrasil.com.br/nacional/brasil-bate-recorde-de-queimadas-no-primeiro-semestre-de-2024/#:~:text=Brasil%20bate%20recorde%20de%20queimadas%20no%20primeiro%20semestre%20de%202024%2C%20diz%20estudo,-Pantanal%20tem%20pior&amp;text=Os%20biomas%20brasileiros%20registraram%20recordes,levantamento%20realizado%20pela%20WWF%2DBrasil"><strong>matéria da CNN Brasil</strong></a>.</p><p>Além das queimadas criminosas, visualizaremos como andam as distribuições das chuvas, o que prejudica ainda mais a crise climática pela qual passamos.</p><pre>np.random.seed(42)<br>risco_fogo = np.random.normal(loc=7.83, scale=82.6, size=2568158)<br><br># Criando o histograma<br>plt.figure(figsize=(16, 8), facecolor=&#39;black&#39;)<br>plt.hist(risco_fogo, bins=50, color=&#39;orange&#39;, edgecolor=&#39;black&#39;)<br><br># Adicionando título e rótulos<br>plt.title(&#39;Fire Risk Distribution (Risco Fogo)&#39;, fontsize=14, color=&#39;white&#39;)<br>plt.xlabel(&#39;Fire Risk&#39;, fontsize=12, color=&#39;white&#39;)<br>plt.ylabel(&#39;Frequency&#39;, fontsize=12, color=&#39;white&#39;)<br><br># Personalizando o fundo do gráfico e as cores dos rótulos<br>plt.gca().set_facecolor(&#39;black&#39;)<br>plt.tick_params(colors=&#39;white&#39;)<br><br># Adicionando anotação<br>plt.annotate(&#39;Autor: Jonatas A. Liberato&#39;, (1, 1), xycoords=&#39;axes fraction&#39;, fontsize=10, color=&#39;white&#39;, ha=&#39;right&#39;, va=&#39;bottom&#39;)<br><br># Exibindo o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eFCe6tsBUSftwM51Q5TiSg.png" /></figure><pre># Top 10 estados com maior precipitação<br>top_estados_precip = queimadas_mensal_2024.groupby(&#39;estado&#39;)[&#39;precipitacao&#39;].mean().nlargest(10).reset_index()<br><br>plt.figure(figsize=(12, 6))<br>sns.barplot(x=&#39;precipitacao&#39;, y=&#39;estado&#39;, data=top_estados_precip, palette=&#39;viridis&#39;)<br>plt.title(&#39;Estados com Maiores Precipitações&#39;)<br>plt.xlabel(&#39;Média de Precipitação&#39;)<br>plt.ylabel(&#39;Estado&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-QrQ7ZvJiBipWQgyla01XQ.png" /></figure><p>No período foi identificado que o Acre de longe muito os maiores níveis de precipitação, reduzindo assim a incidência de focos de queimadas.</p><pre>top_biomas_dias_sem_chuvas = queimadas_mensal_2024.groupby(&#39;bioma&#39;)[&#39;numero_dias_sem_chuva&#39;].mean().nlargest(10).reset_index()<br><br>plt.figure(figsize=(12, 6))<br>sns.barplot(x=&#39;numero_dias_sem_chuva&#39;, y=&#39;bioma&#39;, data=top_biomas_dias_sem_chuvas, palette=&#39;hot&#39;)<br>plt.title(&#39;Biomas com Mais Dias sem Chuvas&#39;)<br>plt.xlabel(&#39;Média de Dias&#39;)<br>plt.ylabel(&#39;Estado&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*t6SuwQLKz3tiYt8MDHR_RA.png" /></figure><p>Porém notamos que oo Distrito Federal, bem como Goiás possuem os maiores níveis de Biomas que sofrem em decorrência da falta de chuvas.</p><pre>import plotly.graph_objects as go<br><br># Aplicando abreviações e criando coluna &#39;cidade_estado&#39;<br>abreviacoes_estados = {<br>    &#39;ACRE&#39;: &#39;AC&#39;, &#39;ALAGOAS&#39;: &#39;AL&#39;, &#39;AMAPÁ&#39;: &#39;AP&#39;, &#39;AMAZONAS&#39;: &#39;AM&#39;, &#39;BAHIA&#39;: &#39;BA&#39;, &#39;CEARÁ&#39;: &#39;CE&#39;,<br>    &#39;DISTRITO FEDERAL&#39;: &#39;DF&#39;, &#39;ESPÍRITO SANTO&#39;: &#39;ES&#39;, &#39;GOIÁS&#39;: &#39;GO&#39;, &#39;MARANHÃO&#39;: &#39;MA&#39;, &#39;MATO GROSSO&#39;: &#39;MT&#39;,<br>    &#39;MATO GROSSO DO SUL&#39;: &#39;MTS&#39;, &#39;MINAS GERAIS&#39;: &#39;MG&#39;, &#39;PARÁ&#39;: &#39;PA&#39;, &#39;PARAÍBA&#39;: &#39;PB&#39;, &#39;PARANÁ&#39;: &#39;PR&#39;,<br>    &#39;PERNAMBUCO&#39;: &#39;PE&#39;, &#39;PIAUÍ&#39;: &#39;PI&#39;, &#39;RIO DE JANEIRO&#39;: &#39;RJ&#39;, &#39;RIO GRANDE DO NORTE&#39;: &#39;RN&#39;, &#39;RIO GRANDE DO SUL&#39;: &#39;RS&#39;,<br>    &#39;RONDÔNIA&#39;: &#39;RO&#39;, &#39;RORAIMA&#39;: &#39;RR&#39;, &#39;SANTA CATARINA&#39;: &#39;SC&#39;, &#39;SÃO PAULO&#39;: &#39;SP&#39;, &#39;SERGIPE&#39;: &#39;SE&#39;, &#39;TOCANTINS&#39;: &#39;TO&#39;<br>}<br><br># Substituindo nomes completos pelos códigos e criando nova coluna &#39;cidade_estado&#39;<br>queimadas_mensal_2024[&#39;estado&#39;] = queimadas_mensal_2024[&#39;estado&#39;].replace(abreviacoes_estados)<br>queimadas_mensal_2024[&#39;cidade_estado&#39;] = queimadas_mensal_2024[&#39;municipio&#39;] + &#39; - &#39; + queimadas_mensal_2024[&#39;estado&#39;]<br><br># Obtendo top 10 cidades com maiores riscos de fogo<br>top_cidades_risco_fogo = queimadas_mensal_2024.groupby(&#39;cidade_estado&#39;)[&#39;risco_fogo&#39;].sum().nlargest(10).reset_index()<br><br># Criando gráfico de barras com Plotly<br>fig = go.Figure(data=[go.Bar(x=top_cidades_risco_fogo[&#39;cidade_estado&#39;], <br>                             y=top_cidades_risco_fogo[&#39;risco_fogo&#39;], <br>                             marker_color=&#39;#FF5733&#39;)])<br><br># Atualizando layout para centralizar o título e ajustar estilo<br>fig.update_layout(title=&#39;Cidades com Maiores Riscos de Queimadas&#39;, <br>                  xaxis_title=&#39;Cidade&#39;, <br>                  yaxis_title=&#39;Risco Total de Fogo&#39;, <br>                  xaxis_tickangle=-45, <br>                  width=1000, height=600, <br>                  paper_bgcolor=&#39;black&#39;, plot_bgcolor=&#39;black&#39;, <br>                  font_color=&#39;white&#39;, title_font_size=20, title_x=0.5)  # Centraliza o título<br><br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZRyZWXORRw2khMtoaFHFaQ.png" /></figure><p>Aqui identificamos as principais cidades do Brasil que possuem graves problemas quanto ao risco de fogo, note que são cidades localizadas em Mato Grosso, Mato Grosso do Sul, Amazonas e Minas Gerais. Tendo total relação quanto aos biomas.</p><h3>Conclusão</h3><p>Neste projeto, identificamos as cidades brasileiras com os maiores riscos de fogo, principalmente localizadas nos estados de Mato Grosso, Mato Grosso do Sul, Amazonas e Minas Gerais. A análise revelou uma forte correlação entre o risco de fogo e os biomas locais. Estatisticamente, a maioria dos registros de risco de fogo apresentou valores próximos de 1.00 (100%), indicando um alto risco em várias áreas, com o número médio de dias sem chuva em torno de 51 dias e um desvio padrão de 71,88 dias, evidenciando variações significativas no clima das regiões afetadas.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d58b05932887" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Paradoxo: Inflação x Taxa de Desocupação]]></title>
            <link>https://medium.com/@jonatasliberato/paradoxo-infla%C3%A7%C3%A3o-x-taxa-de-desocupa%C3%A7%C3%A3o-0f405d10ac65?source=rss-8d0c66edc75f------2</link>
            <guid isPermaLink="false">https://medium.com/p/0f405d10ac65</guid>
            <category><![CDATA[econometria]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[economia]]></category>
            <category><![CDATA[cuvradephillips]]></category>
            <category><![CDATA[macroeconomia]]></category>
            <dc:creator><![CDATA[Jonatas Liberato]]></dc:creator>
            <pubDate>Sun, 22 Sep 2024 20:02:18 GMT</pubDate>
            <atom:updated>2024-09-22T20:13:14.493Z</atom:updated>
            <content:encoded><![CDATA[<p>Um breve estudo sobre uma temática que causa controvérsias no âmbito acadêmico econômico, como foco na <strong>Curva de Phillips</strong>. Usaremos da Ciência de Dados para estudar essa relação.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EBTCllN_iJxWQsWO2pPvVw.png" /></figure><h4>Motivações</h4><p>Dias atrás, me deparei com um amigo muito próximo e ao fazer a afirmativa “inflação baixa sem efeitos no desemprego, algumas vezes negativamente”.</p><p>O mesmo, com olhar de espanto e com certo ar de sarcasmo, perguntou: “<em>E como isso acontece?</em>”</p><p>Por mais que eu quisesse ser simples, direto e ter empatia com a pessoa que gostaria de entender, creio que fui mal na explicação. Além disso, em uma aula de especialização, fiquei na dúvida sobre como ambos indicadores se relacionam.</p><p>Pois bem, aqui estou. rsrs</p><h3><strong>Como ser simples</strong></h3><p>Como em outros estudos, o meu objetivo vai muito além de treinar conhecimentos em Economia, Data Science e programação, é colocar em prática o <em>storytelling </em>(contar histórias), pois vejo que sou deficitário na técnica.</p><p>Por isso, aqui, meus textos serão simples e diretos, sem tanta abordagem técnica e “<em>economiquês</em>”.</p><h4><strong>Sobre o tema</strong></h4><p>A escolha da temática, como citada anteriormente, foi devido a uma conversa “de bar” com um amigo, mas também, pois é um tema que causa muita controvérsia entre economistas no meio acadêmico.</p><p>Para explicar como inflação e desemprego andam muitas vezes em direções opostas, ou seja, há um <em>trade-off</em> entre ambas, é preciso trazer a famigerada “<em>Curva de Phillips</em>”, criada por A. W. Phillips em 1958, sendo utilizada por todos os países desenvolvidos.</p><p>O que a teoria diz de forma muito resumida é que reduções na taxa de desemprego podem resultar em uma aumento inflacionário.</p><p>E sobre inflação, já abordei o tema que é assustador para toda economia global nesses <a href="https://www.linkedin.com/in/jonatas-liberato/recent-activity/articles/"><strong><em>artigos</em></strong></a>.</p><p>Sim, você leu isso mesmo. Se aumentar o desemprego, pode ser (e há muita comprovação) que a inflação aumente, e vice-versa.</p><p>Isso torna a Cuva de Phillips essencial para a política monetária, geralmente responsabilidade de bancos centrais.</p><p>E no Brasil, de tanta controvérsia e coisas absurdas, o modelo tem bom ajuste empírico aos dados, ou melhor, os dados ao modelo, segundo Mazali e Divino (2010).</p><p>Sem nos aprofundarmos tanto na introdução e para deixar pontuações durante o projeto, abordaremos em um próximo, a famosa e conhecidíssima “<em>Regra de Taylor</em>”, elaborada por J. B. Taylor e que tem o objetivo de explicar a relação entre inflação e taxa de juros, mostrando que é fundamental que bancos centrais se utilizem desse ferramental para elevar ou diminuir a liquidez na economia, tendo como premissa, nível maior que a inflação.</p><p>Por fim, será tratada a inflação de serviços e suas características distintas, empregando também um procedimento chamado “<em>Toda-Yamamoto</em>” e objetivando entender a relação de causalidade no sentido de <em>Grander</em>, que é uma forma de verificar se uma série temporal (X) ajuda a prever outra série (Y), ou vice-versa.</p><p>Tal ferramenta que permite inferir a relação de causa entre duas variáveis.</p><p>Então booora!</p><h4><strong>Sobre o projeto</strong></h4><p>Como eu disse mais acima, o objetivo é treinar todos os meus conhecimentos nas referidas áreas, como econometria, macroeconomia, modelagem, data science, storytelling e visualização de dados.</p><h3><strong>Inflação de Serviços x Taxa de Desocupação</strong></h3><p>Em um período temporal curto, costumamos observar uma relação distinta entre as taxas de inflação e de desemprego, ou seja, caso haja um aumento na taxa de desemprego, há uma queda no volume inflacionário, fazendo com que ocorra menor geração de renda para as pessoas, devido à menor criação de empregos e salários menores.</p><p>Com menos renda, menos consumo, menores os preços, proporcionando uma disputa menor dos consumidores por bens e serviços. Da mesma forma o inverso.</p><p>É fato histórico que com a globalização, muitas fábricas e fazendas passaram a produzir bens em países emergentes, não apenas nos países ricos. Além disso, o comércio entre nações aumentou bastante. Agora, a definição dos preços desses produtos não acontece só dentro de cada país, mas também no mercado internacional.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2KVp9O-0S7p9XUGVHSdJYQ.png" /></figure><p>Isso significa que a inflação (ou aumento de preços) desses produtos em cada país é influenciada pela inflação global desses mesmos produtos. E ainda tem um detalhe: a variação da moeda de cada país também entra na conta.</p><p>Mas é fato também, que os preços de serviços são em sua grande maioria produzidos e consumidos na economia local.</p><h4><strong>Qual é o impacto?</strong></h4><p>Claro! Vamos desvendar esse trecho:</p><p>Imagine que estamos falando sobre como os países tomam decisões sobre suas taxas de juros e como isso afeta os preços das coisas que compramos. Aqui estão os pontos principais:</p><p>1. <strong>Taxas de Juros e Bens Comercializáveis:</strong></p><ul><li>Quando um país aumenta suas taxas de juros (o preço que cobra para emprestar dinheiro), isso não tem um grande impacto na demanda global por produtos que são comprados e vendidos internacionalmente.</li><li>Ou seja, se um país decide subir suas taxas de juros, isso não muda muito o quanto as pessoas compram ou vendem no mundo todo.</li></ul><p>2. <strong>Política Monetária e Inflação:</strong></p><ul><li>A política monetária (decisões sobre taxas de juros) em um único país não afeta muito a inflação desses produtos comercializáveis, a menos que também influencie a taxa de câmbio.</li><li>A taxa de câmbio é o valor da moeda de um país em relação à moeda de outros países. Se ela muda, os preços dos produtos também podem mudar.</li></ul><p>3. <strong>Inflação de Serviços e Taxa de Desemprego:</strong></p><ul><li>Em vez disso, para controlar a inflação, muitas vezes olhamos para a relação entre a inflação dos serviços (coisas como aluguel, educação, saúde) e a taxa de desemprego.</li><li>Às vezes, essa é a única maneira eficaz de a política monetária realmente afetar a inflação.</li></ul><p>Em resumo, é um jogo complexo de decisões financeiras e econômicas que afetam o que pagamos pelas coisas.</p><h4>Dados</h4><ul><li><strong>Sobre a taxa de desocupação</strong></li></ul><p>A série de desemprego no Brasil é medida pela “Taxa de Desocupação da PNADc”. Ela começou em março de 2012 e é coletada mensalmente, mas apresentada em trimestres móveis. Há um padrão sazonal, especialmente no fim e início do ano, devido aos empregos temporários nas festas. Para entender melhor a tendência real, aplicamos ajustes sazonais.</p><ul><li><strong>Sobre a inflação de serviços</strong></li></ul><p>A inflação de serviços é medida pelo IPCA de Serviços. Essa série tem um padrão sazonal mensal, mas para compará-la com a Taxa de Desocupação (que é apresentada em trimestres móveis), usamos duas medidas diferentes: o IPCA de Serviços acumulado em 12 meses (que não precisa de ajuste sazonal) e a média móvel de 3 meses anualizada (que precisa de ajuste sazonal).</p><p>Se tiver mais perguntas, estou à disposição! 😊</p><h4>Inclusão</h4><p>Algo que considero muito importante, é ser totalmente inclusivo nos projetos, tendo como objetivo explicações simples e uso de cores parsa pessoas com daltonismo.</p><h4>Começando</h4><p>Vou considerar que você, leitor, tenha conhecimentos em Python mas creio que as explicações e os códigos tenham certo grau de compreensão por parte até mesmo de leigos</p><pre># Bibliotecas<br><br># # !pip install python-bcb =&gt; descomente para instalar o pacote<br>from bcb import sgs # Importar dados do SGS<br>from bcb import Expectativas # Importar dados de Expectativas<br>import pandas as pd # Manipulação de dados<br>import numpy as np # Manipulação e cálculo de dados<br>from functools import reduce<br>import seaborn as sns<br>import matplotlib.pyplot as plt<br>from plotnine import *<br>sns.set()</pre><p>Aqui acumularemos os valores em janelas móveis, para wur possamos analisar a variação percentual de um conjunto de dados ao longo de um período específico, suavizando flutuações pontuais e destacando tendências de médio ou longo prazo.</p><pre># Função para acumular valores em janelas móveis<br>def acum_p(data, n):<br>    resultado = (((data / 100) + 1)<br>                 .rolling(window=  n)<br>                 .apply(np.prod)<br>                 - 1) * 100<br><br>    return resultado<br><br># # Cores para gráficos<br>colors = {&#39;blue&#39;: &#39;#282f6b&#39;,<br>          &#39;red&#39;   : &quot;#b22200&quot;,<br>          &#39;green&#39;: &#39;#224f20&#39;,<br>          &#39;purple&#39; : &quot;#5f487c&quot;,<br>          &#39;gray&#39;: &#39;#666666&#39;,<br>          &#39;orange&#39; : &#39;#b35c1e&#39;<br>          }</pre><h4>Obtendo as séries</h4><pre># Início das séries e fazendo o cálculo de 12 meses antes do início da PNADc<br>inicio_pnadc = datetime(2012, 3, 1)<br>inicio = inicio_pnadc - timedelta(days = 365)<br><br># Fim da série<br>fim = &#39;2024-09-01&#39;<br><br>dados_raw = sgs.get({&#39;desocupacao&#39; :  24369,<br>                 &#39;ipca_servicos&#39;  : 10844},<br>                 start = inicio, end = fim)<br><br>dados_raw</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/381/1*cvqIcluhzN5XAcUx7vr5uQ.png" /></figure><p>Transformaremos os dados de “wide” (formato largo) para “long” (formato longo) para facilitar diversas operações de análise e visualização, principalmente para dados temporais.</p><pre># Transforma de wide para long<br>dados_long = (<br>              dados_raw<br>              .reset_index() # reinicia o índice<br>              .melt(id_vars = [&#39;Date&#39;]) # gira o dados<br>              )<br>dados_long</pre><p>Plotando com o uso de um recurso vindo do R (ggplot) e que me agrada muito:</p><pre># Cria o gráfico<br>(<br> ggplot(dados_long, aes(x = &#39;Date&#39;, y = &#39;value&#39;, color = &#39;variable&#39;)) +<br> geom_line(size = 0.7) +<br> geom_point() +<br> scale_colour_manual(values = list(colors.values())) +<br> scale_x_date(date_breaks = &quot;1 year&quot;, date_labels = &quot;%b/%Y&quot;) +<br> labs(title = f&quot;Taxa de Desocupação (Trimestre Móvel) vs. Inflação de Serviços (Variação Mensal)&quot;,<br>      color=&quot;&quot;,<br>      x=&quot;&quot;,<br>      y=&quot;%&quot;,<br>      caption = &quot;Autor: Jonatas A. Liberato | Fonte: IBGE e BCB&quot;)+<br> theme_minimal() +<br> theme(figure_size = (14, 6),<br>       legend_position = &quot;bottom&quot;)<br>)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rpMT4IGbXDppzUYYRSCkSw.jpeg" /></figure><h4><strong>Dessazonalização</strong></h4><p>A dessazonalização é o processo de remover padrões previsíveis, como variações de vendas causadas pelas estações do ano, para entender o comportamento real dos dados. Por exemplo, em uma loja de roupas que vende mais no inverno, a dessazonalização ajuda a ver se as vendas estão realmente crescendo ou caindo ao longo do tempo, sem a influência desses ciclos previsíveis.</p><p>Note que fazemoso uso do <strong>O X13AS (X-13ARIMA-SEATS)</strong>, que é um software desenvolvido pelo U.S. Census Bureau e é um baita amigão para a análise sazonal de séries temporais, especialmente em contextos econômicos, como dados de vendas, produção industrial e outros indicadores que apresentam padrões sazonais.</p><pre># Importando os pacotes<br>import urllib.request<br>import zipfile<br><br># Url<br>url = &quot;https://www2.census.gov/software/x-13arima-seats/x13as/windows/program-archives/x13as_ascii-v1-1-b59.zip&quot;<br>nome_arquivo_zip = &quot;x13as_ascii-v1-1-b59.zip&quot;<br><br># Baixa o arquivo<br>urllib.request.urlretrieve(url, nome_arquivo_zip)<br><br># Extrai o arquivo zipado<br>with zipfile.ZipFile(nome_arquivo_zip, &#39;r&#39;) as zip_ref:<br>    zip_ref.extractall()<br><br># Define o caminho do programa como variável de ambiente<br>os.environ[&quot;X13PATH&quot;] = &quot;x13as&quot;</pre><p>Ajustando sazonalmente a taxa de desocupação com inflação de serviços.</p><pre># Ajusta sazonalmente a tx. de desocupação e IPCA de Serviços<br>dados_sa = (<br>    dados_raw<br>    .assign(desocupacao_sa = lambda x: x13.x13_arima_analysis(endog = x.desocupacao.dropna(), start = inicio_pnadc).seasadj,<br>            ipca_servicos_sa = lambda x: x13.x13_arima_analysis(endog = x.ipca_servicos).seasadj)<br>    .reset_index()<br>)<br><br># Transforma de wide para long<br>ipca_long = dados_sa[[&#39;Date&#39;, &#39;ipca_servicos&#39;, &#39;ipca_servicos_sa&#39;]].melt(id_vars = [&#39;Date&#39;])<br></pre><p>Plotando o resultado</p><pre># Cria o gráfico<br>(<br> ggplot(ipca_long, aes(x = &#39;Date&#39;, y = &#39;value&#39;, color = &#39;variable&#39;)) +<br> geom_line(size = 0.7) +<br> geom_point() +<br> scale_colour_manual(values = list(colors.values())) +<br> scale_x_date(date_breaks = &quot;1 year&quot;, date_labels = &quot;%b/%Y&quot;) +<br> labs(title = f&quot;Inflação de Serviços (Variação Mensal)&quot;,<br>      subtitle = &quot;Dados Sazonais x Sazonalmente Ajustados (x13as)&quot;,<br>      color=&quot;&quot;,<br>      x=&quot;&quot;,<br>      y=&quot;% a.m.&quot;,<br>      caption = &quot;Autor: Jonatas A. Liberato | Fonte: IBGE e BCB&quot;)+<br> theme_minimal() +<br> theme(figure_size = (14, 6),<br>       legend_position = &quot;bottom&quot;)<br>)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rhbzGRMaHJWppqezzPsKrw.jpeg" /></figure><pre># Transforma de wide para long<br>desocupacao_long = dados_sa[[&#39;Date&#39;, &#39;desocupacao&#39;, &#39;desocupacao_sa&#39;]].melt(id_vars = [&#39;Date&#39;])<br><br># Cria o gráfico<br>(<br> ggplot(desocupacao_long, aes(x = &#39;Date&#39;, y = &#39;value&#39;, color = &#39;variable&#39;)) +<br> geom_line(size = 0.7) +<br> geom_point() +<br> scale_colour_manual(values = list(colors.values())) +<br> scale_x_date(date_breaks = &quot;1 year&quot;, date_labels = &quot;%b/%Y&quot;) +<br> labs(title = f&quot;Taxa de Desocupação&quot;,<br>      subtitle = &quot;Dados Sazonais x Sazonalmente Ajustados (x13as)&quot;,<br>      color=&quot;&quot;,<br>      x=&quot;&quot;,<br>      y=&quot;% a.m.&quot;,<br>      caption = &quot;Autor: Jonatas A. Liberato | Fonte: IBGE e BCB&quot;)+<br> theme_minimal() +<br> theme(figure_size = (14, 6),<br>       legend_position = &quot;bottom&quot;)<br>)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MaZ-fpkNGwAJaLMbk6vo_w.jpeg" /></figure><h4><strong>IPCA Serviços 12 Meses e Média Móvel Anualizada de 3 meses</strong></h4><pre># Calcula o IPCA de Serviços Acumulado em 12 meses e Média Móvel Anualizada de 3 meses<br>dados = (<br>    dados_sa<br>    .assign(ipca_servicos_12m = lambda x: acum_p(x.ipca_servicos, n = 12), # acumula em 12 meses<br>            ipca_servicos_mm3m = lambda x: x.ipca_servicos_sa.rolling(window = 3).mean() * 12 # média móvel de 3 meses e anualiza<br>    )<br>)</pre><p>A análise do IPCA de Serviços em 12 meses, juntamente com a média móvel anualizada de 3 meses, nos permite identificar tendências de inflação de forma mais clara e estável, reduzindo a volatilidade dos dados.</p><p>Você vai encontrar essa abordagem constantemente, pois nos ajuda a monitorar as pressões inflacionárias em setores específicos, influenciando decisões de política econômica, como ajustes nas taxas de juros.</p><p>Além disso, proporciona uma compreensão mais profunda do comportamento do consumidor e das dinâmicas de preços, essencial para a formulação de políticas e estratégias empresariais.</p><pre># Transforma de wide para long<br>ipca_long = dados[[&#39;Date&#39;, &#39;ipca_servicos_12m&#39;, &#39;ipca_servicos_mm3m&#39;]].melt(id_vars = [&#39;Date&#39;])<br><br># Cria o gráfico<br>(<br> ggplot(ipca_long, aes(x = &#39;Date&#39;, y = &#39;value&#39;, color = &#39;variable&#39;)) +<br> geom_line(size = 0.7) +<br> geom_point() +<br> scale_colour_manual(values = list(colors.values())) +<br> scale_x_date(date_breaks = &quot;1 year&quot;, date_labels = &quot;%b/%Y&quot;) +<br> labs(title = f&quot;Inflação de Serviços&quot;,<br>      subtitle = &quot;Acumulado em 12 meses x Média Móvel de 3 meses anualizada sazonalmente ajustada&quot;,<br>      color=&quot;&quot;,<br>      x=&quot;&quot;,<br>      y=&quot;% a.m.&quot;,<br>      caption = &quot;Autor: Jonatas A. Liberato | Fonte: IBGE e BCB&quot;)+<br> theme_minimal() +<br> theme(figure_size = (14, 6),<br>       legend_position = &quot;bottom&quot;)<br>)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*J6Uw8JYakblbvVyJWQTrNw.jpeg" /></figure><h3><strong>Taxa de Desocupação x Inflação</strong></h3><p>Vamos à temática de fato…</p><pre># Transforma de wide para long<br>dados_long = dados[[&#39;Date&#39;, &#39;ipca_servicos_12m&#39;, &#39;ipca_servicos_mm3m&#39;, &#39;desocupacao_sa&#39;]].melt(id_vars = [&#39;Date&#39;])<br><br># Cria o gráfico<br>(<br> ggplot(dados_long, aes(x = &#39;Date&#39;, y = &#39;value&#39;, color = &#39;variable&#39;)) +<br> geom_line(size = 0.7) +<br> geom_point() +<br> scale_colour_manual(values = list(colors.values())) +<br> scale_x_date(date_breaks = &quot;1 year&quot;, date_labels = &quot;%b/%Y&quot;) +<br> labs(title = f&quot;Taxa de Desocupação (s.a) x Inflação de Serviços&quot;,<br>      subtitle = &quot;&quot;,<br>      color=&quot;&quot;,<br>      x=&quot;&quot;,<br>      y=&quot;%&quot;,<br>      caption = &quot;Autor: Jonatas A. Liberato | Fonte: IBGE e BCB&quot;)+<br> theme_minimal() +<br> theme(figure_size = (14, 6),<br>       legend_position = &quot;bottom&quot;)<br>)<br><br></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uhTEkQSl-jyDIs0CzZUHRQ.jpeg" /><figcaption>Note que com o aumenta da taxa de desocupação, houve uma queda do ipca sazonalizado.,</figcaption></figure><pre># Cria o gráfico<br>(<br> ggplot(dados, aes(x = &#39;desocupacao_sa&#39;, y = &#39;ipca_servicos_mm3m&#39;)) +<br> geom_point(color = &#39;darkblue&#39;) +<br> stat_smooth(method = &quot;lm&quot;) +<br> labs(title = f&quot;Taxa de Desocupação x Inflação de Serviços MM3M&quot;,<br>      subtitle = &quot;Sazonalmente Ajustados&quot;,<br>      color=&quot;&quot;,<br>      x = &quot;Taxa de Desocupação (s.a.)&quot;,<br>      y = &quot;Inflação de Serviços MM3M (s.a.)&quot;,<br>      caption = &quot;Autor: Jonatas A. Liberato | Fonte: IBGE e BCB&quot;)+<br> theme_minimal() +<br> theme(figure_size = (14, 6),<br>       legend_position = &quot;bottom&quot;)<br>)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pBHN_FsA2N03wh-VFPjZ7A.jpeg" /></figure><pre># Cria o gráfico<br>(<br> ggplot(dados, aes(x = &#39;desocupacao_sa&#39;, y = &#39;ipca_servicos_12m&#39;)) +<br> geom_point(color = &#39;darkblue&#39;) +<br> stat_smooth(method = &quot;lm&quot;) +<br> labs(title = f&quot;Taxa de Desocupação x Inflação de Serviços 12 meses&quot;,<br>      subtitle = &quot;&quot;,<br>      color=&quot;&quot;,<br>      x = &quot;Taxa de Desocupação (s.a)&quot;,<br>      y = &quot;Inflação de Serviços 12 meses&quot;,<br>      caption = &quot;Autor: Jonatas A. Liberato | Fonte: IBGE e BCB&quot;)+<br> theme_minimal() +<br> theme(figure_size = (14, 6),<br>       legend_position = &quot;bottom&quot;)<br>)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gI6hIBai3aC8INWDsY2h7A.jpeg" /></figure><p>Acima podemos notar a relação inversa entre Taxa de Desocupação e inflação de de curto prazo.</p><h3><strong>Causalidade de Granger</strong></h3><p>O teste de causalidade de Granger é uma técnica estatística usada para verificar se uma série temporal pode ajudar a prever outra. Basicamente, ele busca responder à pergunta: “Os valores passados de X ajudam a prever os valores futuros de Y?”. Isso não implica que X causa Y no sentido tradicional de causa e efeito, mas sim que há uma relação preditiva entre as duas séries.</p><p>Quando aplicamos o teste de Granger, por exemplo, à taxa de inflação de serviços e à taxa de desemprego, estamos verificando se mudanças passadas no desemprego podem ser usadas para prever a inflação de serviços no futuro, ou vice-versa. No procedimento Toda-Yamamoto, o teste é ajustado para lidar com desafios como a não estacionariedade das séries temporais, garantindo resultados mais robustos.</p><p>Se o teste indicar que há causalidade de Granger da taxa de desemprego para o IPCA de serviços, significa que as variações no desemprego passado têm poder preditivo sobre a inflação de serviços. Isso ajuda a entender melhor as dinâmicas entre essas variáveis econômicas e como elas podem influenciar-se mutuamente ao longo do tempo.</p><pre># Removemos qualquer linha que contenha valores ausentes (NaN)<br>dados = (<br>  dados<br>  .dropna()<br>  <br>  # Definimos a coluna &#39;Date&#39; como o índice do DataFrame para facilitar a manipulação de séries temporais<br>  .set_index(&#39;Date&#39;)<br>)<br><br># Convertemos o índice em DatetimeIndex e definimos a frequência como &quot;MS&quot; (Month Start), ou seja, o início de cada mês<br>dados.index = pd.DatetimeIndex(dados.index, freq=&quot;MS&quot;)</pre><p>Aqui…</p><pre>from statsmodels.tsa.stattools import adfuller, kpss<br><br># Função que realiza os testes de estacionaridade ADFuller e KPSS para verificar se uma série temporal é estacionária.<br>def adfuller_kpss_test(dataframe, signif=0.05, verbose=False):<br>    &quot;&quot;&quot;<br>    Realiza os testes ADFuller e KPSS para verificar a estacionaridade das colunas de um DataFrame e imprime o relatório.<br>    Argumentos:<br>    - dataframe: DataFrame contendo séries temporais em suas colunas.<br>    - signif: Nível de significância para os testes (default: 0.05).<br>    - verbose: Se True, imprime resultados detalhados (default: False).<br>    &quot;&quot;&quot;<br>    <br>    # Itera por todas as colunas do DataFrame, realizando os testes de estacionaridade em cada série temporal.<br>    for coluna in dataframe.columns:<br>        series = dataframe[coluna]<br><br>        # Teste de Dickey-Fuller Aumentado (ADF) para verificar se a série possui raiz unitária (não estacionária).<br>        adf_result = adfuller(series, autolag=&#39;AIC&#39;)  # autolag=&#39;AIC&#39; encontra o número ideal de lags.<br>        adf_output = {&#39;estatística_do_teste&#39;: round(adf_result[0], 4), <br>                      &#39;valor_p&#39;: round(adf_result[1], 4), <br>                      &#39;número_de_lags&#39;: round(adf_result[2], 4), <br>                      &#39;número_de_observações&#39;: adf_result[3]}<br>        valor_p_adf = adf_output[&#39;valor_p&#39;]<br><br>        # Teste KPSS (Kwiatkowski-Phillips-Schmidt-Shin) para verificar a estacionaridade em torno de uma tendência determinística.<br>        kpss_result = kpss(series)<br>        kpss_output = {&#39;estatística_do_teste&#39;: round(kpss_result[0], 4), <br>                       &#39;valor_p&#39;: round(kpss_result[1], 4), <br>                       &#39;número_de_lags&#39;: round(kpss_result[2], 4)}<br>        valor_p_kpss = kpss_output[&#39;valor_p&#39;]<br><br>        # Função auxiliar para ajustar o comprimento dos valores impressos, garantindo formatação adequada.<br>        def ajustar(valor, comprimento=6):<br>            return str(valor).ljust(comprimento)<br><br>        # Imprime os resultados do teste ADF<br>        print(f&#39;Teste de Dickey-Fuller Aumentado em &quot;{coluna}&quot;&#39;, &quot;\n&quot;, &#39;-&#39; * 47)<br>        print(f&#39;Hipótese Nula: Os dados possuem raiz unitária. Não estacionários.&#39;)<br>        print(f&#39;Nível de Significância = {signif}&#39;)<br>        print(f&#39;Estatística do Teste    = {adf_output[&quot;estatística_do_teste&quot;]}&#39;)<br>        print(f&#39;Número de Lags Escolhidos = {adf_output[&quot;número_de_lags&quot;]}&#39;)<br><br>        # Imprime os valores críticos do teste ADF (limites de decisão para estacionaridade).<br>        for chave, valor in adf_result[4].items():<br>            print(f&#39;Valor Crítico {ajustar(chave)} = {round(valor, 3)}&#39;)<br><br>        # Verifica o valor-p do ADF e interpreta se rejeita a hipótese nula (indicando que a série é estacionária).<br>        if valor_p_adf &lt;= signif:<br>            print(f&quot; =&gt; Valor-P = {valor_p_adf}. Rejeitando a Hipótese Nula.&quot;)<br>            print(f&quot; =&gt; A série é Estacionária.&quot;)<br>        else:<br>            print(f&quot; =&gt; Valor-P = {valor_p_adf}. Evidência fraca para rejeitar a Hipótese Nula.&quot;)<br>            print(f&quot; =&gt; A série não é Estacionária.&quot;)<br>        print(&quot;\n&quot;)<br><br>        # Imprime os resultados do teste KPSS<br>        print(f&#39;Teste KPSS em &quot;{coluna}&quot;&#39;, &quot;\n&quot;, &#39;-&#39; * 32)<br>        print(f&#39;Hipótese Nula: A série é estacionária ao redor de uma tendência determinística.&#39;)<br>        print(f&#39;Nível de Significância = {signif}&#39;)<br>        print(f&#39;Estatística do Teste    = {kpss_output[&quot;estatística_do_teste&quot;]}&#39;)<br>        print(f&#39;Número de Lags Escolhidos = {kpss_output[&quot;número_de_lags&quot;]}&#39;)<br><br>        # Imprime os valores críticos do teste KPSS<br>        for chave, valor in kpss_result[3].items():<br>            print(f&#39;Valor Crítico {ajustar(chave)} = {round(valor, 3)}&#39;)<br><br>        # Verifica o valor-p do KPSS e interpreta o resultado.<br>        if valor_p_kpss &lt;= signif:<br>            print(f&quot; =&gt; Valor-P = {valor_p_kpss}. Rejeitando a Hipótese Nula.&quot;)<br>            print(f&quot; =&gt; A série não é Estacionária.&quot;)<br>        else:<br>            print(f&quot; =&gt; Valor-P = {valor_p_kpss}. Evidência fraca para rejeitar a Hipótese Nula.&quot;)<br>            print(f&quot; =&gt; A série é Estacionária ao redor de uma tendência determinística.&quot;)<br>        print(&quot;\n&quot;)<br><br>adfuller_kpss_test(dados[[&#39;desocupacao_sa&#39;, &#39;ipca_servicos_12m&#39;, &#39;ipca_servicos_mm3m&#39;]])<br>dados</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/801/1*M-4ItQDbJOS1CFskrB_qWg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*afr-tXvQFr3NESGNdcxBPg.png" /></figure><h3><strong>Teste de Cointegração de Johansen</strong></h3><p>Trata-se de uma ferramenta estatística que ajuda a identificar se duas ou mais séries temporais estão ligadas por uma relação de longo prazo, mesmo que sofram com volatilidade no curto prazo.</p><p>Para isso, preparamos os dados para garantir que sejam estacionários, criar um modelo que relacione as séries e calcular duas estatísticas principais: a do traço e a do máximo autovalor. Comparando essas estatísticas com valores críticos, você pode concluir se há cointegração.</p><pre>def test_cointegration_johansen(data, det_order=0, k_ar_diff=1):<br>    # Aplicar o teste de cointegração de Johansen<br>    result = coint_johansen(data, det_order=det_order, k_ar_diff=k_ar_diff)<br><br>    # Obter os valores críticos para o teste de traço e máximo autovalor<br>    trace_stat_crit = result.trace_stat_crit_vals[:, 0]  # Valores críticos para o teste de traço<br>    max_eigen_stat_crit = result.max_eig_stat_crit_vals[:, 0]  # Valores críticos para o máximo autovalor<br><br>    # Obter as estatísticas do teste<br>    trace_stat = result.trace_stat  # Estatística do teste de traço<br>    max_eigen_stat = result.max_eig_stat  # Estatística do teste de máximo autovalor<br><br>    # Imprimir resultados das estatísticas e valores críticos<br>    print(&quot;Estatística do Traço:&quot;, trace_stat)<br>    print(&quot;Valores Críticos para o Traço:&quot;, trace_stat_crit)<br>    print(&quot;\nEstatística do Máximo Autovalor:&quot;, max_eigen_stat)<br>    print(&quot;Valores Críticos para o Máximo Autovalor:&quot;, max_eigen_stat_crit)<br><br>    # Verificar se há cointegração com base nas estatísticas e valores críticos<br>    trace_cointegration = any(trace_stat &gt; trace_stat_crit)  # Verifica se há cointegração pelo teste de traço<br>    max_eigen_cointegration = any(max_eigen_stat &gt; max_eigen_stat_crit)  # Verifica pelo teste de máximo autovalor<br><br>    # Imprimir resultados do teste de cointegração<br>    print(&quot;\nTeste de Cointegração (Traço):&quot;, trace_cointegration)<br>    print(&quot;Teste de Cointegração (Máximo Autovalor):&quot;, max_eigen_cointegration)</pre><pre>test_cointegration_johansen(dados[[&#39;desocupacao_sa&#39;, &#39;ipca_servicos_12m&#39;]], k_ar_diff = 10)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/614/1*lh5zu4uWzqsYlev8TLQ0YQ.png" /></figure><pre>test_cointegration_johansen(dados[[&#39;desocupacao_sa&#39;, &#39;ipca_servicos_mm3m&#39;]], k_ar_diff = 2)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/607/1*RbWkWFwcT5xHNn1-AtOI5w.png" /></figure><p>Tanto no primeiro quanto no segundo conjunto de resultados, os valores das estatísticas de traço e máximo autovalor superam os valores críticos. Isso significa que há evidências claras de que as variáveis no seu conjunto de dados estão cointegradas, ou seja, têm uma relação de equilíbrio no longo prazo. Essas variáveis podem divergir no curto prazo, mas tendem a se ajustar para manter essa relação estável ao longo do tempo.</p><h3><strong>Teste de Causalidade de Granger (Toda-Yamamoto)</strong></h3><pre># Ajustar o modelo VECM IPCA 12 meses e Taxa de Desocupação<br>model_12m = VECM(dados[[&#39;desocupacao_sa&#39;, &#39;ipca_servicos_12m&#39;]], k_ar_diff = 10)<br>result_12m = model_12m.fit()</pre><pre># Realizar o teste de causalidade de Granger (desocupacao_sa -&gt; ipca_servicos_12m)<br>granger_desoc_12m = result_12m.test_granger_causality(caused = &#39;ipca_servicos_12m&#39;, causing = &#39;desocupacao_sa&#39;)<br>display(granger_desoc_12m.summary())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/417/1*w7peDCfVqJXqlBdZGFMM6A.png" /></figure><pre># Realizar o teste de causalidade de Granger (ipca_servicos_12m  -&gt; desocupacao_sa)<br>granger_12m_desoc = result_12m.test_granger_causality(caused = &#39;desocupacao_sa&#39;, causing = &#39;ipca_servicos_12m&#39;)<br>display(granger_12m_desoc.summary())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/404/1*Gua7uyHSZsB7knGMIpSclQ.png" /></figure><pre># Ajustar o modelo VECM IPCA MM3M e Taxa de Desocupação<br>model_mm3m = VECM(dados[[&#39;desocupacao_sa&#39;, &#39;ipca_servicos_mm3m&#39;]], k_ar_diff = 2)<br>result_mm3m = model_mm3m.fit()</pre><pre># Realizar o teste de causalidade de Granger (desocupacao_sa -&gt; ipca_servicos_mm3m)<br>granger_desoc_mm3m = result_mm3m.test_granger_causality(caused = &#39;ipca_servicos_mm3m&#39;, causing = &#39;desocupacao_sa&#39;)<br>display(granger_desoc_mm3m.summary())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/397/1*GUj45DbC-HsFISvvTRmEAA.png" /></figure><pre># Realizar o teste de causalidade de Granger (ipca_servicos_mm3m  -&gt; desocupacao_sa)<br>granger_mm3m_desoc = result_mm3m.test_granger_causality(caused = &#39;desocupacao_sa&#39;, causing = &#39;ipca_servicos_mm3m&#39;)<br>display(granger_mm3m_desoc.summary())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/397/1*Ft7ECsFI04D_52kL3ysZOQ.png" /></figure><p>Através dos resultados, obtemos os insights:<br><strong>Teste 1 </strong>— O valor do p-valor (0.080) é maior que o nível de significância de 5% (0.05), então não rejeitamos a hipótese nula. Isso significa que não há evidências suficientes de que a taxa de desocupação dessazonalizada (desocupacao_sa) ajude a prever a inflação dos serviços no período de 12 meses (ipca_servicos_12m).</p><p><strong>Teste 2 </strong>— O p-valor (0.413) é bem maior que 0.05, então novamente não rejeitamos a hipótese nula. Isso indica que a inflação de serviços no período de 12 meses (ipca_servicos_12m) também não tem poder preditivo sobre a taxa de desocupação (desocupacao_sa).</p><p><strong>Teste 3 </strong>— Aqui, o p-valor (0.016) é menor que 0.05, o que nos permite rejeitar a hipótese nula. Isso significa que a taxa de desocupação dessazonalizada (desocupacao_sa) ajuda a prever a inflação de serviços medida nos últimos 3 meses móveis (ipca_servicos_mm3m). Em outras palavras, existe uma relação de predição: a desocupação parece impactar os preços dos serviços em um período de curto prazo.</p><p><strong>Teste 4</strong> — O p-valor (0.766) é muito maior que 0.05, então não rejeitamos a hipótese nula. Não há evidências de que a inflação de serviços nos últimos 3 meses móveis (ipca_servicos_mm3m) ajude a prever a taxa de desocupação (desocupacao_sa).</p><h3><strong>Curva de Phillips Quantílica</strong></h3><p>Como mostrei anteriormentem, a tarefa de prever a inflação é complicado por causa das muitas variáveis envolvidas na economia. Como vimos e tradicionalmente, ferramentas como a Curva de Phillips são usadas para entender a inflação, mas essas abordagens têm limitações. Elas normalmente focam em uma média, sem considerar cenários mais extremos, como momentos de alta ou baixa inflação, e como diferentes fatores influenciam a inflação em situações diversas.</p><p>A regressão quantílica surge como uma solução melhor, pois permite analisar a inflação em vários cenários, olhando não só para a média, mas também para extremos (como percentis específicos, por exemplo). Isso possibilita entender como variáveis, como o câmbio, afetam a inflação de forma diferente dependendo do cenário: se a inflação está alta ou baixa, por exemplo.</p><p>Com essa abordagem, é possível responder perguntas como: “O câmbio impacta mais a inflação quando ela está elevada?” ou “Como a inércia inflacionária muda em diferentes níveis de inflação?”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/899/1*xA6rsu8VLgPaej9iPaWdQw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*OkXbBMbM5wDWU3fr.png" /></figure><pre># Exemplo com ajuste para &#39;ME&#39;<br>ipca = pd.DataFrame({<br>    &#39;date&#39;: pd.date_range(start=&#39;2000-01-01&#39;, periods=259, freq=&#39;ME&#39;),  # Ajustado de &#39;M&#39; para &#39;ME&#39;<br>    &#39;ipca&#39;: np.random.rand(259)  # Substituir pelos dados reais<br>})<br><br># Lagging e leading nas séries, como no R<br>ipca[&#39;date&#39;] = pd.to_datetime(ipca[&#39;date&#39;]).dt.to_period(&#39;M&#39;)  # Aqui você pode manter como &#39;M&#39; se estiver funcionando bem<br><br># Continue ajustando todas as partes relevantes:<br>pi_exp = pd.DataFrame({<br>    &#39;date&#39;: pd.date_range(start=&#39;2000-01-01&#39;, periods=259, freq=&#39;ME&#39;),  # Ajustado para &#39;ME&#39;<br>    &#39;ipca_exp&#39;: np.random.rand(259)  # Substituir pelos dados reais<br>})<br><br>hiato = pd.DataFrame({<br>    &#39;date&#39;: pd.date_range(start=&#39;2000-01-01&#39;, periods=259, freq=&#39;ME&#39;),  # Ajustado para &#39;ME&#39;<br>    &#39;hiato&#39;: np.random.rand(259)  # Substituir pelos dados reais<br>})<br><br>pi_imp = pd.DataFrame({<br>    &#39;date&#39;: pd.date_range(start=&#39;2000-01-01&#39;, periods=259, freq=&#39;ME&#39;),  # Ajustado para &#39;ME&#39;<br>    &#39;pi_imp&#39;: np.random.rand(259)  # Substituir pelos dados reais<br>})<br><br>vol_cambial = pd.DataFrame({<br>    &#39;date&#39;: pd.date_range(start=&#39;2000-01-01&#39;, periods=259, freq=&#39;ME&#39;),  # Ajustado para &#39;ME&#39;<br>    &#39;vol_cambial&#39;: np.random.rand(259)  # Substituir pelos dados reais<br>})<br><br># Juntando os dados com base na data<br>dfs = [ipca, pi_exp, hiato, pi_imp, vol_cambial]<br>dados = reduce(lambda left, right: pd.merge(left, right, on=&#39;date&#39;), dfs)<br><br># Filtrando os dados (manipulando datas e removendo períodos indesejados)<br>dados = dados[dados[&#39;date&#39;] &gt;= pd.Period(&#39;2004-01&#39;)]</pre><p>Aplicando o modelo</p><pre>import statsmodels.formula.api as smf<br>import statsmodels.api as sm<br>from functools import reduce<br><br># Exemplo de dados fictícios que devem ser substituídos pelos reais<br>np.random.seed(42)<br><br># Gerar dados fictícios para o exemplo<br>dates = pd.date_range(start=&#39;2004-01-01&#39;, periods=100, freq=&#39;M&#39;)<br>ipca = np.random.rand(100)<br>ipca_lag = np.roll(ipca, 1)<br>ipca_exp = np.random.rand(100)<br>hiato = np.random.rand(100)<br>pi_imp = np.random.rand(100)<br>vol_cambial = np.random.rand(100)<br><br># Criar o DataFrame<br>dados = pd.DataFrame({<br>    &#39;date&#39;: dates,<br>    &#39;ipca&#39;: ipca,<br>    &#39;ipca_lag&#39;: ipca_lag,<br>    &#39;ipca_exp&#39;: ipca_exp,<br>    &#39;hiato&#39;: hiato,<br>    &#39;pi_imp&#39;: pi_imp,<br>    &#39;vol_cambial&#39;: vol_cambial<br>})<br><br># Remover a primeira linha, já que o &#39;lag&#39; cria um valor deslocado<br>dados = dados.drop(0)<br><br># Definir os quantis para a regressão quantílica<br>taus = [0.1, 0.25, 0.5, 0.75, 0.9]<br><br># Função para executar a regressão quantílica para um determinado tau<br>def fit_quantile_regression(tau, data):<br>    model = smf.quantreg(&#39;ipca ~ ipca_lag + ipca_exp + hiato + pi_imp + vol_cambial&#39;, data)<br>    result = model.fit(q=tau)<br>    return result<br><br># Executar a regressão quantílica para cada tau<br>modelos = {f&#39;𝜏 = {tau}&#39;: fit_quantile_regression(tau, dados) for tau in taus}<br><br># Exibir os resultados resumidos<br>for tau, modelo in modelos.items():<br>    print(f&#39;Resultados para {tau}:&#39;)<br>    print(modelo.summary())<br>    print(&quot;\n\n&quot;)<br><br># Outra opção: usar o pacote modelsummary para resumir os resultados (se aplicável ao Python)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/789/1*l4NM69pSPwkik3r1_ooBew.png" /></figure><h3>Conclusão</h3><p>Esses resultados mostram como diferentes variáveis afetam a inflação (IPCA) em diversos pontos da distribuição, analisados usando regressão quantílica para os percentis 0.1, 0.25, 0.5, 0.75 e 0.9. Vamos simplificar a análise:</p><p>1. <strong>Intercepto</strong>: Representa a inflação quando todas as outras variáveis são zero. Ele é positivo e significativo para os percentis medianos (0.5, 0.75, 0.9), sugerindo que, para valores medianos e altos da inflação, há uma inflação de base que não está diretamente explicada pelas variáveis do modelo.</p><p>2. <strong>Lag do IPCA (ipca_lag)</strong>: Esse coeficiente indica o quanto a inflação passada influencia a inflação atual. O coeficiente é pequeno e insignificante em todas as quantis, sugerindo que a inflação passada não tem um impacto claro e significativo nos níveis de inflação presentes.</p><p>3. <strong>Expectativa de inflação (ipca_exp)</strong>: A expectativa de inflação tem coeficientes negativos em várias quantis, mas não é estatisticamente significativa. Isso sugere que, embora a expectativa de inflação tenha uma pequena correlação negativa com a inflação real, essa relação não é forte.</p><p>4. <strong>Hiato do produto (hiato)</strong>: Representa a diferença entre o produto real e o potencial. Em todos os percentis, o coeficiente é negativo, sugerindo que, quanto maior o hiato (ou seja, quando a economia está abaixo do seu potencial), a inflação tende a ser menor. No entanto, os resultados não são significativos, o que implica que essa relação não é forte o suficiente para ser conclusiva.</p><p>5. <strong>Inflação importada (pi_imp)</strong>: A inflação dos preços importados tem uma influência negativa nos percentis mais altos (0.5 e 0.75), sendo significativa no percentil 0.5. Isso sugere que, para a mediana e para os valores mais altos de inflação, uma queda nos preços importados ajuda a reduzir a inflação interna.</p><p>6. <strong>Volatilidade cambial (vol_cambial)</strong>: A volatilidade cambial, que reflete as variações do câmbio, tem um efeito positivo na inflação em alguns percentis, especialmente no percentil 0.25, onde o coeficiente é quase significativo (P = 0.07). Isso indica que, em cenários de inflação mais baixa, a volatilidade cambial pode ter um impacto maior na inflação.</p><h4><strong>Resumo Geral:</strong></h4><p>A inflação parece ser mais sensível a variáveis externas, como a inflação importada, para os níveis medianos e altos de inflação. No entanto, para os níveis mais baixos (percentis 0.1 e 0.25), nenhuma das variáveis tem um impacto forte. Isso pode indicar que, em contextos de inflação mais baixa, outros fatores fora do modelo explicam melhor o comportamento do IPCA. Já para inflação mediana e alta, os preços importados e a inflação passada mostram algum efeito, embora moderado.</p><p>Esses resultados destacam a importância de observar diferentes partes da distribuição da inflação, em vez de apenas a média, para entender melhor os fatores que a influenciam em cenários específicos.</p><p>Um fator que considero (como se fosse somente eu) é estimar a <strong>curva de demanda agregada da economia</strong>, que dentre os seus objetivos é mostrar o equilíbrio no mercado de bens e serviços com base no hiato do produto, em sua função perante às suas próprias defasagens, partindo da premissa da taxa real de juros e do resultado primário.</p><p>Mas esse é um assunto para um próximo estudo.</p><p>Valeu aí!</p><h3>Referências</h3><ul><li><strong>Inflação, desemprego e taxa de juros: a Curva de Phillips e a Regra de Taylor para a economia brasileira</strong>. <a href="https://amzn.to/3BoWDxO">https://amzn.to/3BoWDxO</a></li><li>MAZALI, Antônio Alberto. <strong>Rigidez dos salários reais e o modelo novo-keynesiano: evidências empíricas no Brasil.</strong> 2007. 57 f. Dissertação (Mestrado em Economia) — Universidade Católica de Brasília, Brasília, 2007 <a href="https://www.scielo.br/j/rbe/a/ws7rDyH6WHqLL4LNryyYPpG/?lang=en">https://www.scielo.br/j/rbe/a/ws7rDyH6WHqLL4LNryyYPpG/?lang=en</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=0f405d10ac65" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ECONOMETRIZANDO — Parte 2]]></title>
            <link>https://medium.com/@jonatasliberato/econometrizando-parte-2-3531779a6c2b?source=rss-8d0c66edc75f------2</link>
            <guid isPermaLink="false">https://medium.com/p/3531779a6c2b</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[colonização]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[econometrics]]></category>
            <category><![CDATA[econometria]]></category>
            <dc:creator><![CDATA[Jonatas Liberato]]></dc:creator>
            <pubDate>Thu, 30 May 2024 12:12:09 GMT</pubDate>
            <atom:updated>2024-05-30T12:12:09.477Z</atom:updated>
            <content:encoded><![CDATA[<h3><strong>ECONOMETRIZANDO — Parte 2</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cAVEA85Vtf8-KkbwU8ZGYw.png" /><figcaption>As origens coloniais do desenvolvimento comparativo</figcaption></figure><p><strong>Sobre o Estudo</strong></p><p>Nesse projeto, vamos usar como referência a hipótese e os dados do excelente artigo: <em>”As Origens Coloniais do Desenvolvimento Comparativo: Uma Investigação Empírica”</em> dos autores: Daron Acemoglu, Simon Johnson, James A. Robinson</p><p><strong>Fonte:</strong> The American Economic Review, Vol. 91, №5 (Dez., 2001), pp. 1369–1401 <a href="https://www.aeaweb.org/articles?id=10.1257/aer.91.5.1369">https://www.aeaweb.org/articles?id=10.1257/aer.91.5.1369</a></p><p>—</p><h4><strong>PROPÓSITOS:</strong></h4><p>Aplicar o conceito de variáveis instrumentais de forma teórica usando um modelo de 2 etapas para analisar a hipótese dos autores: <em>*o desempenho econômico observado pode ser atribuído às diferenças institucionais.*</em></p><p>Além disso, analisa-se o quão importantes são as instituições e os direitos de propriedade para o desenvolvimento econômico.</p><p>Os autores do artigo propõem 3 premissas:</p><ol><li>Os diferentes tipos de políticas de colonização criaram diferentes conjuntos de instituições. Em um extremo, os europeus estabeleceram “Estados extrativos”, instituições que não ofereceram muita proteção à propriedade privada, nem estabeleceram um sistema de pesos e contrapesos contra a expropriação do governo. No outro extremo, muitos europeus emigraram e se estabeleceram em várias colônias, criando “novas Europas”. Os colonizadores tentaram replicar as instituições europeias, com grande ênfase na propriedade privada e no controle do poder do governo.</li><li>A viabilidade dos assentamentos influenciou a estratégia de colonização. Em lugares onde o ambiente insalubre não era favorável ao assentamento europeu, não era possível criar “novas Europas”, e era mais viável a formação do Estado extrativo. O Estado colonial e as instituições persistiram mesmo após a independência.</li><li>Na hipótese de as taxas de mortalidade (potenciais) dos colonizadores terem sido o principal determinante dos assentamentos; os assentamentos foram um determinante importante das instituições iniciais (na prática, as instituições de 1900); e existe uma forte correlação entre as instituições iniciais e as instituições atuais.</li></ol><h4><strong>PONTOS IMPORTANTES:</strong></h4><ol><li>Como medimos as diferenças institucionais e os resultados econômicos.</li><li>Os resultados econômicos de uma economia são aproximados pelo logaritmo do PIB per capita em 1995, ajustados pela paridade do poder de compra, PPC.</li><li>As diferenças institucionais são aproximadas pelo índice de proteção contra a expropriação, que reporta um valor entre 0 e 10 para cada país e ano, onde 0 corresponde à menor proteção contra a expropriação. Foi utilizado o valor médio de cada país entre 1985 e 1995 (“risco de expropriação” médio 1985–95, este índice foi construído pelo Grupo de Serviços de Risco Político <a href="https://www.prsgroup.com/).">https://www.prsgroup.com/).</a></li><li>A principal contribuição do artigo é o uso das taxas de mortalidade como fonte de variação exógena nas diferenças institucionais.</li><li>Essa variação é necessária para determinar se são as instituições que levam a um maior crescimento econômico, e não o contrário.</li></ol><h3><strong>De forma mais didática</strong></h3><p>Imagine que estamos explorando como certas coisas que aconteceram no passado afetam o modo como os países são hoje em dia. Temos um artigo escrito por alguns competentes pesquisadores que estudaram sobre isso.</p><p>Acemoglu e os demais propõem algumas ideias sobre como a forma como os países foram colonizados no passado influenciou suas instituições e, por consequência, seu desenvolvimento econômico atual.</p><p>Eles sugerem que a maneira como os europeus colonizaram diferentes partes do mundo criou diferentes tipos de sistemas de governo e leis. Alguns lugares acabaram com governos que não protegiam muito bem a propriedade privada das pessoas, enquanto outros lugares tiveram sistemas mais parecidos com os da Europa, com maior proteção à propriedade.</p><p>Eles também acham que a dificuldade de viver em certos lugares influenciou como esses lugares foram colonizados. Em alguns lugares onde era difícil para os europeus viverem, acabaram sendo criados governos que não protegiam tanto a propriedade das pessoas.</p><p>Os pesquisadores têm uma hipótese. Eles pensam que a taxa de mortalidade dos colonizadores, ou seja, quantos deles morriam quando chegavam em um lugar novo, foi o principal fator que determinou como esses lugares foram colonizados e, consequentemente, como suas instituições foram formadas. Eles acreditam que as instituições criadas naquela época continuam a influenciar o desenvolvimento econômico desses lugares hoje em dia.</p><p>Então, para testar essas ideias, alguns dados econômicos, como o Produto Interno Bruto (PIB) per capita em 1995, e também para um índice que mede o quão bem os governos protegem a propriedade privada das pessoas.</p><p>A parte mais interessante é que eles usam a taxa de mortalidade dos colonizadores como uma espécie de “atalho” para entender como as instituições foram formadas. Eles pensam que olhando para essa taxa, podem entender melhor como as instituições afetaram o desenvolvimento econômico ao longo do tempo.</p><h3><strong>Sobre os dados</strong></h3><p>Com a ajuda da instrução read_stata, vamos ler os dados. Nosso DataFrame contém as seguintes informações:</p><ul><li>shortnam — Abreviação do Nome do país.</li><li>euro1900 — Restrições ao Executivo em 1900</li><li>excolony: variável dummy 1- excolonia -0 não excolonia</li><li>logpgp95 — logaritmo do PIB per capita em 1995</li><li>avexpr — logaritmo da taxa de mortalidade dos colonizadores para uma amostra de 75 países,</li><li>cons1 — Restrição ao executivo no primeiro ano de independência</li><li>cons90 — Restrição ao executivo em 1900</li><li>democ00a — Índice de democracia 1900</li><li>cons00a — Restrição ao executivo em 2000</li><li>extmort4 — taxa de mortalidade externa em 4 anos (imagino que só possa ser isso, pois não encontrei a descrição)</li><li>logem4 — Logaritmo do PIB por trabalhador, 1988</li><li>loghjypl — IDH</li></ul><p>A base de dados pode ser baixada [<a href="https://github.com/jonatasjal/econometrics-the_colonial_origins">AQUI</a>]</p><h3><strong>Bibliotecas</strong></h3><pre>import numpy as np<br>import pandas as pd<br>import seaborn as sns<br>import matplotlib.pyplot as plt<br>import statsmodels.api as sm<br>import plotly.graph_objs as go<br>from statsmodels.iolib.summary2 import summary_col<br>from linearmodels.iv import IVLIML, IV2SLS, IVLIML, IVGMM, IVGMMCUE<br>import warnings<br>warnings.filterwarnings(&#39;ignore&#39;)</pre><h3><strong>Dados</strong></h3><pre>df = pd.read_stata(&#39;maketable1.dta&#39;)<br>df</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*O0x2aHtiZaDqeGzrMb75tA.png" /><figcaption>Nota-se que os nomes das colunas no conjunto de dados não são muito explicativos, por isso, as renomearei</figcaption></figure><pre># Tipos dos dados<br>df.info()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/389/1*LediCwDgBmOnsZ7pXVLqwg.png" /></figure><pre># Valores nulos<br>df.isnull().sum()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/194/1*X4c7f52crMqZlsWZV38AZQ.png" /></figure><pre># Estatistica descritiva<br>df.describe()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6g9TgriR_LToSqGFQZew7g.png" /></figure><h4><strong>Relação: Proteção Média contra o Risco de Expropriação x Logaritmo do PIB per capita</strong></h4><p>Aqui inicialmente desejamos entender a relação entre essas duas variáveis e estimar uma linha de melhor ajuste que represente essa relação, para isso usamos uma análise de regressão linear simples entre as duas variáveis. Isso ajuda a entender a direção e a força da relação entre as variáveis e fornece uma base para previsões ou inferências adicionais.</p><p>Calculamos as variâncias e a covariância das variáveis, estimando os coeficientes da regressão linear (interceptação e inclinação da linha), e depois realizamos um plot dos dados originais juntamente com a linha de regressão estimada para visualização.</p><pre># Removemos linhas com valores ausentes nas duas variáveis de interesse<br>data_clean = df.dropna(subset=[&#39;logpgp95&#39;, &#39;avexpr&#39;])<br><br># Definimos as variáveis independentes (X) e dependentes (Y)<br>X = data_clean[&#39;logpgp95&#39;]<br>Y = data_clean[&#39;avexpr&#39;]<br><br># Adicionamos uma constante a variável independente (X) para estimar o termo de interceptação<br>X = sm.add_constant(X)<br><br># Estimamos a regressão linear<br>model = sm.OLS(Y, X, missing=&#39;drop&#39;)<br>results = model.fit()<br><br># Imprimindo um sumário do modelo<br>print(results.summary())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/770/1*FJBRdTRk8Nh2Ve7BaQONag.png" /></figure><p>Concluímos que:</p><ul><li>R-quadrado (R²): 0.611, indicando que aproximadamente 61.1% da variação na qualidade das instituições (‘avexpr’) pode ser explicada pelo PIB per capita logarítmico (‘logpgp95’)</li><li>Coeficiente de ‘logpgp95’: 1.1494, sugerindo que um aumento de 1 unidade no logaritmo do PIB per capita está associado a um aumento de aproximadamente 1.15 na qualidade das instituições</li><li>Intercepto: -2.5160, indicando que, teoricamente, um país com um PIB per capita logarítmico de zero teria uma qualidade institucional negativa (o que pode não ser realista, mas é um resultado da modelagem linear)</li><li>Significância Estatística: o valor p para ‘logpgp95’ é extremamente baixo (&lt; 0.0001), indicando que o coeficiente é muito significativo</li><li>Distribuição dos Resíduos: no teste de Omnibus e Jarque-Bera vimos que os resíduos da regressão são normalmente distribuídos</li></ul><p>Ou seja, os dados indicam uma relação positiva e significativa entre o PIB per capita logarítmico e a qualidade das instituições, sugerindo que países com maior PIB per capita tendem a ter instituições de melhor qualidade.</p><p>A variabilidade explicada pelo modelo é moderada (61.1%), o que indica que outros fatores além do PIB per capita também influenciam a qualidade das instituições. A análise destaca a importância do desenvolvimento econômico para a qualidade institucional, mas também sugere a necessidade de considerar outras variáveis para uma compreensão mais completa.</p><pre># Obtenha os coeficientes estimados da regressão<br>intercept, slope = results.params<br><br># Crie os pontos da linha de regressão<br>regression_line = intercept + slope * data_clean[&#39;logpgp95&#39;]<br><br># Crie o scatter plot com Plotly<br>fig = px.scatter(data_clean, x=&#39;logpgp95&#39;, y=&#39;avexpr&#39;, opacity=0.5, title=&#39;Regressão Linear entre logpgp95 e avexpr&#39;)<br>fig.add_trace(go.Scatter(x=data_clean[&#39;logpgp95&#39;], y=regression_line, mode=&#39;lines&#39;, name=&#39;Linha de Regressão&#39;, line=dict(color=&#39;red&#39;)))<br><br># Adicione anotação do autor<br>fig.add_annotation(<br>    text=&#39;Autor: Jonatas A. Liberato&#39;,<br>    xref=&#39;paper&#39;, yref=&#39;paper&#39;,<br>    x=1, y=-0.2,<br>    showarrow=False,<br>    font=dict(size=12)<br>)<br><br># Atualize os rótulos dos eixos e defina o tamanho do gráfico<br>fig.update_layout(<br>    xaxis_title=&#39;logpgp95&#39;,<br>    yaxis_title=&#39;avexpr&#39;,<br>    width=700,  # Definindo a largura do gráfico<br>    height=500  # Opcional: definindo a altura do gráfico<br>)<br><br># Mostre o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/875/1*DTNyBtYfjsEnTSaOOLwCAg.png" /></figure><h4><strong>Correlação entre as variáveis</strong></h4><p>Vamos dar uma olhada nas relações entre as variáveis</p><pre># Separando varaveis numéricas de categóricas<br>df_num = df.select_dtypes(include= &#39;number&#39;)<br><br># Matriz de correlação<br>correlacao = df_num.corr()<br>print(&#39;Matriz de Correlação&#39;)<br>correlacao</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vKeIMmz_jjCYj3piJ7GMdw.png" /></figure><pre># Plotando comheatmap<br>plt.figure(figsize=(10,8))<br>sns.heatmap(correlacao, annot= True, cmap= &#39;coolwarm&#39;, fmt= &#39;.2f&#39;)<br>plt.title(&#39;Mapa de Calor dos Dados&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/862/1*QfujSgyxAeIN0up0J8s5sQ.png" /></figure><h4><strong>Aqui já tiramos algumas forte correlações entre as variáveis, como por exemplo:</strong></h4><ul><li>as variáveis relacionadas ao desempenho econômico (como log_ppc95 e IDH) têm uma forte correlação positiva, o que sugere que economias com maior Produto Interno Bruto (PIB) per capita tendem a ter um maior Índice de Desenvolvimento Humano (IDH)</li><li>variável euro1900, que representa a influência colonial europeia, mostra uma correlação positiva com várias outras variáveis, como idh e ind_democ_1900 (índice de democracia em 1900). Isso sugere que regiões com maior influência colonial europeia tendem a ter melhores indicadores de desenvolvimento humano e maior probabilidade de democracia</li><li>taxa de mortalidade dos colonizadores (mort_ext_4y) apresenta uma correlação negativa com várias variáveis, incluindo log_ppc95 (PIB per capita) e IDH. Isso indica que em áreas onde os colonizadores enfrentaram maior mortalidade, o desenvolvimento econômico e humano tende a ser menor</li><li>a variável ind_democ_1900, que mede a democracia em 1900, mostra uma forte correlação positiva com outras variáveis relacionadas ao desenvolvimento, como log_ppc95 (PIB per capita) e IDH. Isso sugere que a presença de instituições democráticas no passado está associada a melhores resultados econômicos e sociais.</li><li>as variáveis relacionadas às instituições coloniais (euro1900 e res_exec_1900) têm uma forte correlação com o desenvolvimento atual. Isso indica que as instituições estabelecidas durante o período colonial podem ter um impacto duradouro no desenvolvimento socioeconômico das regiões.</li><li>a presença de instituições democráticas (ind_democ_1900) está positivamente correlacionada com melhores resultados econômicos e sociais, como maior PIB per capita e Índice de Desenvolvimento Humano. Isso sugere que a democracia no período colonial pode ter influenciado positivamente o desenvolvimento futuro.</li></ul><h4><strong>Dispersão dos Dados</strong></h4><p>Nesta análise gráfica, estamos explorando a relação entre duas variáveis: ‘avexpr’, que representa a Proteção Média contra o Risco de Expropriação de 1985 a 1995, e ‘logpgp95’, que é o Logaritmo do PIB per capita entre 1975 e 1995. Ao observar o gráfico de dispersão dessas variáveis, podemos identificar que tipo de relação existe entre elas.</p><p>Observarmos uma tendência ascendenteno gráfico de dispersão, indicando uma relação linear positiva entre as variáveis. Também é possível identificar padrões não lineares, como curvas ou agrupamentos de pontos, que indicariam relações mais complexas entre as variáveis.</p><pre># Criar o gráfico de dispersão<br>fig = go.Figure()<br># Adicionar os dados<br>fig.add_trace(go.Scatter(x=df[&#39;avexpr&#39;], y=df[&#39;logpgp95&#39;], mode=&#39;markers&#39;))<br># Atualizar o layout para definir as dimensões<br>fig.update_layout(<br>    height=600,<br>    width=800,<br>    title=dict(text=&quot;Proteção média contra o risco de expropriação x PIB per capita (1975 - 1995)&quot;, x=0.5, y=0.98, font=dict(size=16)),<br>    xaxis_title=&quot;Risco de expropriação&quot;,<br>    yaxis_title=&quot;PIB per capita&quot;,<br>    annotations=[dict(text=&quot;Autor: Jonatas A. Liberato&quot;, x=0.98, y=-0.1, xref=&quot;paper&quot;, yref=&quot;paper&quot;, showarrow=False)],<br>)<br># Exibir o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/824/1*FUKKZd7ajDueWwOzQJIrWQ.png" /><figcaption>Este gráfico revela uma tendência ascendente, indicando uma relação linear positiva entre a proteção contra expropriação e o PIB per capita.</figcaption></figure><h4><strong>Qualidade Institucional x Desempenho Econômico</strong></h4><p>Nosso objetivo aqui é mostrar que melhorar a qualidade das instituições (especialmente a proteção contra expropriação) pode levar a um melhor desempenho econômico, influenciando políticas públicas, decisões de investimento e estratégias de desenvolvimento.</p><p>Para isso propomos algumas explicações:</p><ul><li>Índice de Proteção Contra o Risco de Expropriação: Este índice mede quão bem as instituições (como governo, sistema legal, etc.) protegem os direitos de propriedade dos indivíduos contra a expropriação (ou seja, contra o governo tomar seus bens sem justa compensação).</li><li>Qualidade Institucional: Quando dizemos que uma instituição é de “alta qualidade”, significa que ela funciona bem, protegendo os direitos das pessoas e sendo eficiente e justa.</li><li>Desempenho Econômico: Isso geralmente é medido pelo PIB per capita, que é o valor total de todos os bens e serviços produzidos em um país dividido pelo número de habitantes. Um PIB per capita elevado indica uma economia próspera.</li><li>Relação: A frase sugere que se as instituições de um país são melhores (medido por um alto índice de proteção contra expropriação), então esse país tende a ter um melhor desempenho econômico (medido por um PIB per capita elevado).</li></ul><p>Para entender essa relação, podemos criar um modelo simples que usa o PIB per capita como a variável que queremos prever (variável dependente) e o Índice Médio de Proteção contra o risco de expropriação como a variável que usamos para fazer a previsão (variável explicativa).</p><p>Onde:</p><ul><li><strong>Modelo Bivariado</strong>: análise estatística que examina a relação entre duas variáveis</li><li><strong>Variável Dependente</strong>: variável dependente é o PIB per capita, o que significa que estamos tentando entender o que influencia o PIB per capita</li><li><strong>Variável Explicativa</strong>: é o Índice de Proteção contra o risco de expropriação. Isso significa que estamos usando este índice para tentar explicar as variações no PIB per capita</li></ul><pre>print(df[[&#39;logpgp95&#39;, &#39;avexpr&#39;]].isna().sum())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/145/1*uT11GuTmVl5Xil4DQgX8Fg.png" /></figure><pre>dados_limpos = df.copy()<br><br># Fazemos uma limpeza nos dados para evitar distorções de valores NaN<br>dados_limpos = dados_limpos.dropna(subset=[&#39;logpgp95&#39;, &#39;avexpr&#39;])</pre><h4><strong>Separando os registros onde baseco é igual a 1</strong></h4><p>Criamos a variável “baseco” para garantir que as análises econométricas sejam conduzidas em um conjunto de dados específico e relevante, Ou seja, indica observações válidas e pertinentes, assegurando que as inferências sobre a relação entre instituições coloniais e desempenho econômico sejam robustas e significativas.</p><pre>dados_limpos = dados_limpos[dados_limpos[&#39;baseco&#39;] == 1]<br><br># Reservando os labels dos países<br>paises = dados_limpos[&#39;shortnam&#39;]<br>paises</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/350/1*aaMJIVwY4bKINC0Cu0dsyQ.png" /></figure><pre># Substituindo os pontos pelas labels dos países<br>fig, ax = plt.subplots(figsize = (12,6))<br>ax.scatter(x, y, marker = &#39;&#39;)<br><br>for i, pais in enumerate(paises):<br>    ax.annotate(pais, (x.iloc[i], y.iloc[i]), color=&#39;blue&#39;)<br><br># Linha de tendência<br>ax.plot(np.unique(x),<br>        np.poly1d(np.polyfit(x, y, 1))(np.unique(x)),<br>        color=&#39;black&#39;)<br><br># Configurações do gráfico<br>ax.set_xlim([3.3, 10.5])<br>ax.set_ylim([4, 10.5])<br>ax.set_xlabel(&#39;Média de proteção contra o risco de expropriação 1985-95&#39;)<br>ax.set_ylabel(&#39;PIB per capita de 1995&#39;)<br>ax.set_title(&#39;Modelo OLS bivariado: Risco de Expropriação x Rendimento&#39;)<br><br># Anotação do autor no canto inferior direito<br>plt.annotate(&#39;Autor: Jonatas A. Liberato&#39;,<br>             xy=(1.0, 0.0002),<br>             xycoords=&#39;axes fraction&#39;,<br>             ha=&#39;right&#39;,<br>             va=&#39;bottom&#39;)<br><br># Exibir o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*by-8XgmcpskTnWRwV_0izg.png" /></figure><h4><strong>Estimativas com Modelo OLS</strong></h4><p>Aqui nós usamos o modelo OLS (Ordinary Least Squares), que é uma técnica usada para estimar os parâmetros de uma regressão linear e nesse caso, para examinar a relação entre a qualidade institucional (medida pelo índice de proteção contra expropriação) e o desempenho econômico (medido pelo logaritmo do PIB per capita em 1995).</p><h4>Criando o intercepto</h4><p>É necessária a criação de uma constante (ou intercepto) para ajustar adequadamente a linha de regressão aos dados, ela permite que o modelo ajuste o nível médio da variável dependente (no caso, o logaritmo do PIB per capita) quando todas as variáveis explicativas (como a proteção contra expropriação) são iguais a zero.</p><p>Sem essa constante, o modelo seria forçado a passar pela origem (ponto onde todas as variáveis explicativas são zero), o que raramente é apropriado para dados econômicos e pode levar a um ajuste inadequado.</p><pre>dados_limpos[&#39;ols&#39;] = 1<br>dados_limpos</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MpGlqA4hXrGtKJ4BpWYfyw.png" /></figure><h4><strong>Construindo o modelo OLS</strong></h4><pre>modelo_ols = sm.OLS(endog = dados_limpos[&#39;logpgp95&#39;], exog = dados_limpos[[&#39;ols&#39;, &#39;avexpr&#39;]], missing = &#39;drop&#39;)<br>res = modelo_ols.fit()<br>print(res.summary())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/743/1*lpZrKLyw_Q6zqefxWPDcWA.png" /></figure><p>A conclusão que temos é que o modelo de regressão OLS mostra uma relação positiva e estatisticamente significativa entre a proteção contra expropriação e o logaritmo do PIB per capita em 1995. Com um R-quadrado de 0.540, o modelo explica uma porção considerável da variabilidade na variável dependente.</p><p>A significância estatística dos coeficientes e das estatísticas de ajuste sugere que a proteção contra expropriação é um forte preditor do PIB per capita.</p><h4><strong>Prevendo os níveis de Renda Per Capita</strong></h4><p>Caso você nunca tenha ouvido falar sobre o assunto, o nível de renda per capita é uma medida que indica a média da renda de uma determinada área (como um país, estado ou região) dividida pelo número de pessoas que vivem nessa área. É frequentemente usado como uma medida básica do padrão de vida e desenvolvimento econômico de uma população.</p><p>Quanto maior o nível de renda per capita, em geral, melhor são as condições econômicas e sociais, incluindo acesso a educação, saúde, moradia e outros serviços básicos. É uma medida importante para avaliar a qualidade de vida e o progresso econômico de uma sociedade.</p><pre># Média da variávels avexpr<br>mean_avexpr = np.mean(dados_limpos[&#39;avexpr&#39;])<br><br># Predição<br>res.predict(exog = [1, mean_avexpr])<br><br># ====== PREVISÃO PARA CADA VALOR<br><br># Eliminamos os valores nulos<br>dados_limpos_plot = dados_limpos.dropna(subset = [&#39;logpgp95&#39;, &#39;avexpr&#39;])<br><br># Plot<br>fix, ax = plt.subplots()<br>ax.scatter( dados_limpos_plot[&#39;avexpr&#39;], <br>            res.predict(), <br>            alpha = 0.5,<br>            label = &#39;Predição&#39; )<br><br># Graficamos los valores observados<br>dados_limpos<br>ax.scatter(dados_limpos_plot[&#39;avexpr&#39;], <br>           dados_limpos_plot[&#39;logpgp95&#39;], <br>           alpha = 0.5, <br>           label = &#39;Valores Observados&#39;)<br><br>ax.legend()<br>ax.set_title(&#39;Valores Preditos - Usando OLS&#39;)<br>ax.set_xlabel(&#39;avexpr&#39;)<br>ax.set_ylabel(&#39;logpgp95&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/579/1*BC2oCZdRnXEF0QnxwZ9OPg.png" /></figure><h4><strong>Modelo Multivariado</strong></h4><p>Até agora, nosso modelo só considerou o Índice Médio de Proteção contra o Risco de Expropriação como variável explicativa. No entanto, certamente existem outras variáveis que influenciam o PIB per capita.</p><p>Os cálculos dos parâmetros do nosso modelo podem estar sujeitos ao que é conhecido como “viés de variável omitida”. Para resolver esse problema, vamos expandir nosso modelo para incluir outras variáveis.</p><p>Um modelo multivariado é uma extensão de um modelo univariado, no qual há mais de uma variável independente (ou explicativa) sendo considerada para prever uma variável dependente. Em outras palavras, ele permite analisar como várias variáveis independentes influenciam simultaneamente uma variável dependente, nos permitindo entender como múltiplas variáveis independentes se relacionam com uma variável dependente, fornecendo uma análise mais abrangente e precisa das relações entre as variáveis em estudo.</p><pre># Subindo dados para o modelo multivariado<br>df2 = pd.read_stata(&#39;maketable2.dta&#39;)<br><br># Criando outro intercepto<br>df2[&#39;const&#39;] = 1<br>df2</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/716/1*Lgwrv_ZzOP9qQQRIqjRGLg.png" /></figure><p>Vamos criar 3 variáveis para usar nos modelos com colunas que serão usadas nos modelos multivariados.</p><p>Com esses modelos desejamos:</p><ul><li><strong>Reg1:</strong> Considera apenas o Índice de Proteção contra o Risco de Expropriação (avexpr) como variável explicativa. Este modelo básico estabelece a relação fundamental entre avexpr e o logaritmo do PIB per capita em 1995 (logpgp95).</li><li><strong>Reg2:</strong> Adiciona a latitude (lat_abst) ao modelo para verificar se a inclusão de uma variável geográfica altera a relação entre avexpr e logpgp95.</li><li><strong>Reg3:</strong> Introduz mais variáveis categóricas (asia, africa, other) para controlar os efeitos regionais e testar se a relação entre avexpr e logpgp95 permanece consistente.</li></ul><pre>var1 = [&#39;const&#39;, &#39;avexpr&#39;]<br>var2 = [&#39;const&#39;, &#39;avexpr&#39;, &#39;lat_abst&#39;]<br>var3 = [&#39;const&#39;, &#39;avexpr&#39;, &#39;lat_abst&#39;, &#39;asia&#39;, &#39;africa&#39;, &#39;other&#39;]<br><br># Criando os 3 modelos<br>reg1 = sm.OLS(df2[&#39;logpgp95&#39;], df2[var1], missing = &#39;drop&#39;).fit()<br>reg2 = sm.OLS(df2[&#39;logpgp95&#39;], df2[var2], missing = &#39;drop&#39;).fit()<br>reg3 = sm.OLS(df2[&#39;logpgp95&#39;], df2[var3], missing = &#39;drop&#39;).fit()<br><br># Imprimindo os 3 modelos em uma única tabela<br><br># Definindo um dicionário para personalizar a exibição de informações<br>info_dict = { <br>    &#39;R-squared&#39; : lambda x: f&quot;{x.rsquared:.2f}&quot;,        # Exibe o R-quadrado com duas casas decimais<br>    &#39;No. observations&#39; : lambda x: f&quot;{int(x.nobs):d}&quot;   # Exibe o número de observações como um inteiro<br>}<br><br># Criando uma tabela de resumo para os resultados dos três modelos de regressão<br>results_table = summary_col(<br>    results = [reg1, reg2, reg3],              # Lista de modelos de regressão<br>    float_format = &#39;%0.2f&#39;,                    # Formato de exibição dos números em ponto flutuante<br>    stars = True,                              # Adiciona estrelas para significância estatística<br>    model_names = [ &#39;Model 1&#39;, &#39;Model 3&#39;, &#39;Model 4&#39;],  # Nomes personalizados para cada modelo<br>    info_dict = info_dict,                     # Dicionário com informações personalizadas<br>    regressor_order = [ &#39;const&#39;,               # Ordem dos regressores na tabela<br>                        &#39;avexpr&#39;,<br>                        &#39;lat_abst&#39;,<br>                        &#39;asia&#39;,<br>                        &#39;africa&#39; ]<br>)<br><br># Adiciona um título à tabela de resultados<br>results_table.add_title(&#39;Table 2 - OLS Regressão&#39;)<br><br># Imprime a tabela de resultados<br>print(results_table)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/434/1*oOq2NxDj_IyH-ZsCIIeztg.png" /></figure><p>Constatamos:</p><ol><li>Constante (const): O coeficiente constante é positivo e altamente significativo em todos os modelos, variando de 4.63 a 5.85</li><li>avexpr: A variável “avexpr” (provavelmente um índice de proteção contra expropriação) tem um coeficiente positivo e significativo em todos os modelos, indicando que um aumento em “avexpr” está associado a um aumento no log do PIB per capita</li><li>lat_abst: Incluída nos Modelos 3 e 4, é significativa ao nível de 10% no Modelo 3, mas perde a significância no Modelo 4</li><li>asia: Incluída apenas no Modelo 4, seu coeficiente é negativo, mas não significativo</li><li>africa: Incluída apenas no Modelo 4, tem um coeficiente negativo e altamente significativo, sugerindo que a localização na África está associada a um log do PIB per capita mais baixo</li><li>other: Também no Modelo 4, seu coeficiente não é significativo</li><li>valores de R-quadrado indicam que a inclusão de mais variáveis no Modelo 4 aumenta a proporção da variação explicada da variável dependente</li></ol><h4><strong>Endogeneidade x Modelo de Mínimos Quadrados (2 etapas)</strong></h4><p>Endogeneidade é um problema que pode surgir em modelos de regressão devido a erros de medição, autorregressão com autocorrelação dos erros, simultaneidade e variáveis omitidas. Vamos usar um modelo de Mínimos Quadrados Ordinários (OLS) em duas etapas para corrigir esse problema.</p><p>Tá, mas com que queremos dizer com isso?</p><p>Isso significa que a relação entre o Índice de Proteção Médio contra o Risco de Expropriação (‘avexpr’) e o Logaritmo do PIB per capita pode ir nos dois sentidos. Em outras palavras, não é apenas que um influencia o outro, mas também que há uma influência mútua entre eles.</p><ul><li>Países mais ricos podem financiar ou preferir melhores instituições?</li><li>Variáveis que afetam a renda podem estar correlacionadas com diferenças institucionais?</li><li>A construção do índice pode estar enviesada, com analistas predispostos a ver melhores instituições em países mais ricos?</li></ul><p>Para resolver a endogeneidade, usamos um instrumento: a taxa de mortalidade dos primeiros colonizadores. Isso nos permite aplicar o Método de Mínimos Quadrados em Duas Etapas (2SLS):</p><ul><li><strong>Primeira Etapa</strong></li></ul><p>Na primeira etapa, usamos a variável instrumental para prever a variável endógena (avexpr). A ideia é que a variável instrumental esteja correlacionada com a variável endógena, mas não com o erro do modelo.</p><ul><li><strong>Segunda Etapa</strong></li></ul><p>Na segunda etapa, usamos a previsão da variável endógena da primeira etapa como um preditor no modelo final.</p><p><strong>Contexto e Método Generalizado dos Momentos (GMM)</strong></p><p>Podemos também usar o Método Generalizado dos Momentos (GMM), que é uma abordagem mais geral que incorpora instrumentos em um sistema de equações. Nesse método, usamos uma matriz definida positiva que ajuda a construir estimadores mais eficientes.</p><pre># Criaremos outra cópia do nosso dataset, para excluir os valores nulos<br>dados_limpos2 = df.copy()<br>dados_limpos2 = dados_limpos2.dropna(subset = [&#39;logem4&#39;, &#39;avexpr&#39;])<br>dados_limpos2.isna().sum()<br><br># Atribuindo os valores a variáveis<br>x = dados_limpos2[&#39;logem4&#39;]<br>y = dados_limpos2[&#39;avexpr&#39;]<br>paises = dados_limpos2[&#39;shortnam&#39;]<br><br># Plotando<br>fig, ax = plt.subplots()<br>ax.scatter(x, y, marker = &#39;&#39;)<br><br>for i, pais in enumerate(paises):<br>    ax.annotate(pais, (x.iloc[i], y.iloc[i]))<br><br># Linha de tendência<br>ax.plot(<br>    np.unique(x),<br>    np.poly1d(np.polyfit(x, y, 1))(np.unique(x)),<br>    color = &#39;darkblue&#39;<br>)<br><br>ax.set_xlim([1.8,8.4])<br>ax.set_ylim([3.3,10.4])<br>ax.set_xlabel(&#39;Log de Mortalidade dos Colonizadores&#39;)<br>ax.set_ylabel(&#39;Risco médio de expropriação (1985-95)&#39;)<br>ax.set_title(&#39;Figura 3: Mortalidade de Colonizadores x Risco de Expropriação&#39;, size = 14)<br><br># Anotação do autor no canto inferior direito<br>plt.annotate(&#39;Autor: Jonatas A. Liberato&#39;,<br>             xy=(1.0, 0.0002),<br>             xycoords=&#39;axes fraction&#39;,<br>             ha=&#39;right&#39;,<br>             va=&#39;bottom&#39;)<br><br># Exibir o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/797/1*Wrd-2ID0bivf2RjJlnknjQ.png" /></figure><h4><strong>Primeira Etapa: Risco de Expropriação</strong></h4><pre>df4 = pd.read_stata(&#39;maketable4.dta&#39;)<br>df4 = df4[df4[&#39;baseco&#39;] == 1]<br><br># Definindo a constante<br>df4[&#39;const&#39;] = 1<br><br># Modelo de Regressão<br>results_fs = sm.OLS(df4[&#39;avexpr&#39;],<br>                    df4[[&#39;const&#39;, &#39;logem4&#39;]],<br>                    missing=&#39;drop&#39;).fit()<br>print(results_fs.summary())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/780/1*sIZdZXt4VKfuLe8emAaSJg.png" /></figure><p>Os resultados sugerem a presença de endogeneidade na relação entre o Índice de Proteção Médio contra o Risco de Expropriação (‘avexpr’) e o Logaritmo do PIB per capita. Isso implica que a influência entre essas variáveis pode ser bidirecional: não apenas uma influencia a outra, mas também há uma influência mútua.</p><p>Para lidar com essa endogeneidade, aplicamos um modelo de Mínimos Quadrados em Duas Etapas (2SLS). Na primeira etapa, usamos a taxa de mortalidade dos primeiros colonizadores como variável instrumental para prever o Índice de Proteção contra o Risco de Expropriação. Na segunda etapa, usamos a previsão do Índice de Proteção da primeira etapa como um preditor no modelo final.</p><p>Essa abordagem permite controlar a endogeneidade e fornecer estimativas mais confiáveis dos efeitos das instituições na renda per capita. Além disso, podemos considerar o Método Generalizado dos Momentos (GMM), uma técnica mais ampla que incorpora instrumentos em um sistema de equações, possibilitando estimadores mais eficientes através de uma matriz definida positiva.</p><h4><strong>Segunda Etapa: Equação de Interesse</strong></h4><pre># Usa-se o valor predito da Etapa 1<br>df4[&#39;predicted_avexpr&#39;] = results_fs.predict()<br><br># Regressão<br>results_ss = sm.OLS(<br>    df4[&#39;logpgp95&#39;],<br>    df4[[&#39;const&#39;, &#39;predicted_avexpr&#39;]]).fit()<br>print(results_ss.summary())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/836/1*7RxP47Z8K5nPSQvprVpiGA.png" /></figure><p>Na segunda etapa da abordagem de Mínimos Quadrados em Duas Etapas (2SLS), realizamos uma regressão para investigar a relação entre o Logaritmo do PIB per capita (‘logpgp95’) e o Índice de Proteção Médio contra o Risco de Expropriação (‘avexpr’), previsto a partir da primeira etapa do 2SLS.</p><p>Os resultados mostram que a variável predita ‘predicted_avexpr’ tem um coeficiente estimado de 0.9443, com um erro padrão de 0.126. Isso indica que um aumento no Índice de Proteção Médio contra o Risco de Expropriação previsto está associado a um aumento de aproximadamente 0.9443 no Logaritmo do PIB per capita. Esse coeficiente é altamente significativo, com um valor p muito baixo (p &lt; 0.001), indicando uma forte relação entre as duas variáveis.</p><p>Além disso, o intercepto (const) é estimado em 1.9097, com um erro padrão de 0.823. Isso sugere que, com um Índice de Proteção Médio contra o Risco de Expropriação previsto de zero, o Logaritmo do PIB per capita ainda teria um valor médio de aproximadamente 1.9097.</p><p>Os testes de diagnóstico, como o teste Omnibus e o teste de Jarque-Bera, sugerem que os resíduos da regressão não estão perfeitamente normalmente distribuídos, mas ainda assim, a análise geral do modelo parece razoável.</p><p>Esses resultados fornecem insights sobre como o Índice de Proteção contra o Risco de Expropriação influencia o PIB per capita e ajudam a mitigar os efeitos da endogeneidade na análise da relação entre instituições e desenvolvimento econômico.</p><h4><strong>Sem ajustes</strong></h4><pre># Sem ajustes de erro<br>iv = IV2SLS( dependent = df4[&#39;logpgp95&#39;],<br>             exog = df4[&#39;const&#39;],<br>             endog = df4[&#39;avexpr&#39;],<br>             instruments = df4[[&#39;logem4&#39;]]).fit()<br>print(iv.summary)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/778/1*N2eiZK55hIYb-OiBuxO6GA.png" /></figure><p>Nesta análise de IV-2SLS (Mínimos Quadrados em Duas Etapas com Variáveis Instrumentais), examinamos a relação entre o Logaritmo do PIB per capita (‘logpgp95’) e o Índice de Proteção Médio contra o Risco de Expropriação (‘avexpr’), utilizando a taxa de mortalidade dos primeiros colonizadores como instrumento.</p><p>Os resultados mostram que o coeficiente estimado para ‘avexpr’ é de 0.9443, com um erro padrão de 0.1761. Isso indica que um aumento no Índice de Proteção Médio contra o Risco de Expropriação está associado a um aumento de aproximadamente 0.9443 no Logaritmo do PIB per capita. Este coeficiente é altamente significativo, com um valor p muito baixo (p &lt; 0.001), sugerindo uma forte relação entre as duas variáveis.</p><p>O intercepto (const) é estimado em 1.9097, com um erro padrão de 1.1740. Embora o intercepto não seja estatisticamente significativo (p = 0.1038), ele fornece uma estimativa do valor médio de Logaritmo do PIB per capita quando o Índice de Proteção contra o Risco de Expropriação é zero.</p><p>Os resultados indicam uma relação positiva entre o Índice de Proteção contra o Risco de Expropriação e o Logaritmo do PIB per capita, controlando a endogeneidade por meio da utilização de instrumentos. O teste F para a relevância dos instrumentos (F-statistic) é significativo, indicando que os instrumentos têm poder preditivo sobre a variável endógena.</p><p>Esses resultados fornecem suporte para a hipótese de que o desenvolvimento econômico está associado à qualidade das instituições, representadas pelo Índice de Proteção contra o Risco de Expropriação, e demonstram a importância de controlar a endogeneidade ao analisar essa relação.</p><h3><strong>CONCLUSÃO:</strong></h3><p>Este estudo confirmou a relação positiva entre a qualidade das instituições e o desempenho econômico. Usando o índice de proteção contra o risco de expropriação como medida das instituições e o logaritmo do PIB per capita como proxy para o desenvolvimento econômico, descobrimos que um aumento na qualidade das instituições está associado a um aumento significativo no PIB per capita.</p><p>Além disso, ao usar a taxa de mortalidade dos colonizadores como instrumento para abordar a endogeneidade, confirmamos sua validade para avaliar a qualidade das instituições. Isso sugere que políticas voltadas para melhorar as instituições podem ser eficazes para promover o crescimento econômico.</p><p>Embora este estudo forneça insights importantes, precisammos pontuar sobre suas limitações, como a dependência de dados históricos e a generalização para diferentes contextos contemporâneos. É fato que pesquisas posteriores podem ajudar a explorar outras variáveis instrumentais e contextos históricos, bem como investigar o impacto de diferentes aspectos institucionais no desenvolvimento econômico.</p><p>Em resumo, com esse estudo tentei destacar a importância das instituições sólidas no fomento ao desenvolvimento econômico e enfatiza a necessidade de políticas voltadas para a melhoria institucional como uma estratégia para promover o bem-estar econômico.</p><p>Fim.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3531779a6c2b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[AGRO: Prevendo Falhas de Implementos Agrícolas]]></title>
            <link>https://medium.com/@jonatasliberato/agro-prevendo-falhas-de-implementos-agr%C3%ADcolas-0d33b87cef8a?source=rss-8d0c66edc75f------2</link>
            <guid isPermaLink="false">https://medium.com/p/0d33b87cef8a</guid>
            <category><![CDATA[agro]]></category>
            <category><![CDATA[implementos-agricolas]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[agronegócio]]></category>
            <dc:creator><![CDATA[Jonatas Liberato]]></dc:creator>
            <pubDate>Tue, 30 Apr 2024 22:25:06 GMT</pubDate>
            <atom:updated>2024-04-30T22:40:43.550Z</atom:updated>
            <content:encoded><![CDATA[<p>Pesquisa, análise de dados, engenharia de recursos e modelo preditivo em Python.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*p5gZ6o97aHVsuoMz5qQz4w.png" /></figure><h3><strong>Objetivos</strong></h3><p>Em tempos de Agrishow, a maior feira do agronegócio da América Latina, pensei nesse projeto para mais uma vez, explorar áreas importantes e que podem nos trazer insights e análises incríveis.</p><p>E no Brasil, um setor que é destaque e referência mundial é o agro e eu posso provar:</p><p>1. <strong>Importância do Agronegócio no Brasil</strong>:</p><p>- O agronegócio desempenha um papel crucial na economia brasileira, contribuindo significativamente para o PIB (Produto Interno Bruto) do país. Em 2023, o agronegócio representou cerca de 23% do PIB brasileiro. FONTE: <a href="https://www.cepea.esalq.usp.br/br/pib-do-agronegocio-brasileiro.aspx#:~:text=No%20entanto%2C%20as%20baixas%20consecutivas,8%25%20do%20PIB%20do%20Pa%C3%ADs"><strong>aqui</strong></a></p><p>2. <strong>Produção Agrícola</strong>:</p><ul><li>O Brasil é um dos maiores produtores agrícolas do mundo, destacando-se na produção de soja, milho, cana-de-açúcar, café, algodão, entre outros cultivos.</li><li>A safra de grãos brasileira tem registrado recordes anuais, impulsionada pela expansão da área plantada e pela adoção de tecnologias agrícolas modernas.</li></ul><p>3. <strong>Exportações</strong>:</p><ul><li>O país é um dos principais exportadores mundiais de commodities agrícolas. Produtos como soja, carne bovina, açúcar, café e suco de laranja são amplamente exportados.</li><li>As exportações brasileiras de produtos agrícolas têm grande importância para a balança comercial, gerando divisas e impulsionando a economia.</li></ul><p>4. <strong>Tecnologia e Sustentabilidade</strong>:</p><ul><li>O setor agrícola brasileiro tem investido cada vez mais em tecnologia e inovação, buscando aumentar a produtividade e reduzir os impactos ambientais.</li><li>Práticas sustentáveis, como o manejo adequado do solo, o uso racional de recursos hídricos e a preservação da biodiversidade, estão se tornando cada vez mais comuns no agronegócio brasileiro.</li></ul><p>5. <strong>Desafios e Oportunidades</strong>:</p><ul><li>Apesar dos avanços, o setor enfrenta desafios, como a infraestrutura logística inadequada, questões ambientais, desigualdades regionais e a necessidade de modernização de políticas públicas.</li><li>No entanto, o agronegócio brasileiro também apresenta oportunidades de crescimento, como a expansão do mercado global, o aumento da demanda por alimentos sustentáveis e a integração de cadeias produtivas.</li></ul><p>Com base nessas nessas estatísticas, nada mais justo de aplicar conhecimento em Data Science e extrair informações valiosas.</p><h3><strong>Dados</strong></h3><p>Para construir esse conjunto de dados, fiz diversas pesquisas e conversei com especialistas no agro, coletei informações em vídeos e artigos, para entender, quais variáveis afetam a funcionalidade dos implementos. Infelizmente não obtive medidas reais de empresas do setor, portanto, criei uma maneira de gerar dados que façam sentido com os valores reais. Abaixo estão as principais características para variadas culturas:</p><p>Vamos entender cada uma das variáveis:</p><p>1. <strong>Datas (datas)</strong>:</p><ul><li>São datas geradas a partir de uma data inicial (01/01/2000) até um total de 8000 elementos. Essas datas podem representar diferentes eventos ou momentos no tempo, como datas de registro de dados ou observações.</li></ul><p>2. <strong>Tempo de Uso (tempo_uso)</strong>:</p><ul><li>Representa o tempo de uso em anos de algum equipamento ou implemento. Foi gerado aleatoriamente com valores entre 1 e 27 anos, com alguns outliers acima desse intervalo.</li></ul><p>3. <strong>Condições de Trabalho (tipos_de_solo)</strong>:</p><ul><li>Indica os tipos de solo em que os equipamentos foram utilizados. Os tipos de solo foram gerados com base em proporções predefinidas (orgânico, argiloso, humífero, pedregoso, arenoso).</li></ul><p>4. <strong>Tipos de Implemento e Velocidades de Operação (tipo_implemento, velocidade_operacao)</strong>:</p><ul><li>Descreve os tipos de implementos agrícolas (trator, colhedora, plantadora, pulverizador) e suas respectivas velocidades de operação. As velocidades foram geradas aleatoriamente dentro de faixas específicas para cada tipo de implemento.</li></ul><p>5. <strong>Idade do Implemento (idade_implemento)</strong>:</p><ul><li>Indica a idade dos implementos agrícolas em anos. Foi gerado aleatoriamente com valores entre 1 e 9 anos.</li></ul><p>6. <strong>Manutenção (manutencao)</strong>:</p><ul><li>Refere-se aos tipos de manutenção realizados nos implementos agrícolas (nenhuma, corretiva, preventiva). Os tipos de manutenção foram gerados com base em proporções predefinidas.</li></ul><p>7. <strong>Tipo de Cultura (cultura)</strong>:</p><ul><li>Indica os tipos de cultura para os quais os equipamentos foram utilizados (cana-de-açúcar, trigo, milho, soja). Os tipos de cultura foram gerados com base em proporções predefinidas.</li></ul><p>8. <strong>Modelo do Implemento (marca_implemento)</strong>:</p><ul><li>Representa as marcas dos implementos agrícolas utilizados. As marcas foram escolhidas aleatoriamente com base em proporções predefinidas.</li></ul><p>9. <strong>Temperatura de Trabalho (temperatura_trabalho)</strong>:</p><ul><li>Indica as temperaturas de trabalho dos implementos agrícolas durante sua operação. As temperaturas foram geradas dentro de faixas específicas para cada tipo de implemento.</li></ul><p>10. <strong>Água Aplicada (agua_aplicada)</strong>:</p><ul><li>Refere-se à quantidade de água aplicada durante as operações agrícolas. Alguns valores são nulos, representando falta de dados.</li></ul><p>11. <strong>Umidade (umidade)</strong>:</p><ul><li>Indica os níveis de umidade durante as operações agrícolas. Alguns valores são nulos, e existem alguns outliers.</li></ul><p>12. <strong>Fertilizante (fertilizante)</strong>:</p><ul><li>Representa os tipos de fertilizantes utilizados. Alguns valores são nulos, indicando falta de informação.</li></ul><p>13. <strong>Localidade (localidade)</strong>:</p><ul><li>Indica as localidades onde os implementos agrícolas foram utilizados. São representadas por estados brasileiros.</li></ul><p>14. <strong>Tipo de Acionamento (tipo_acionamento)</strong>:</p><ul><li>Descreve os tipos de acionamento dos implementos agrícolas (cardan, hidráulico). Foram gerados com base em proporções predefinidas.</li></ul><p>15. <strong>Falha (falha)</strong>:</p><ul><li>Indica se ocorreu falha nos implementos agrícolas (0: sem falha, 1: com falha). A ocorrência de falha foi distribuída de acordo com os tipos de acionamento.</li></ul><h3><strong>Observações</strong></h3><ul><li>As variáveis criadas e projetadas com certo viés para testarmos algumas hipóteses, foram baseadas em informações reais mas não informações oficiais e parecem muito generalistas. Fiz isso para mostrar o que é possível fazer com informações mais precisas e exclusivas.</li><li>Eu poderia lhes trazer geoprocessamento e uma outra infinidade de análises, mas trouxe um modelo de previsão que teve acurácia de aproximadamente 90%.</li><li>Os gráficos foram pensados nas acessbilidade, por isso estão em uma paleta de cores que respeitam as limitções visuais.</li></ul><h3><strong>Criando os Dados</strong></h3><p>Como citado anteriormente, foram criadas variáveis enviesadas com algum fundamento em informações reais. Ao todo são 8000 registros(dias) iniciados em 01/01/2000</p><pre># Bibliotecas base<br>import pandas as pd<br>import numpy as np<br>import seaborn as sns<br>import matplotlib.pyplot as plt<br>import warnings<br>warnings.filterwarnings(&#39;ignore&#39;)<br><br># Definindo o número total de elementos<br>total_elementos = 8000<br><br># Definindo a data inicial<br>data_inicial = pd.to_datetime(&#39;2000-01-01&#39;)<br><br># Gerando as datas<br>datas = [data_inicial + pd.DateOffset(days=i) for i in range(total_elementos)]<br><br><br># ==================================================== Tempo de uso (horas) - com alguns outliers<br>tempo_uso_dias = np.random.randint(365, 10000, total_elementos)<br>tempo_uso_dias[np.random.choice(total_elementos, 100)] = np.random.randint(10000, 15000, 100)<br><br># Convertendo os valores de tempo de uso para anos<br>tempo_uso = tempo_uso_dias / 365<br><br># ==================================================== Condições de trabalho<br># Definindo as proporções de cada tipo de solo<br>proporcoes = {<br>    &#39;Orgânico&#39;: 0.3,    # 30%<br>    &#39;Argiloso&#39;: 0.25,   # 25%<br>    &#39;Humífero&#39;: 0.2,    # 20%<br>    &#39;Pedregoso&#39;: 0.15,  # 15%<br>    &#39;Arenoso&#39;: 0.1      # 10%<br>}<br><br># Gerando os tipos de solo com base nas proporções<br>tipos_de_solo = np.random.choice(list(proporcoes.keys()), size=8000, p=list(proporcoes.values()))<br><br># Verificando a distribuição dos tipos de solo gerados<br>distribuicao = {tipo: np.sum(tipos_de_solo == tipo) for tipo in proporcoes}<br><br><br># ==================================================== Tipos de implemento e suas velocidades médias<br>tipos_implemento = [&#39;Trator&#39;, &#39;Colhedora&#39;, &#39;Plantadora&#39;, &#39;Pulverizador&#39;]<br>velocidades_operacao = {<br>    &#39;Trator&#39;: np.random.uniform(5, 15, total_elementos),<br>    &#39;Colhedora&#39;: np.random.uniform(3, 8, total_elementos),<br>    &#39;Plantadora&#39;: np.random.uniform(3, 6, total_elementos),<br>    &#39;Pulverizador&#39;: np.random.uniform(5, 10, total_elementos)<br>}<br><br># Amostrando os tipos de implemento de acordo com as proporções fornecidas<br>tipo_implemento = np.random.choice(tipos_implemento, size=total_elementos)<br><br># Adicionando as velocidades correspondentes aos tipos de implemento<br>velocidade_operacao = [velocidades_operacao[tipo][i] for i, tipo in enumerate(tipo_implemento)]<br><br><br># ==================================================== Idade do implemento<br>idade_implemento = np.random.randint(1, 10, 8000)<br><br><br># ==================================================== Manutenção<br># Definindo as proporções de cada tipo de manutenção<br>proporcoes_manutencao = {<br>    &#39;Nenhuma&#39;: 0.5,       # 50%<br>    &#39;Corretiva&#39;: 0.45,    # 45%<br>    &#39;Preventiva&#39;: 0.05    # 5%<br>}<br><br># Gerando os tipos de manutenção com base nas proporções<br>manutencao = np.random.choice(list(proporcoes_manutencao.keys()), size=total_elementos, p=list(proporcoes_manutencao.values()))<br><br># Verificando a distribuição dos tipos de manutenção gerados<br>distribuicao_manutencao = {tipo: np.sum(manutencao == tipo) for tipo in proporcoes_manutencao}<br><br># ==================================================== Tipo de cultura<br># Definindo as proporções de cada tipo de cultura<br>proporcoes_cultura = {<br>    &#39;Cana de Açúcar&#39;: 0.35,  # 35%<br>    &#39;Trigo&#39;: 0.30,            # 30%<br>    &#39;Milho&#39;: 0.15,            # 15%<br>    &#39;Soja&#39;: 0.20              # 20%<br>}<br><br># Gerando os tipos de cultura com base nas proporções<br>cultura = np.random.choice(list(proporcoes_cultura.keys()), size=total_elementos, p=list(proporcoes_cultura.values()))<br><br># ==================================================== Modelo do implemento<br>marca_implemento = np.random.choice([&#39;Marca_A&#39;, &#39;Marca_B&#39;, &#39;Marca_C&#39;, &#39;Marca_D&#39;, &#39;Marca_E&#39;, &#39;Marca_F&#39;], size=total_elementos, p=[0.4, 0.2, 0.15, 0.1, 0.08, 0.07])<br><br># ==================================================== Temperatura de trabalho<br>faixas_temperatura = {<br>    &#39;Trator&#39;: (0, 40),        # Temperaturas entre 0°C e 40°C<br>    &#39;Colhedora&#39;: (0, 35),     # Temperaturas entre 0°C e 35°C<br>    &#39;Plantadora&#39;: (0, 30),    # Temperaturas entre 0°C e 30°C<br>    &#39;Pulverizador&#39;: (0, 35)   # Temperaturas entre 0°C e 35°C<br>}<br><br># Gerando as temperaturas de trabalho de acordo com as faixas definidas<br>temperatura_trabalho = np.array([np.random.randint(min_temp, max_temp + 1) for tipo in tipo_implemento for min_temp, max_temp in [faixas_temperatura[tipo]]])<br><br><br># ==================================================== Água aplicada - com alguns valores nulos<br>agua_aplicada = np.random.randint(0, 100, total_elementos).astype(float)  # Convertendo para float<br>indices_nan_agua = np.random.choice(total_elementos, 50)<br>agua_aplicada[indices_nan_agua] = np.nan<br><br># ==================================================== Umidade - com alguns outliers e valores nulos<br>umidade = np.random.randint(0, 100, total_elementos).astype(float)  # Convertendo para float<br>indices_nan_umidade = np.random.choice(total_elementos, 50)<br>umidade[indices_nan_umidade] = np.nan<br>umidade[np.random.choice(total_elementos, 100)] = np.random.randint(100, 150, 100)<br><br># ==================================================== Fertilizante - com alguns valores nulos<br>fertilizante = np.random.choice([&#39;Fertilizante_A&#39;, &#39;Fertilizante_B&#39;], size=total_elementos)<br>indices_nan_fertilizante = np.random.choice(total_elementos, 20)<br>fertilizante[indices_nan_fertilizante] = np.nan<br><br># ==================================================== Localidade<br>localidade = np.random.choice([&#39;São Paulo&#39;, &#39;Rio de Janeiro&#39;, &#39;Minas Gerais&#39;, &#39;Bahia&#39;, &#39;Paraná&#39;, &#39;Rio Grande do Sul&#39;, &#39;Pernambuco&#39;, &#39;Ceará&#39;, &#39;Pará&#39;, &#39;Santa Catarina&#39;], size=total_elementos)<br><br># ==================================================== Tipo de acionamento<br>tipo_acionamento = np.random.choice([&#39;cardan&#39;, &#39;hidráulico&#39;], size=total_elementos, p=[0.85, 0.15])<br><br># ==================================================== Falha<br># Definindo as proporções de falhas para cada tipo de acionamento<br>proporcao_falha_cardan = 0.9  # 90% das falhas atribuídas ao tipo &#39;cardan&#39;<br>proporcao_falha_hidraulico = 1 - proporcao_falha_cardan<br><br># Criando o array de falhas com base nas proporções ajustadas<br>falha = np.random.choice([0, 1], size=total_elementos, p=[proporcao_falha_hidraulico, proporcao_falha_cardan])</pre><p>Criando o DataFrame para inciar as análises</p><pre>import pandas as pd<br>import numpy as np<br><br># Definindo a data inicial<br>data_inicial = &#39;2000-01-01&#39;<br><br># Criando o intervalo de datas<br>intervalo_datas = pd.date_range(start=data_inicial, periods=8000)<br><br># Recriando o DataFrame com datas como índice<br>df = pd.DataFrame({<br>    &#39;Tempo_de_uso&#39;: np.random.randint(1, 10, 8000),<br>    &#39;Condições_de_trabalho&#39;: np.random.choice([&#39;Orgânico&#39;, &#39;Argiloso&#39;, &#39;Humífero&#39;, &#39;Pedregoso&#39;, &#39;Arenoso&#39;], size=8000, p=[0.3, 0.25, 0.2, 0.15, 0.1]),<br>    &#39;Manutenção&#39;: np.random.choice([&#39;Nenhuma&#39;, &#39;Corretiva&#39;, &#39;Preventiva&#39;], size=8000, p=[0.5, 0.45, 0.05]),<br>    &#39;Tipo_de_cultura&#39;: np.random.choice([&#39;Cana de Açúcar&#39;, &#39;Trigo&#39;, &#39;Milho&#39;, &#39;Soja&#39;], size=8000, p=[0.35, 0.30, 0.15, 0.20]),<br>    &#39;Velocidade_de_operação&#39;: np.random.uniform(3, 15, 8000),<br>    &#39;Idade_do_implemento&#39;: np.random.randint(1, 10, 8000),<br>    &#39;Marca_do_implemento&#39;: np.random.choice([&#39;Marca_A&#39;, &#39;Marca_B&#39;, &#39;Marca_C&#39;, &#39;Marca_D&#39;, &#39;Marca_E&#39;, &#39;Marca_F&#39;], size=8000, p=[0.4, 0.2, 0.15, 0.1, 0.08, 0.07]),<br>    &#39;Tipo_do_implemento&#39;: np.random.choice([&#39;Trator&#39;, &#39;Colhedora&#39;, &#39;Plantadora&#39;, &#39;Pulverizador&#39;], size=8000),<br>    &#39;Velocidade_de_operacao&#39;: np.random.uniform(3, 15, 8000),<br>    &#39;Temperatura_de_trabalho&#39;: np.random.randint(0, 40, 8000),<br>    &#39;Água_aplicada&#39;: np.random.randint(0, 100, 8000).astype(float),<br>    &#39;Umidade&#39;: np.random.randint(0, 100, 8000).astype(float),<br>    &#39;Fertilizante&#39;: np.random.choice([&#39;Fertilizante_A&#39;, &#39;Fertilizante_B&#39;], size=8000),<br>    &#39;Localidade&#39;: np.random.choice([&#39;São Paulo&#39;, &#39;Rio de Janeiro&#39;, &#39;Minas Gerais&#39;, &#39;Bahia&#39;, &#39;Paraná&#39;, &#39;Rio Grande do Sul&#39;, &#39;Pernambuco&#39;, &#39;Ceará&#39;, &#39;Pará&#39;, &#39;Santa Catarina&#39;], size=8000),<br>    &#39;Tipo_de_acionamento&#39;: np.random.choice([&#39;cardan&#39;, &#39;hidráulico&#39;], size=8000, p=[0.85, 0.15]),<br>    &#39;Falha&#39;: np.random.choice([0, 1], size=8000, p=[0.1, 0.9])<br>}, index=intervalo_datas)<br>df</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3uGZspU8v3aAtak8YEY0gg.png" /></figure><h3><strong>Análise Exploratória</strong></h3><p>Faremos uma breve análise exploratória para identificar tendências e características importantes para construção dos nossos modelos.</p><pre># Tipos das variáveis<br>df.info()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/298/1*FXLo4cn6nn0GKImEd_rofw.png" /></figure><pre># Estatísticas descritivas <br>df.describe()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/810/1*jQeaFjZgQoVwHXj6o4OwRQ.png" /></figure><p>O que encontramos nessas estatísticas:</p><ol><li><strong>Tempo de Uso (Tempo_de_uso)</strong>:</li></ol><ul><li>A média de tempo de uso dos implementos agrícolas é de aproximadamente 4,95 anos, com um desvio padrão de 2,59 anos.</li><li>O tempo de uso varia de 1 a 9 anos, com 25% dos implementos sendo utilizados por até 3 anos e 75% por até 7 anos.</li></ul><p>2. V<strong>elocidade de Operação (Velocidade_de_operação e Velocidade_de_operacao)</strong>:</p><ul><li>A média da velocidade de operação é de aproximadamente 9 km/h, com um desvio padrão de 3,44 km/h.</li><li>A velocidade de operação varia de aproximadamente 3 km/h a quase 15 km/h.</li></ul><p>3. <strong>Idade do Implemento (Idade_do_implemento)</strong>:</p><ul><li>A média da idade dos implementos é de aproximadamente 5 anos, com um desvio padrão de 2,58 anos.</li><li>A idade dos implementos varia de 1 a 9 anos, com 25% dos implementos tendo até 3 anos de idade e 75% até 7 anos.</li></ul><p>4. <strong>Temperatura de Trabalho (Temperatura_de_trabalho)</strong>:</p><ul><li>A média da temperatura de trabalho é de aproximadamente 19,46°C, com um desvio padrão de 11,45°C.</li><li>As temperaturas de trabalho variam de 0°C a 39°C.</li></ul><p>5. <strong>Água Aplicada (Água_aplicada)</strong>:</p><ul><li>A média da quantidade de água aplicada é de aproximadamente 49,68 litros, com um desvio padrão de 28,91 litros.</li><li>A quantidade de água aplicada varia de 0 a 99 litros.</li></ul><p>6. <strong>Umidade (Umidade)</strong>:</p><ul><li>A média da umidade durante as operações agrícolas é de aproximadamente 49,62%, com um desvio padrão de 28,63%.</li><li>A umidade varia de 0% a 99%, com alguns valores nulos e outliers.</li></ul><p>7. <strong>Falha (Falha)</strong>:</p><ul><li>A taxa de ocorrência de falha é de aproximadamente 90,0%, indicando que a maioria dos implementos apresentou falhas durante o período analisado.</li></ul><h4><strong>Plotando variáveis</strong></h4><p>Hora de visualizarmos as estatísticas, a começar pelas proporções de algumas variáveis</p><pre># Lista de variáveis categóricas que você deseja plotar<br>variaveis_categoricas = [&#39;Condições_de_trabalho&#39;, &#39;Manutenção&#39;, &#39;Tipo_de_cultura&#39;,<br>                         &#39;Marca_do_implemento&#39;, &#39;Tipo_do_implemento&#39;,<br>                         &#39;Fertilizante&#39;, &#39;Localidade&#39;, &#39;Tipo_de_acionamento&#39;]<br><br># Criando uma paleta de cores adequada para pessoas com deficiência visual<br>cores_deficiencia_visual = sns.color_palette(&quot;colorblind&quot;, len(variaveis_categoricas))<br><br># Configuração dos subplots<br>num_rows = 4<br>num_cols = 2<br>fig, axes = plt.subplots(num_rows, num_cols, figsize=(15, 20))<br>plt.subplots_adjust(wspace=0.4, hspace=0.4)  # Ajusta o espaço entre os subplots<br><br># Plotagem das variáveis categóricas com cores diferentes<br>for i, coluna in enumerate(variaveis_categoricas):<br>    row = i // num_cols<br>    col = i % num_cols<br>    ax = axes[row, col]<br>    sns.countplot(data=df, x=coluna, palette=cores_deficiencia_visual, ax=ax)<br>    ax.set_title(f&#39;Contagem de {coluna}&#39;)<br>    ax.set_xlabel(coluna)<br>    ax.set_ylabel(&#39;Contagem&#39;)<br>    ax.tick_params(axis=&#39;x&#39;, rotation=45)  # Rotaciona os rótulos do eixo x para melhor visualização<br><br># Adicionando anotação com o autor<br>plt.annotate(&quot;Autor: Jonatas Anderson Liberato&quot;, xy=(0.8, -0.3), xycoords=&quot;axes fraction&quot;, ha=&quot;center&quot;, va=&quot;center&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/607/1*1qPiYdIi-EcEjt1eOYys1Q.png" /></figure><h4><strong>Plotando variáveis numéricas</strong></h4><p>Construímos histogramas para visualizarmos as distribuições de frequências das variáveis</p><pre># Selecionando apenas as variáveis numéricas<br>variaveis_numericas = df.select_dtypes(include=[&#39;int32&#39;, &#39;float64&#39;]).columns.tolist()<br><br># Criando uma paleta de cores adequada para pessoas com deficiência visual<br>cores_deficiencia_visual = sns.color_palette(&quot;colorblind&quot;, len(variaveis_numericas))<br><br># Configurando os subplots<br>num_vars = len(variaveis_numericas)<br>num_cols = 3<br>num_rows = -(-num_vars // num_cols)  # Arredondamento para cima da divisão<br><br>fig, axes = plt.subplots(num_rows, num_cols, figsize=(15, 5*num_rows))<br>plt.subplots_adjust(wspace=0.5, hspace=0.5)  # Ajusta o espaço entre os subplots<br><br># Plotando histogramas para cada variável numérica<br>for i, (variavel, cor) in enumerate(zip(variaveis_numericas, cores_deficiencia_visual), start=1):<br>    row = (i - 1) // num_cols<br>    col = (i - 1) % num_cols<br>    ax = axes[row, col]<br>    sns.histplot(df[variavel], kde=True, color=cor, ax=ax)<br>    ax.set_title(variavel.replace(&#39;_&#39;, &#39; &#39;).title())<br>    ax.set_xlabel(&#39;&#39;)<br>    ax.set_ylabel(&#39;&#39;)<br><br># Removendo subplots vazios, se houver<br>for i in range(num_vars, num_rows*num_cols):<br>    fig.delaxes(axes.flatten()[i])<br><br>plt.tight_layout()<br>plt.annotate(&quot;Autor: Jonatas Anderson Liberato&quot;, xy=(3.1, -0.1), xycoords=&quot;axes fraction&quot;, ha=&quot;center&quot;, va=&quot;center&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/615/1*n81Z2Iwn5p7F9dLk8fszZw.png" /><figcaption>Nota-se que as variáveis estão bem balanceadas, mas como eu disse, o objetivo é mostrar que é possível realizar grandes coisas com os dados do agro.</figcaption></figure><h4><strong>Falhas x Não Falhas</strong></h4><p>Facilitando a visualização das quantidades de registros com:</p><ul><li>0: representando que não houve falha</li><li>1: houve falha</li></ul><pre># Dicionário de cores para pessoas com deficiência visual<br>cores_acess = [&#39;skyblue&#39;, &#39;salmon&#39;, &#39;lightgreen&#39;, &#39;gold&#39;, &#39;plum&#39;, &#39;lightcoral&#39;]<br><br># Contando as ocorrências de cada valor na coluna &#39;Falha&#39;<br>falha_counts = df[&#39;Falha&#39;].value_counts()<br><br># Plotando o gráfico de barras com cores distintas<br>plt.figure(figsize=(10, 6))<br>falha_counts.plot(kind=&#39;bar&#39;, color=cores_acess) <br>plt.title(&#39;Número de Falhas por Valor&#39;)<br>plt.xlabel(&#39;Falha&#39;)<br>plt.ylabel(&#39;Contagem&#39;)<br>plt.xticks([0, 1], [&#39;Falha&#39;, &#39;Sem Falha&#39;], rotation=0) <br>plt.annotate(&quot;Autor: Jonatas Anderson Liberato&quot;, xy=(0.9, -0.2), xycoords=&quot;axes fraction&quot;, ha=&quot;center&quot;, va=&quot;center&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/618/1*D4GOQ6tj-vLRLM2BvuPDXg.png" /></figure><h4><strong>Marcas de implementos com mais falhas:</strong></h4><pre># Calculando o número total de falhas por marca de implemento<br>falhas_por_marca = df.groupby(&#39;Marca_do_implemento&#39;)[&#39;Falha&#39;].sum()<br><br># Encontrando a marca com mais falhas<br>marca_mais_falhas = falhas_por_marca.idxmax()<br>total_falhas_marca_mais_falhas = falhas_por_marca.max()<br><br># Imprimindo os resultados<br>print(f&quot;A marca de implemento com mais falhas é a &#39;{marca_mais_falhas}&#39;, com um total de {total_falhas_marca_mais_falhas} falhas.&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/532/1*AAOvkoPldoiCzHVmEweJdg.png" /></figure><pre># Calculando o número total de falhas por modelo de implemento<br>falhas_por_modelo = df.groupby(&#39;Marca_do_implemento&#39;)[&#39;Falha&#39;].sum()<br><br># Plotando o gráfico de barras<br>plt.figure(figsize=(10, 6))<br>falhas_por_modelo.plot(kind=&#39;bar&#39;, color=cores_acess)<br>plt.title(&#39;Número de Falhas por Marca do Implemento&#39;)<br>plt.xlabel(&#39;Marca do Implemento&#39;)<br>plt.ylabel(&#39;Número de Falhas&#39;)<br>plt.xticks(rotation=45, ha=&#39;right&#39;)<br>plt.grid(axis=&#39;y&#39;, linestyle=&#39;--&#39;, alpha=0.7)<br>plt.tight_layout()<br>plt.annotate(&quot;Autor: Jonatas Anderson Liberato&quot;, xy=(0.9, -0.2), xycoords=&quot;axes fraction&quot;, ha=&quot;center&quot;, va=&quot;center&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/1*vEqCBJCiqPX-M-PlE__MvQ.png" /></figure><p>Identificar marcas que apresentam mais falhas é crucial para garantir a qualidade, segurança e satisfação do cliente, além de ajudar a evitar custos desnecessários de manutenção e reparo.</p><h4>T<strong>ipo de solo com mais falhas</strong></h4><pre># Calculando o número total de falhas por tipo de solo<br>falhas_por_solo = df.groupby(&#39;Condições_de_trabalho&#39;)[&#39;Falha&#39;].sum()<br><br># Encontrando o tipo de solo com mais falhas<br>solo_mais_falhas = falhas_por_solo.idxmax()<br>total_falhas_solo_mais_falhas = falhas_por_solo.max()<br><br># Imprimindo os resultados<br>print(f&quot;O tipo de solo que resultou em mais falhas nos implementos agrícolas foi &#39;{solo_mais_falhas}&#39;, com um total de {total_falhas_solo_mais_falhas} falhas.&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/734/1*ZhQr_na0_a7L_M3S3pynXQ.png" /></figure><pre># Calculando o número total de falhas por tipo de solo<br>falhas_por_solo = df.groupby(&#39;Condições_de_trabalho&#39;)[&#39;Falha&#39;].sum()<br><br># Plotando o gráfico de barras<br>plt.figure(figsize=(10, 6))<br>falhas_por_solo.plot(kind=&#39;bar&#39;, color=cores_acess)<br>plt.title(&#39;Número de Falhas por Tipo de Solo&#39;)<br>plt.xlabel(&#39;Tipo de Solo&#39;)<br>plt.ylabel(&#39;Número de Falhas&#39;)<br>plt.xticks(rotation=45, ha=&#39;right&#39;)<br>plt.grid(axis=&#39;y&#39;, linestyle=&#39;--&#39;, alpha=0.7)<br>plt.tight_layout()<br>plt.annotate(&quot;Autor: Jonatas Anderson Liberato&quot;, xy=(0.9, -0.2), xycoords=&quot;axes fraction&quot;, ha=&quot;center&quot;, va=&quot;center&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/704/1*381Mdvq26qyKGBKW3-VROA.png" /></figure><h4><strong>Tipo de acionamento com mais falhas</strong></h4><p>Como já citamos, houve um viés intencional na elaboração do DataFrame, pois em pesquisas identificamos que são os acionamentos com mais problemas.</p><pre>import pandas as pd<br><br># Calculando o número total de falhas por tipo de acionamento<br>falhas_por_acionamento = df.groupby(&#39;Tipo_de_acionamento&#39;)[&#39;Falha&#39;].sum()<br><br># Encontrando o tipo de acionamento com mais falhas<br>acionamento_mais_falhas = falhas_por_acionamento.idxmax()<br>total_falhas_acionamento_mais_falhas = falhas_por_acionamento.max()<br><br># Calculando o viés para o tipo de acionamento &quot;cardan&quot;<br>total_falhas_cardan = falhas_por_acionamento[&#39;cardan&#39;]<br>total_falhas_hidraulico = falhas_por_acionamento[&#39;hidráulico&#39;]<br>viés_cardan = total_falhas_cardan / (total_falhas_cardan + total_falhas_hidraulico)<br><br># Imprimindo os resultados<br>print(f&quot;O tipo de acionamento que apresenta mais falhas nos implementos agrícolas é &#39;{acionamento_mais_falhas}&#39;, com um total de {total_falhas_acionamento_mais_falhas} falhas.&quot;)<br>print(f&quot;Viés para o tipo de acionamento &#39;cardan&#39;: {viés_cardan:.2%}&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/745/1*2_lZmD6Kl4vWWKmpWWv5UQ.png" /></figure><pre># Calculando o número total de falhas por tipo de acionamento<br>falhas_por_acionamento = df.groupby(&#39;Tipo_de_acionamento&#39;)[&#39;Falha&#39;].sum()<br><br># Plotando o gráfico de pizza com uma paleta de cores para deficientes visuais<br>plt.figure(figsize=(8, 8))<br>plt.pie(falhas_por_acionamento, labels=falhas_por_acionamento.index, autopct=&#39;%1.1f%%&#39;, startangle=140, colors= cores_acess)<br>plt.title(&#39;Proporção de Falhas por Tipo de Acionamento&#39;)<br>plt.axis(&#39;equal&#39;)  # Assegura que o gráfico seja desenhado como um círculo<br>plt.tight_layout()<br>plt.annotate(&quot;Autor: Jonatas Anderson Liberato&quot;, xy=(0.9, -0.1), xycoords=&quot;axes fraction&quot;, ha=&quot;center&quot;, va=&quot;center&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/571/1*HaLCg9C45uXvKiyBexr89Q.png" /></figure><h4><strong>Falhas por Temperaturas</strong></h4><p>A temperatura pode afetar o funcionamento do implemento de várias maneiras. Primeiro, temperaturas extremas podem causar danos aos componentes do implemento, especialmente se não forem projetados para lidar com variações de temperatura. Por exemplo, baixas temperaturas podem levar à contração de materiais, causando rachaduras ou falhas mecânicas, enquanto altas temperaturas podem levar ao superaquecimento de motores ou sistemas de refrigeração insuficientes.</p><p>Além disso, a temperatura ambiente pode afetar a viscosidade de fluidos, como óleo lubrificante e fluido hidráulico, afetando o desempenho e a eficiência do implemento.</p><p>Em resumo, uma temperatura adequada é crucial para garantir o funcionamento eficiente e confiável do implemento, enquanto temperaturas extremas podem causar danos e reduzir a vida útil do equipamento.</p><pre># Calculando a temperatura mais recorrente para as falhas<br>temperatura_falhas = df[df[&#39;Falha&#39;] == 1][&#39;Temperatura_de_trabalho&#39;].mode()<br><br># Imprimindo o resultado<br>if len(temperatura_falhas) &gt; 0:<br>    print(f&quot;A temperatura mais recorrente para falhas nos implementos agrícolas é de{temperatura_falhas.iloc[0]}ºC.&quot;)<br>else:<br>    print(&quot;Não há dados disponíveis sobre a temperatura para as falhas.&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*GaSAh_Y_T4TiLitEILvJaA.png" /></figure><pre># Filtrando as falhas e removendo valores nulos<br>temperaturas_falhas = df[df[&#39;Falha&#39;] == 1][&#39;Temperatura_de_trabalho&#39;].dropna()<br><br># Plotando o histograma com uma cor para deficientes visuais<br>plt.figure(figsize=(10, 6))<br>plt.hist(temperaturas_falhas, bins=20, color=&#39;#ff7f0e&#39;, edgecolor=&#39;black&#39;)<br>plt.title(&#39;Distribuição das Temperaturas para Falhas&#39;)<br>plt.xlabel(&#39;Temperatura&#39;)<br>plt.ylabel(&#39;Frequência&#39;)<br>plt.grid(axis=&#39;y&#39;, linestyle=&#39;--&#39;, alpha=0.7)<br>plt.tight_layout()<br>plt.annotate(&quot;Autor: Jonatas Anderson Liberato&quot;, xy=(0.9, -0.2), xycoords=&quot;axes fraction&quot;, ha=&quot;center&quot;, va=&quot;center&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/699/1*pxoNvhjgjB1YohERFEbBWg.png" /><figcaption>Aqui o objetivo é visualizar proporcionalmente quais as temperaturas registradas em caso de falhas.</figcaption></figure><h4><strong>Idade em que a maioria dos implementos agrícolas apresentou falhas</strong></h4><pre># Calculando a idade em que a maioria dos implementos agrícolas apresentou falhas<br>idade_falhas = df[df[&#39;Falha&#39;] == 1][&#39;Idade_do_implemento&#39;].mode()<br><br># Imprimindo o resultado<br>if len(idade_falhas) &gt; 0:<br>    print(f&quot;A idade em que a maioria dos implementos agrícolas apresentou falhas é {idade_falhas.iloc[0]}.&quot;)<br>else:<br>    print(&quot;Não há dados disponíveis sobre a idade para as falhas.&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/478/1*jiIYeXHd-GPRgB4Egctw_g.png" /></figure><pre># Filtrando as falhas e removendo valores nulos<br>idades_falhas = df[df[&#39;Falha&#39;] == 1][&#39;Idade_do_implemento&#39;].dropna()<br><br># Plotando o histograma<br>plt.figure(figsize=(10, 6))<br>plt.hist(idades_falhas, bins=10, color=&#39;lightcoral&#39;, edgecolor=&#39;black&#39;)<br>plt.title(&#39;Distribuição das Idades para Falhas&#39;)<br>plt.xlabel(&#39;Idade do Implemento&#39;)<br>plt.ylabel(&#39;Frequência&#39;)<br>plt.grid(axis=&#39;y&#39;, linestyle=&#39;--&#39;, alpha=0.7)<br>plt.tight_layout()<br>plt.annotate(&quot;Autor: Jonatas Anderson Liberato&quot;, xy=(0.9, -0.2), xycoords=&quot;axes fraction&quot;, ha=&quot;center&quot;, va=&quot;center&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/699/1*Wb-1qGLoYd3q-LlcNPbMuA.png" /></figure><h4><strong>Estatísticas entre as varáveis em relação à falhas</strong></h4><p>Os boxplots foram usados para visualizar a distribuição das variáveis numéricas em relação à ocorrência de falhas ou não falhas nos implementos agrícolas. Eles permitem identificar padrões ou diferenças nas distribuições das variáveis entre implementos que falharam e aqueles que não falharam, oferecendo insights sobre quais variáveis podem estar relacionadas à ocorrência de falhas.</p><pre># Selecionando apenas as variáveis numéricas<br>numeric_variables = [&#39;Tempo_de_uso&#39;, &#39;Velocidade_de_operação&#39;, &#39;Idade_do_implemento&#39;,<br>                     &#39;Velocidade_de_operacao&#39;, &#39;Temperatura_de_trabalho&#39;, &#39;Água_aplicada&#39;,<br>                     &#39;Umidade&#39;]<br><br># Definindo cores para falha (0 = Sem falha) e não falha (1 = Falha)<br>colors = [&#39;#1f77b4&#39;, &#39;#ff7f0e&#39;]<br><br># Plotando boxplots para cada variável numérica separada por falha e não falha<br>plt.figure(figsize=(15, 10))<br>for i, variable in enumerate(numeric_variables, start=1):<br>    plt.subplot(3, 3, i)<br>    sns.boxplot(x=&#39;Falha&#39;, y=variable, data=df, palette=cores_acess)<br>    plt.title(f&#39;Boxplot de {variable} por Falha&#39;)<br>    plt.xlabel(&#39;Falha (0 = Sem falha, 1 = Falha)&#39;)<br>    plt.ylabel(variable)<br>plt.tight_layout()<br>plt.annotate(&quot;Autor: Jonatas Anderson Liberato&quot;, xy=(3.1, -0.1), xycoords=&quot;axes fraction&quot;, ha=&quot;center&quot;, va=&quot;center&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/863/1*UrfWmpapNoQERbrRt3n_Kg.png" /></figure><p>Estatisticamente as variáveis são bem similares e isso mostra a necessidade de um ajuste muito bem planejado dos modelos e seus parâmetros.</p><h4><strong>Densidades das variáveis por falha e não falha</strong></h4><p>Esse plot foi usado para comparar as distribuições de densidade das variáveis numéricas entre implementos que falharam e aqueles que não falharam. Ele permite visualizar como as distribuições das variáveis se diferenciam entre os dois grupos, destacando padrões ou diferenças significativas que podem estar associadas à ocorrência de falhas nos implementos agrícolas.</p><pre>plt.figure(figsize=(12, 8))<br>for i, col in enumerate(numeric_variables):<br>    plt.subplot(3, 3, i+1)<br>    sns.kdeplot(data=df[df[&#39;Falha&#39;] == 1][col], color=cores_acess[1], label=&#39;Falha&#39;, shade=True)<br>    sns.kdeplot(data=df[df[&#39;Falha&#39;] == 0][col], color=cores_acess[3], label=&#39;Não Falha&#39;, shade=True)<br>    plt.title(col)<br>    plt.xlabel(col)<br>    plt.ylabel(&#39;Densidade&#39;)<br>    plt.legend()<br>plt.tight_layout()<br>plt.annotate(&quot;Autor: Jonatas Anderson Liberato&quot;, xy=(3.1, -0.1), xycoords=&quot;axes fraction&quot;, ha=&quot;center&quot;, va=&quot;center&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/826/1*eMu23tmjOU3En6cq64BHDA.png" /></figure><h4><strong>Estados onde ocorreram mais falhas</strong></h4><pre># Calculando o número total de falhas por tipo de solo<br>falhas_por_localidades = df.groupby(&#39;Localidade&#39;)[&#39;Falha&#39;].sum()<br><br># Plotando o gráfico de barras<br>plt.figure(figsize=(10, 6))<br>falhas_por_localidades.plot(kind=&#39;bar&#39;, color=cores_acess)<br>plt.title(&#39;Número de Falhas por Estados&#39;)<br>plt.xlabel(&#39;Estado&#39;)<br>plt.ylabel(&#39;Número de Falhas&#39;)<br>plt.xticks(rotation=45, ha=&#39;right&#39;)<br>plt.grid(axis=&#39;y&#39;, linestyle=&#39;--&#39;, alpha=0.7)<br>plt.tight_layout()<br>plt.annotate(&quot;Autor: Jonatas Anderson Liberato&quot;, xy=(0.9, -0.2), xycoords=&quot;axes fraction&quot;, ha=&quot;center&quot;, va=&quot;center&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/698/1*K12RDU752QqGsUQfJz0rRQ.png" /></figure><h4><strong>Engenharia de Atributos</strong></h4><p>Realizamos uma engenharia de recursos para converter dados categóricos em formatos numéricos adequados para análises de dados e modelagem de machine learning. A função `converter_categoricas` utiliza o `LabelEncoder` para transformar colunas categóricas de um DataFrame em valores numéricos. Isso facilita a integração de dados categóricos em algoritmos de machine learning, permitindo análises mais eficientes e previsões mais precisas.</p><p><strong>Análise de sazonalidade</strong></p><p>Esse plot mostra a tendência temporal das falhas ao longo do tempo, agrupadas por mês. Ele permite visualizar como o número de falhas varia ao longo do período de tempo analisado, oferecendo insights sobre possíveis padrões sazonais ou tendências de longo prazo. Isso pode ajudar na identificação de períodos com maior incidência de falhas, facilitando o planejamento de manutenção e ações corretivas.</p><pre># Agrupando as falhas por mês<br>falhas_mensais = df.groupby(pd.Grouper(freq=&#39;M&#39;)).sum()[&#39;Falha&#39;]<br><br># Plotando a série temporal das falhas<br>plt.figure(figsize=(12, 6))<br>sns.lineplot(data=falhas_mensais)<br>plt.title(&#39;Tendência Temporal de Falhas&#39;)<br>plt.xlabel(&#39;Data&#39;)<br>plt.ylabel(&#39;Número de Falhas&#39;)<br>plt.grid(True)<br>plt.annotate(&quot;Autor: Jonatas Anderson Liberato&quot;, xy=(0.9, -0.1), xycoords=&quot;axes fraction&quot;, ha=&quot;center&quot;, va=&quot;center&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/701/1*KwtOyMhEA579IsL37HOXMw.png" /></figure><pre># Importando a biblioteca de cores para pessoas com deficiência visual<br>from matplotlib import cm<br><br># Agrupando as falhas por mês<br>falhas_mensais = df.groupby(pd.Grouper(freq=&#39;M&#39;)).sum()[&#39;Falha&#39;]<br><br># Agrupando o número de acionamentos &#39;cardan&#39; por mês<br>acionamento_cardan_mensal = df[df[&#39;Tipo_de_acionamento&#39;] == &#39;cardan&#39;].groupby(pd.Grouper(freq=&#39;M&#39;)).size()<br><br># Escolhendo cores adequadas para pessoas com deficiência visual<br>cores = [cm.get_cmap(&#39;tab10&#39;)(0), cm.get_cmap(&#39;tab10&#39;)(1)]<br><br># Plotando a série temporal das falhas e acionamento &#39;cardan&#39;<br>plt.figure(figsize=(22, 6))<br>sns.lineplot(data=falhas_mensais, label=&#39;Falhas&#39;, color= &#39;black&#39;)<br>sns.lineplot(data=acionamento_cardan_mensal, label=&#39;Acionamento Cardan&#39;, color=cores[1])<br>plt.title(&#39;Tendência Temporal de Falhas e Acionamento Cardan&#39;)<br>plt.xlabel(&#39;Data&#39;)<br>plt.ylabel(&#39;Número&#39;)<br>plt.legend()<br>plt.grid(True)<br>plt.annotate(&quot;Autor: Jonatas Anderson Liberato&quot;, xy=(0.9, -0.1), xycoords=&quot;axes fraction&quot;, ha=&quot;center&quot;, va=&quot;center&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6FyGVl-zh6tVP1staxieyg.png" /></figure><p>Esse plot mostra a tendência temporal das falhas e do acionamento do tipo “cardan” ao longo do tempo, agrupadas por mês. Ele permite visualizar como o número de falhas e o número de acionamentos do tipo “cardan” variam ao longo do período de tempo analisado. Nota-se que a linha do ‘Cardan’ seguiu a tendência de falha muito proximamente.</p><h4><strong>Correlações</strong></h4><p>Utilizamos o heatmap, que é uma ferramenta visual poderosa na análise de dados, especialmente em conjuntos de dados grandes e complexos. Ele permite identificar padrões, correlações e tendências nos dados de forma rápida e intuitiva, destacando visualmente as relações entre variáveis.</p><pre>from sklearn.preprocessing import LabelEncoder<br>import seaborn as sns<br>import matplotlib.pyplot as plt<br><br>def converter_categoricas(dados):<br>    for column in dados.columns:<br>        if dados[column].dtype == &#39;object&#39;:<br>            label_encoder = LabelEncoder()<br>            dados[column] = label_encoder.fit_transform(dados[column])<br>    <br>    return dados<br><br># Convertendo colunas categóricas em numéricas<br>df = converter_categoricas(df)<br><br># Construindo a matriz de correlação<br>correlation_matrix = df.corr()<br><br># Plotando o heatmap com a paleta de cores &quot;viridis&quot;<br>plt.figure(figsize=(12, 8))<br>sns.heatmap(correlation_matrix, annot=True, cmap=&#39;viridis&#39;, fmt=&quot;.2f&quot;, linewidths=.5)<br>plt.title(&#39;Matriz de Correlação&#39;)<br>plt.annotate(&quot;Autor: Jonatas Anderson Liberato&quot;, xy=(0.9, -0.4), xycoords=&quot;axes fraction&quot;, ha=&quot;center&quot;, va=&quot;center&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/604/1*JL9AFoqsglOPzFb5ZEl7nA.png" /></figure><h4><strong>PRÉ-PROCESSAMENTO</strong></h4><p><strong>Importância de cada variável</strong></p><p>Aqui executamos um pré-processamento dos dados, treinamos e avaliamos dois modelos de classificação: Regressão Logística e Random Forest Classifier, utilizando técnicas como codificação one-hot para variáveis categóricas e avaliação de importância das features para o modelo Random Forest.</p><pre># Importando bibliotecas necessárias<br>from sklearn.preprocessing import OneHotEncoder<br>from sklearn.model_selection import train_test_split<br>from sklearn.linear_model import LogisticRegression<br>from sklearn.ensemble import RandomForestClassifier<br>from sklearn.compose import ColumnTransformer<br>from sklearn.metrics import accuracy_score<br>import pandas as pd<br><br># Lista de variáveis categóricas<br>variaveis_categoricas = [&#39;Condições_de_trabalho&#39;, &#39;Manutenção&#39;, &#39;Tipo_de_cultura&#39;,<br>                         &#39;Marca_do_implemento&#39;, &#39;Tipo_do_implemento&#39;,<br>                         &#39;Fertilizante&#39;, &#39;Localidade&#39;, &#39;Tipo_de_acionamento&#39;]<br><br># Criar o transformador para aplicar a codificação one-hot<br>ct = ColumnTransformer(<br>    [(&#39;onehot&#39;, OneHotEncoder(), variaveis_categoricas)],<br>    remainder=&#39;passthrough&#39;<br>)<br><br># Aplicar a transformação<br>X_encoded = ct.fit_transform(df)<br><br># Redefinir os nomes das colunas após a transformação<br>encoded_columns = ct.get_feature_names_out()<br>X_encoded = pd.DataFrame(X_encoded, columns=encoded_columns)<br><br># Separar o target das features<br>y = df[&#39;Falha&#39;]<br>X = X_encoded<br><br># Inicializar o modelo RandomForestClassifier<br>model_rf = RandomForestClassifier(n_estimators=100, random_state=42)<br><br># Treinar o modelo<br>model_rf.fit(X, y)<br><br># Obter a importância das features<br>importancias_features = model_rf.feature_importances_<br><br># Criar um DataFrame com as importâncias das features<br>importancias_df = pd.DataFrame(importancias_features, index=X.columns, columns=[&#39;Importância&#39;])<br>importancias_df = importancias_df.sort_values(by=&#39;Importância&#39;, ascending=False)<br><br># Visualizar as importâncias das features<br>print(importancias_df)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/433/1*BAgMY3lqh0LkCqSMykFOuQ.png" /></figure><p>Essa análise é útil para entender quais características estão contribuindo mais para o modelo, o que pode orientar em decisões sobre quais características manter, descartar ou investigar mais a fundo.</p><h4><strong>Separando as variáveis independentes(X) e a variável dependente (Y)</strong></h4><p>Aqui separamos as variáveis independentes (X) e a dependente, ou alvo (y), e o modelo realiza uma tarefa de classificação usando Regressão Logística. Depois da divisão, ele divide-os em conjuntos de treinamento e teste, treina um modelo de Regressão Logística com os dados de treinamento e avalia sua acurácia com os dados de teste.</p><pre># Separando os dados em features (X) e target (y)<br>X = df.drop(&#39;Falha&#39;, axis=1)<br>y = df[&#39;Falha&#39;]<br><br># Dividindo os dados em conjuntos de treinamento e teste<br>X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br><br># Modelo de Regressão Logística<br>log_reg_model = LogisticRegression()<br>log_reg_model.fit(X_train, y_train)<br>log_reg_pred = log_reg_model.predict(X_test)<br>log_reg_accuracy = accuracy_score(y_test, log_reg_pred)<br>print(&quot;Acurácia da Regressão Logística:&quot;, log_reg_accuracy)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/246/1*mpaWTqYztf4LFZ7A5Vtdcw.png" /></figure><p>Já aqui, utiliamos um modelo de classificação Random Forest Classifier, que é um algoritmo de aprendizado de máquina usado principalmente para tarefas de classificação e regressão. Ele cria múltiplas árvores de decisão durante o treinamento e combina suas previsões para obter uma previsão mais robusta e precisa. Isso o torna eficaz em uma variedade de problemas de modelagem preditiva.</p><pre># Modelo de Random Forest Classifier<br>rf_model = RandomForestClassifier()<br>rf_model.fit(X_train, y_train)<br>rf_pred = rf_model.predict(X_test)<br>rf_accuracy = accuracy_score(y_test, rf_pred)<br>print(&quot;Acurácia do Random Forest Classifier:&quot;, rf_accuracy)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/278/1*UvLXxi4qimmdxZaXyzcsmA.png" /></figure><h3><strong>FIM</strong></h3><p>Por fim, os modelos apresentaram uma acurácia de aproximadamente 90%, ou seja, <strong>preveram aproximadamente 90% de falhas</strong> e o que pode parecer excelente pode ficar ainda melhor com a parametrização dos modelos, um trabalho muito mais aprofundado e interessante para uma próxima vez.</p><p>Fica o meu agradecimento e em caso de dúvidas, estou à disposição!</p><p>Valeu!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=0d33b87cef8a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[PRATICANDO ECONOMETRIA (parte 1)]]></title>
            <link>https://medium.com/@jonatasliberato/usando-a-econometria-4df227cc6b79?source=rss-8d0c66edc75f------2</link>
            <guid isPermaLink="false">https://medium.com/p/4df227cc6b79</guid>
            <category><![CDATA[econometrics]]></category>
            <category><![CDATA[econometria]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <dc:creator><![CDATA[Jonatas Liberato]]></dc:creator>
            <pubDate>Wed, 17 Apr 2024 12:39:41 GMT</pubDate>
            <atom:updated>2024-04-17T12:56:00.211Z</atom:updated>
            <content:encoded><![CDATA[<p>Uso da Econometria e da Ciência de Dados para compreender como a eficiência de produção influencia os custos e a produção das empresas em uma indústria competitiva.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wDH4s7MVgvIBy6DWo5DMWQ.png" /></figure><h3><strong>SOBRE O PROBLEMA</strong></h3><p>O motivo para esta análise é entender como a eficiência de produção influencia os custos e a produção das empresas em uma indústria competitiva. Cada empresa enfrenta diferentes preços para os fatores de produção, como trabalho e matéria-prima. Portanto, elas têm diferentes custos totais, médios e marginais.</p><p>Para focarmos na conexão entre eficiência de produção e produto, assumimos que todas as empresas enfrentam mais ou menos os mesmos preços dos fatores. A única razão pela qual as curvas de custo médio (AC) e custo marginal (MC) diferem entre as empresas é a diferença na eficiência produtiva. Por exemplo, uma empresa pode ser menos eficiente do que outra devido a diferentes tecnologias, habilidades da força de trabalho ou gestão.</p><p>As curvas de custo médio (AC) e custo marginal (MC) têm uma inclinação positiva para refletir retornos decrescentes de escala. Isso significa que, à medida que a produção aumenta, os custos médios e marginais tendem a aumentar também, devido a limitações como capacidade de fábrica, logística ou gerenciamento de pessoal.</p><p>Para ilustrar, imagine duas empresas, A e B. Se a empresa A for menos eficiente que a empresa B, suas curvas de custo médio e marginal estarão à esquerda das da empresa B. Isso significa que, para produzir a mesma quantidade de produto, a empresa A terá custos médios e marginais mais altos do que a empresa B.</p><p>Resumindo, a motivação econômica para essa análise é entender como a eficiência de produção afeta os custos e a produção das empresas em uma indústria competitiva, onde os preços dos fatores de produção são semelhantes para todas as empresas.</p><h3><strong>SOBRE OS DADOS</strong></h3><p>Utilização do Método de Mínimos Quadrados Ordinários (MCO): Retornos à Escala na Indústria Elétrica</p><p>Este estudo tem suas raízes no trabalho pioneiro de Nerlove (1963), que abordou os retornos à escala em uma indústria elétrica sujeita a regulamentação. Nerlove forneceu uma descrição detalhada da indústria elétrica, destacando os seguintes pontos:</p><p>1. Os fornecedores/geradores de eletricidade geralmente operam como monopólios locais privados.</p><p>2. Os preços da eletricidade para os consumidores finais são fixados por uma autoridade reguladora.</p><p>3. Os preços dos fatores de produção são estabelecidos e não podem ser alterados pelas empresas no curto prazo, devido a contratos de longo prazo, como os contratos de trabalho.</p><p>Quanto aos dados, eles abrangem 145 empresas localizadas em 44 estados dos EUA no ano de 1955, representando cerca de 80% da produção total de eletricidade na época.</p><p>Em termos dos métodos de produção de eletricidade, Nerlove identificou três principais:</p><ol><li>Motores de combustão interna</li><li>Hidroelétricas</li><li>Termoelétricas</li></ol><p>Ele observou que, na década de 1950, cerca de 70% da eletricidade era gerada por usinas termoelétricas. O carvão era o principal combustível utilizado, seguido pelo petróleo e gasolina.</p><p>As variáveis consideradas são: custos totais, preços dos fatores de produção (salários, preços de combustíveis, aluguel ou preço do capital) e produto. Embora as empresas sejam proprietárias do capital, no modelo, presume-se que elas se comportem como se estivessem pagando um aluguel pelo capital, então é atribuído um preço ao custo do capital.</p><p>No entanto, para obter mais detalhes, consulte o documento original de Nerlove, onde a construção da base de dados é descrita com maior precisão. Os dados de produção, combustíveis e custos trabalhistas foram obtidos da Federal Power Commission (1956).<br>Base de estudos: <a href="https://econpapers.repec.org/paper/bocbocins/nerlove63.htm"><strong>AQUI</strong></a></p><h4><strong>Bibliotecas</strong></h4><pre>import pyreadstat  # Biblioteca para ler formato .dta<br>import pandas as pd  # Biblioteca para manipulação de dados<br>import matplotlib  # Biblioteca para plotagem<br>import seaborn as sns<br>from matplotlib import pyplot as plt  # Biblioteca para plotagem<br>import statsmodels.api as sm  # Biblioteca para análise estatística<br>from IPython.display import Image  # Para imagens<br>import numpy as np  # Algumas funções matemáticas<br>import statsmodels.api as sm  # Para funções de regressão e outros<br>from statsmodels.formula.api import ols  # Para testes de hipóteses<br>import warnings<br>warnings.filterwarnings(&#39;ignore&#39;)</pre><h4><strong>Dados</strong></h4><pre>df = pd.read_stata(&#39;https://econpapers.repec.org/scripts/redir.pf?u=http%3A%2F%2Ffmwww.bc.edu%2Fec-p%2Fdata%2Fhayashi%2Fnerlove63.dta;h=repec:boc:bocins:nerlove63&#39;)<br>df</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/271/1*Mq516jiVdvcghsVMYfomag.png" /></figure><h4><strong>Análise Exploratória</strong></h4><pre># Tipos de dados<br>df.info()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/214/1*nc9hEtOMxRxOa5n54-uDIg.png" /></figure><pre># Verificando se existem valores nulos<br>df.isnull().sum()<br><br># Verificando se existem valores duplicados<br>df.duplicated().sum()<br><br># Arredondando as estatístias descritivas<br>df.describe().round(2)</pre><p>Sempre é interessante analisarmos como cada variável está distribuída e no caso desse conjunto de dados, temos apenas variáveis numéricas.</p><pre>import plotly.graph_objs as go<br>from plotly.subplots import make_subplots<br><br># Criar um subplot com o número correto de linhas e colunas<br>fig = make_subplots(rows=2, cols=3, subplot_titles=df.columns)<br><br># Lista de cores mais adequadas para pessoas com miopia<br>cores_miopia = [&#39;#1f77b4&#39;, &#39;#ff7f0e&#39;, &#39;#2ca02c&#39;, &#39;#d62728&#39;, &#39;#9467bd&#39;, &#39;#8c564b&#39;]<br><br># Adicionar histogramas para cada coluna do DataFrame<br>for i, col in enumerate(df.columns):<br>    # Calcular o histograma<br>    hist, bins = np.histogram(df[col], bins=20)<br>    # Criar o gráfico de barras<br>    trace = go.Bar(x=bins[:-1], y=hist, name=col, marker_color=cores_miopia[i])<br>    # Adicionar o gráfico ao subplot<br>    fig.add_trace(trace, row=(i // 3) + 1, col=(i % 3) + 1)<br><br># Atualizar o layout<br>fig.update_layout(<br>    height=800,<br>    width=1000,<br>    title=dict(text=&#39;Distribuição dos Dados&#39;, x=0.5, y=0.98, font=dict(size=16)),  # Centralizando o título do gráfico<br>    legend=dict(<br>        orientation=&quot;h&quot;,<br>        yanchor=&quot;top&quot;,  # Ancorar a legenda no topo<br>        y=1.05,  # Ajustando a posição vertical da legenda<br>        xanchor=&quot;right&quot;,<br>        x=1,<br>    ),<br>    annotations=[dict(text=&quot;Autor: Jonatas A. Liberato&quot;, x=0.88, y=-0.1, xref=&quot;paper&quot;, yref=&quot;paper&quot;, showarrow=False)],  # Adicionando a anotação<br>)<br><br># Exibir o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/689/1*1gfcq_Hs-mh1HFq-JJYZeg.png" /></figure><h4><strong>Valores Logarítimicos</strong></h4><p>Para melhor trabalharmos com os valores, faremos uma conversão dos valores em escalas logarítmicas e criaremos uma coluna com o custo médio:</p><pre># Criando novas colunas com valores dos logaritmos<br>df[&#39;l_totcost&#39;] = np.log(df[&#39;totcost&#39;])<br>df[&#39;l_output&#39;] = np.log(df[&#39;output&#39;])<br>df[&#39;l_plabor&#39;] = np.log(df[&#39;plabor&#39;])<br>df[&#39;l_pfuel&#39;] = np.log(df[&#39;pfuel&#39;])<br>df[&#39;l_pkap&#39;] = np.log(df[&#39;pkap&#39;])<br>df[&#39;mediancost&#39;] = df[&#39;totcost&#39;] / df[&#39;output&#39;]</pre><h4><strong>Coluna intercept</strong></h4><p>A coluna <em>intercept </em>com valor constante igual a 1 é adicionada ao DataFrame para representar o termo de interceptação em modelos de regressão linear. Isso permite que a linha de regressão não necessariamente passe pela origem dos eixos, ajustando-a para melhor se adequar aos dados.</p><pre>df[&#39;intercept&#39;] = 1<br>df</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/645/1*WmoNdfggrKXiRttSRkvppg.png" /></figure><pre># Subplot<br>fig = make_subplots(rows=1, cols=1)<br><br># Calcula o histograma<br>hist, bins = np.histogram(df[&#39;totcost&#39;], bins=20)<br><br># Criar o gráfico de barras<br>trace = go.Bar(x=bins[:-1], y=hist, marker_color=cores_miopia[0])<br>fig.add_trace(trace, row=1, col=1)<br>fig.update_layout(<br>    height=600,<br>    width=800,<br>    title=dict(text=&quot;Histograma totcost (em milhões de dólares USD)&quot;, x=0.5, y=0.98, font=dict(size=16)),<br>    xaxis_title=&quot;totcost&quot;,<br>    yaxis_title=&quot;milhões de dólares&quot;,<br>    annotations=[dict(text=&quot;Autor: Jonatas A. Liberato&quot;, x=0.88, y=-0.1, xref=&quot;paper&quot;, yref=&quot;paper&quot;, showarrow=False)],<br>)<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/550/1*CwztbIdTGVyKttfr5XcBDw.png" /></figure><p>Podemos observar que os dados têm uma ampla dispersão, com valores variando de 0.082 milhões de dólares a 139.42 milhões de dólares. A média é de aproximadamente 12.98 milhões de dólares, indicando uma tendência central dos dados. No entanto, a presença de valores extremamente altos contribui para uma distribuição assimétrica à direita, como sugerido pela diferença entre a média e a mediana. Isso implica que uma parte significativa dos dados está concentrada em valores menores, com uma cauda longa em direção aos valores mais altos.</p><pre>plt.figure(figsize=(8,6))<br>df[&#39;totcost&#39;].plot(kind=&#39;kde&#39;)<br>plt.ylabel(&quot;Freq&quot;)<br>plt.xlabel(&quot;totcost milhões USD&quot;)<br>plt.title(&quot;Densidade totcost (em milhões de dólares USD)&quot;, loc=&#39;center&#39;)<br>plt.annotate(&quot;Autor: Jonatas A. Liberato&quot;, xy=(0.9, -0.1), xycoords=&#39;axes fraction&#39;, ha=&#39;center&#39;, fontsize=10)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/507/1*N46PQcAhePp-risUXSa8mQ.png" /></figure><pre># Gráfico de dispersão entre output e mediancost<br>plt.figure(figsize=(8,6))<br>plt.scatter(data=df, x=&#39;output&#39;, y=&#39;mediancost&#39;, s=10, color=&#39;red&#39;)<br>plt.xlabel(&quot;output&quot;)<br>plt.ylabel(&quot;mediancost&quot;)<br>plt.title(&quot;Dispersão entre Output e Mediancost&quot;)<br>plt.annotate(&quot;Autor: Jonatas A. Liberato&quot;, xy=(0.9, -0.1), xycoords=&#39;axes fraction&#39;, ha=&#39;center&#39;, fontsize=10)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/501/1*qxtO_pWhZxwVC3lAZgVhzA.png" /></figure><p><em>O gráfico de dispersão mostra uma tendência positiva entre ‘output’ e ‘mediancost’, indicando que, em geral, quanto maior a produção, maior o custo mediano associado. No entanto, há uma dispersão significativa dos pontos ao redor da linha de tendência, sugerindo que outros fatores podem influenciar os custos medianos. Além disso, alguns pontos podem ser identificados como outliers, destacando observações incomuns que requerem investigação adicional.</em></p><h4><strong>Aplicando Regressão dos Mínimos Quadrados Ordinários</strong></h4><p>A Regressão dos Mínimos Quadrados Ordinários uma técnica estatística que a gente usa para estimar a relação entre uma ou mais variáveis independentes e uma variável dependente.</p><p>O objetivo da regressão OLS é encontrar a linha (ou superfície, em casos de múltiplas variáveis independentes) que melhor se ajusta aos dados, minimizando a soma dos quadrados das diferenças entre os valores observados e os valores previstos pela linha de regressão.</p><p><em>Os códigos abaixo são bastante semelhantes em termos de procedimento, mas diferem principalmente na maneira como adicionam o intercepto à regressão e na nomenclatura da coluna adicionada para representar o intercepto.</em></p><pre># Separando os dados<br>Y = df[&quot;l_totcost&quot;]<br>X = df[[&quot;intercept&quot;,&quot;l_output&quot;, &quot;l_plabor&quot;, &quot;l_pfuel&quot;, &quot;l_pkap&quot;]]<br>est = sm.OLS(Y,X)<br>est2 = est.fit()<br>print(est2.summary())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/431/1*pM5uT6i6Gk9BBhCM4L0r7A.png" /></figure><p><em>A regressão estima o efeito de “l_output”, “l_plabor”, “l_pfuel” e “l_pkap” sobre “l_totcost”, além de um intercepto.</em></p><pre># Separando os dados<br>Y = df[&quot;l_totcost&quot;]<br>X = df[[&quot;l_output&quot;, &quot;l_plabor&quot;, &quot;l_pfuel&quot;, &quot;l_pkap&quot;]]<br># Adicionando uma constante às variáveis independentes para estimar o intercepto do modelo de regressão<br>X = sm.add_constant(X)<br># Modelo de Regressão linear ajustando-se aos dados de y e do intercepto<br>est = sm.OLS(Y, X).fit()<br>print(est.summary())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/430/1*f7x6nz7azOAmnpRS6kOR-g.png" /></figure><p><em>Aqui a regressão é ajustada usando as variáveis independentes com a constante adicionada. Portanto, a regressão estima o efeito de “l_output”, “l_plabor”, “l_pfuel” e “l_pkap” sobre “l_totcost”, juntamente com um intercepto.</em></p><pre>Y = df[&quot;l_totcost&quot;]<br>X = df[[&quot;intercept&quot;, &quot;l_output&quot;, &quot;l_plabor&quot;, &quot;l_pfuel&quot;, &quot;l_pkap&quot;]]<br>est = sm.OLS(Y, X).fit()<br>print(est.summary())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/430/1*Uaj5knXgoLEIB-ozQkl0jA.png" /></figure><h4><strong>Conclusões</strong></h4><p>O que notamos sobre os resultados da regressão:</p><ul><li>O modelo explica cerca de 92.6% da variação na variável dependente (‘l_totcost’), indicando um bom ajuste aos dados.</li><li>A variável ‘l_output’ tem um efeito positivo significativo em ‘l_totcost’, sugerindo que um aumento em ‘l_output’ está associado a um aumento em ‘l_totcost’.</li><li>‘l_plabor’ não é significativo, indicando que não tem um efeito estatisticamente significativo em ‘l_totcost’.</li><li>‘l_pfuel’ tem um efeito positivo significativo em ‘l_totcost’, indicando que um aumento em ‘l_pfuel’ está associado a um aumento em ‘l_totcost’.</li><li>‘l_pkap’ não é significativo, sugerindo que não tem um efeito estatisticamente significativo em ‘l_totcost’.</li><li>O teste F indica que pelo menos uma das variáveis independentes é significativa no modelo.</li></ul><p>Evidências indicam que os resíduos não são normalmente distribuídos, mas não há autocorrelação significativa entre eles, e não parece haver multicolinearidade entre as variáveis independentes.</p><h4><strong>Sobre o Teste de Hipótese</strong></h4><p>A fórmula para a especificação mais comum de teste de hipótese na análise de regressão é o conhecido <em>teste t</em>:</p><h4><strong>t = (β — β₀) / √(σ²/n)</strong></h4><p>Onde:</p><ul><li>t é a estatística do teste t, que segue uma distribuição t de Student com n-1 graus de liberdade</li><li>β é o valor estimado do parâmetro β (coeficiente de regressão) na amostra</li><li>β₀ é o valor hipotetizado do parâmetro β (coeficiente de regressão) na população</li><li>σ² é a variância residual estimada do modelo de regressão</li><li>n é o tamanho da amostra.</li></ul><p><strong>Hipóteses:</strong></p><ul><li>H₀ (Hipótese nula): β = β₀</li><li>H₁ (Hipótese alternativa): β ≠ β₀</li></ul><p><strong>Interpretação:</strong></p><ul><li>se o valor absoluto de t for maior que o valor crítico da distribuição t de Student com n-1 graus de liberdade e nível de significância α, então rejeitamos a H₀ e concluímos que há evidências suficientes para afirmar que β ≠ β₀</li><li>se o valor absoluto de t for menor que o valor crítico da distribuição t de Student com n-1 graus de liberdade e nível de significância α, então não podemos rejeitar a H₀ e não há evidências suficientes para afirmar que β ≠ β₀</li></ul><p><strong>Observações:</strong></p><ul><li>É importante verificar se os pressupostos do modelo de regressão linear são satisfeitos antes de realizar o teste t</li><li>O nível de significância α é geralmente definido como 0,05 ou 0,01</li><li>O poder do teste depende do tamanho da amostra, da variância residual e da diferença entre β e β₀</li></ul><h4><strong>Teste Global</strong></h4><p>Já a hipótese nula de um teste global em análise de regressão geralmente afirma que todos os coeficientes de regressão, exceto o intercepto, são iguais a zero. Em outras palavras, a variável dependente não é explicada por nenhuma das variáveis independentes.</p><p><strong>Formalmente:</strong></p><ul><li>H₀ (Hipótese nula): β₁ = β₂ = … = βₖ = 0</li><li>H₁ (Hipótese alternativa): Pelo menos um βᵢ ≠ 0</li></ul><p>Onde:</p><ul><li>β₀ é o intercepto do modelo de regressão</li><li>β₁, β₂, …, βₖ são os coeficientes de regressão das variáveis independentes X₁, X₂, …, Xₖ</li></ul><p><strong>Interpretação:</strong></p><ul><li>se a p-valor do teste for menor que o nível de significância α, então rejeitamos a H₀ e concluímos que há evidências suficientes para afirmar que pelo menos um dos coeficientes de regressão é diferente de zero. Isso significa que pelo menos uma das variáveis independentes explica a variável dependente</li><li>se a p-valor do teste for maior que o nível de significância α, então não podemos rejeitar a H₀ e não há evidências suficientes para afirmar que pelo menos um dos coeficientes de regressão é diferente de zero. Isso significa que nenhuma das variáveis independentes explica a variável dependente</li></ul><p><strong>Resumindo:</strong></p><p>O teste global é um teste conjunto que avalia a significância de todos os coeficientes de regressão simultaneamente</p><p>Se o teste global for significativo, podemos realizar testes t individuais para cada coeficiente de regressão para determinar quais são significantes individualmente</p><p>É importante verificar se os pressupostos do modelo de regressão linear são satisfeitos antes de realizar o teste global</p><h4><strong>APLICANDO O TESTE</strong></h4><p>Realizaremos o teste global de hipóteses em um modelo de regressão, onde todas as variáveis independentes são testadas simultaneamente para ver se têm um efeito conjunto significativo sobre a variável dependente.</p><ul><li>A estatística F é usada para esse teste global. Ela compara a variabilidade explicada pelo modelo (Soma dos Quadrados da Regressão — SSR) com a variabilidade não explicada (Soma dos Quadrados do Erro — SSE), e a hipótese nula é que todos os coeficientes de regressão são zero, o que significa que todas as variáveis independentes não têm efeito conjunto sobre a variável dependente.</li><li>A matriz R e o vetor r são usados para expressar as restrições lineares nas variáveis independentes que estamos testando. No contexto do teste global, a matriz R seria uma matriz de identidade com dimensões adequadas, e o vetor r seria um vetor de zeros, indicando que não há restrições específicas nas variáveis independentes.</li></ul><pre>R = np.array(([0,0,0,0,0], [0,1,0,0,0], [0,0,1,0,0], [0,0,0,1,0], [0,0,0,0,1]))<br>R<br><br># Teste estatística F<br>print(est.f_test(R))</pre><p>Nesse contexto, estamos interessados em testar se a soma dos coeficientes associados aos fatores produtivos em um modelo de regressão é igual a 1, o que indicaria que a função de custo está exibindo retornos constantes de escala. Portanto, temos as seguintes hipóteses:</p><ul><li><strong>Hipótese nula (H₀):</strong> A soma dos coeficientes dos fatores produtivos é igual a 1.</li></ul><p>Matematicamente, isso é representado como: β₃ + β₄ + β₅ = 1</p><ul><li><strong>Hipótese alternativa (H₁): </strong>A soma dos coeficientes dos fatores produtivos não é igual a 1.</li></ul><p>Matematicamente, isso é representado como: β₃ + β₄ + β₅ ≠ 1</p><p>Para testar essas hipóteses, podemos usar um teste de restrição linear nos coeficientes do modelo de regressão. Definimos uma matriz de restrição (R) e um vetor de restrição (r) que representam a restrição que estamos testando.</p><p>No caso apresentado, a matriz R é [0, 0, 1, 1, 1] e o vetor r é 1. Isso significa que estamos testando se a soma dos coeficientes associados aos fatores produtivos (β₃, β₄ e β₅) é igual a 1, assumindo que as demais variáveis independentes não estão restritas.</p><p>Após definir essas restrições, podemos realizar o teste estatístico para avaliar se há evidências suficientes para rejeitar a hipótese nula em favor da hipótese alternativa.</p><pre># Aplicando<br>formula = &#39;l_totcost ~  intercept + l_output + l_plabor + l_pfuel + l_pkap&#39;<br>results = ols(formula, df).fit()<br># Podemos incluir quantas restrições desejarmos, adicionando uma vírgula (,) após a restrição<br>hipotese = &#39;l_plabor + l_pfuel + l_pkap = 1&#39;</pre><ul><li>H₀: β3 + β4 + β5 = 1</li><li>H₁: β3 + β4 + β5–1 = 0</li></ul><h4>Teste T de student</h4><p>Nós usamos esse teste para comparar as médias de dois grupos independentes, considerando a variabilidade dos dados em cada grupo. Ele determina se a diferença entre as médias é estatisticamente significativa com base no tamanho da amostra e na variabilidade dos dados.</p><pre>t_test = results.t_test(hipotese)<br>print(t_test)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/436/1*q23UXOy7g5ssKaFUoPHr2w.png" /></figure><p>Aqui obtemos os resultados do teste para as restrições especificadas na hipótese. No caso, o coeficiente estimado para a restrição (c0) é 0.6430, com um erro padrão de 0.471 e um valor t associado de -0.757. O valor p (P&gt;|t|) é 0.450, indicando que não há evidências suficientes para rejeitar a hipótese nula ao nível de significância usual de 0.05.</p><pre>f_test = results.f_test(hipotese)<br>print(f_test)</pre><p>Aqui um outro teste F para um conjunto diferente de restrições especificadas na hipótese. O resultado mostra um valor F alto de 851.95, com um valor p muito baixo (aproximadamente 0), sugerindo que há evidências significativas para rejeitar a hipótese nula ao nível de significância usual de 0.05.</p><h4><strong>Resultados</strong></h4><pre>print(est.summary())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/428/1*nq_u4tIHskbRPAnrrjxvDw.png" /></figure><p>Com esses resultados da regressão linear ordinária (OLS) onde a variável dependente é “l_totcost” e as variáveis independentes são “One”, “l_output”, “l_plabor”, “l_pfuel” e “l_pkap”. O modelo apresenta um bom ajuste, com um alto R-quadrado de 0.926 e um baixo valor p para o teste F de 4.82e-78, indicando significância estatística para o modelo como um todo.</p><p>No entanto, algumas variáveis independentes, como “l_plabor” e “l_pkap”, não são estatisticamente significantes, conforme evidenciado pelos valores p acima do nível de significância de 0.05.</p><h4><strong>CONCLUSÕES: Curvatura das estimativas</strong></h4><p>Analisando a curvatura das estimativas econômicas, otemos informações sobre como as relações entre variáveis ​​se comportam em diferentes pontos ao longo da distribuição dos dados. Isso é crucial para entender se essas relações são lineares ou não lineares e se há alguma variação na magnitude ou direção do efeito das variáveis independentes sobre a variável dependente em diferentes intervalos</p><pre>print(&quot;Dimensões de X:&quot;, X.shape)<br>print(&quot;Número de coeficientes do modelo:&quot;, est.params.shape)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/215/1*LcBLmfC78BTE7RBmC5CXpg.png" /></figure><pre># Predição dos valores do logaritmo natural da variável dependente &quot;l_totcost&quot;<br>logy_pred = est.predict(X)<br><br># Conversão dos valores previstos de volta para a escala original aplicando a função exponencial<br>Y = np.exp(logy_pred)<br><br># Adição dos valores previstos da variável dependente de volta ao DataFrame como uma nova coluna &#39;l_totcost_e&#39;<br>df[&#39;l_totcost_e&#39;] = Y<br><br># Cálculo do custo médio estimado (&#39;avgcost_e&#39;) dividindo os valores previstos pela variável &#39;output&#39;<br>df[&#39;avgcost_e&#39;] = df[&quot;l_totcost_e&quot;] / df[&quot;output&quot;]<br><br># Exibição das primeiras linhas do DataFrame após a adição das colunas &#39;l_totcost_e&#39; e &#39;avgcost_e&#39;<br>df.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/726/1*HInJeFvm2BXf66W51vAWQA.png" /></figure><ol><li>Nós primeiro fizemos as previsões dos valores do logaritmo natural da variável dependente “l_totcost” com base nas variáveis independentes contidas no DataFrame “X”, usando o modelo de regressão linear “est”.</li></ol><p>2. Em seguida, essas previsões são convertidas de volta para a escala original aplicando a função exponencial. Esses valores previstos são então atribuídos a uma nova coluna chamada “l_totcost_e” no DataFrame “df”.</p><p>3. Por fim, é calculado o custo médio estimado (“avgcost_e”) dividindo os valores previstos pela variável “output” e os resultados são adicionados ao DataFrame “df”.</p><pre># Plotando a distribuição de tocost<br>plt.figure(figsize=(8,6))<br>plt.scatter(df.output, df.mediancost, s = 15, color =&quot;red&quot;)<br>plt.scatter(df.output, df.avgcost_e, s = 15, color =&quot;blue&quot;)<br>plt.ylabel(&quot;Freq&quot;)<br>plt.xlabel(&quot;totcost (em milhões de dólares)&quot;)<br>plt.title(&quot;Histograma totcost MM USD&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/497/1*DaMsnvYLNUtUceiYc1oHaA.png" /></figure><p>Aqui vamos adicionar uma nova coluna ao DataFrame chamada “l_output_2”, que contém o quadrado dos valores da coluna “l_output”, para a usarmos em análises econométricas para modelar relações não lineares entre variáveis, capturando melhor a curvatura ou outras formas de comportamento não linear nos dados.</p><pre>df[&quot;l_output_2&quot;] = df[&quot;l_output&quot;]**2<br>df[&#39;l_output_2&#39;]</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/264/1*xlNmokUQ6SPkTW0gzQScNg.png" /></figure><pre># Plotando os resultados<br>plt.figure(figsize=(8,6))<br>plt.scatter(df[&#39;l_output&#39;], df[&#39;mediancost&#39;], s=15, color=&quot;red&quot;, label=&quot;Median Cost&quot;)<br>plt.scatter(df[&#39;l_output&#39;], df[&#39;avgcost_e&#39;], s=15, color=&quot;blue&quot;, label=&quot;Average Cost&quot;)<br>plt.title(&quot;Relação: Median Cost x Average Cost&quot;)<br>plt.legend()<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/488/1*a-sv1ylh1QxfPmsmyAPH8Q.png" /></figure><p><em>Veja que ambas possuem o mesmo comportamento quando se é ultrapassado o limite de valor 4</em></p><h4><strong>Variáveis da R. Linear</strong></h4><p>Vamos definir as variáveis para uma regressão linear:</p><ul><li>variável `Y` representa o logaritmo natural do custo total</li><li>variável `X` representa uma matriz de independentes.</li></ul><p>Nesse caso específico, a variável independente é apenas uma constante, representada pela coluna “intercept”. O objetivo é realizar uma regressão linear simples usando o logaritmo natural do custo total como variável dependente e uma constante como variável independente.</p><pre>Y = df[&quot;l_totcost&quot;] # dependente<br>X = df[[&quot;intercept&quot;, ]] # independente<br><br># Estimativas:<br>est = sm.OLS(Y,X)<br>est2 = est.fit()<br>print(est2.summary())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/432/1*xB4PQb5Gv_hHnj6XqqAtrw.png" /></figure><p>Nota-se:</p><ol><li>O coeficiente de interceptação estimado é de aproximadamente 1.7247, com um erro padrão de 0.118. Isso significa que, quando todas as variáveis independentes são zero, espera-se que o logaritmo natural do custo total seja em torno de 1.7247.</li><li>O R-quadrado é negativo, o que é incomum e pode indicar um problema com o modelo de regressão. Um R-quadrado negativo sugere que o modelo não se ajusta aos dados de forma alguma.</li><li>Já para o F-statistic e Prob (F-statistic), ambos os valores estão indicados como “nan”, o que geralmente significa que há um problema com o modelo, possivelmente devido ao R-quadrado negativo.</li><li>O teste t para o coeficiente de interceptação é significativo, com um valor-p muito baixo (praticamente zero), o que sugere que o coeficiente de interceptação é estatisticamente diferente de zero. Isso é consistente com o valor do intervalo de confiança para o coeficiente de interceptação, que não inclui zero.</li></ol><p>Resumindo, as estimativas indicam que o modelo de regressão linear simples ajustado aos dados não é adequado, como indicado pelo R-quadrado negativo e pelos valores “nan” para F-statistic e Prob (F-statistic). O coeficiente de interceptação é significativamente diferente de zero, mas o modelo como um todo parece não fornecer uma boa descrição dos dados. Isso sugere que o modelo precisa ser revisto e possivelmente ajustado.</p><h4><strong>Teste de Hipóteses</strong></h4><pre># Definir a fórmula correta incluindo todas as variáveis independentes<br>formula = &#39;l_totcost ~ intercept + l_output + l_plabor + l_pfuel + l_pkap&#39;<br><br># Ajustar o modelo de regressão linear<br>results = ols(formula, df).fit()<br><br># Realizar o teste de hipótese<br>hipotese = &#39;l_plabor + l_pfuel + l_pkap = 1&#39;<br>t_test = results.t_test(hipotese)<br>print(t_test)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/431/1*hQx4Dm67SdM2daovJA-a6A.png" /></figure><p>Com base no resultado do teste de hipótese:</p><ul><li>O coeficiente associado à restrição (`c0`) é estimado em 0.6430</li><li>O erro padrão associado à estimativa do coeficiente é de 0.471</li><li>O valor da estatística `t` associada ao coeficiente é -0.757</li><li>O valor P associado à estatística `t` é 0.450</li><li>O intervalo de confiança de 95% para o coeficiente vai de -0.289 a 1.575.</li></ul><p>Com base nessas informações, podemos concluir que o coeficiente estimado para a restrição não é estatisticamente significativo, pois o valor P é maior que o nível de significância usual de 0.05. Isso sugere que não há evidências suficientes para rejeitar a hipótese nula de que a soma dos coeficientes das variáveis independentes é igual a 1.</p><h4><strong>Estimativa usando o intercept</strong></h4><pre>Y2 = df[&quot;l_totcost&quot;]<br>X2 = df[[&quot;intercept&quot;, &quot;l_output&quot;, &quot;l_plabor&quot;, &quot;l_pfuel&quot;, &quot;l_pkap&quot;]]<br>est2 = sm.OLS(Y2, X2).fit()<br>print(est2.summary())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/425/1*RUCDG7MrrV4i44HOnpzv5A.png" /></figure><h3><strong>FIM</strong></h3><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4df227cc6b79" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ESTUDO DE CASO: BURACOS NEGROS — Parte 2]]></title>
            <link>https://medium.com/@jonatasliberato/estudo-de-caso-buracos-negros-parte-2-0aa67bb2191a?source=rss-8d0c66edc75f------2</link>
            <guid isPermaLink="false">https://medium.com/p/0aa67bb2191a</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[black-holes]]></category>
            <category><![CDATA[neural-networks]]></category>
            <category><![CDATA[buracos-negros]]></category>
            <category><![CDATA[astrofisica]]></category>
            <dc:creator><![CDATA[Jonatas Liberato]]></dc:creator>
            <pubDate>Thu, 28 Mar 2024 13:35:09 GMT</pubDate>
            <atom:updated>2024-03-28T13:35:09.665Z</atom:updated>
            <content:encoded><![CDATA[<h3>ESTUDO DE CASO: BURACOS NEGROS — Parte 2</h3><p>Os objetivos do projeto foram identificar e segmentar buracos negros em imagens astronômicas, aplicar técnicas de processamento para extrair características relevantes, como o espectro Hessiano, e comparar as imagens originais com as transformadas para avaliar a eficácia das análises realizadas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*T0a9Fbr539V9oinViKdgEw.png" /></figure><h3><strong>SOBRE A PARTE 2</strong></h3><p>Assim como a <a href="https://medium.com/@jonatasliberato/estudo-de-caso-buracos-negros-parte-1-dba0c585e450"><strong>parte 1</strong></a>, o objetivo desse estudo é aprimorar os conhecimentos em astrofísica e ciência de dados, além de treinar técnicas de escrita e de storytelling. Sei que as técnicas utilizadas aqui não são as mais avançadas, logicamente, pois sou apenas um entusiasta desse campo magnífico, mas é uma maneira de armazenar no “meu HD” todo o conhecimento obtido com essa prática.</p><h3><strong>OBJETIVOS</strong></h3><p>O objetivo desse projeto é treinar um modelo de rede neural conhecido como autoencoder para reconstruir imagens de buracos negros. Para isso, o código realiza diversas etapas:</p><p>1. <strong>Carregamento e Processamento de Imagens:</strong> Primeiro, o código carrega e processa as imagens de buracos negros, dividindo-as em conjuntos de treinamento e transformação. Essas imagens são normalizadas para facilitar o treinamento da rede neural.</p><p>2. <strong>Definição e Compilação do Modelo de Autoencoder: </strong>Em seguida, o modelo de autoencoder é definido e compilado. O autoencoder consiste em duas partes principais: o codificador, que reduz a dimensionalidade das imagens de entrada, e o decodificador, que reconstrói as imagens a partir da representação reduzida gerada pelo codificador.</p><p>3. <strong>Treinamento com Monitoramento de Desempenho: </strong>Durante o treinamento do autoencoder, são utilizados callbacks para monitorar o desempenho do modelo e ajustar dinamicamente a taxa de aprendizado. Isso é importante para garantir que o modelo esteja aprendendo de forma eficaz e evitando o overfitting.</p><p>4. <strong>Reconstrução e Visualização das Imagens:</strong> Após o treinamento, o código realiza a reconstrução das imagens de buracos negros utilizando o modelo de autoencoder. As imagens originais e suas reconstruções são visualizadas, permitindo uma avaliação do desempenho do modelo.</p><p>Em resumo, treinamos um modelo de autoencoder para reconstruir imagens de buracos negros e avaliar sua capacidade de reproduzir com precisão as características das imagens originais. Essa tarefa é crucial para entender melhor os buracos negros e explorar os dados observacionais fornecidos por instrumentos como o Event Horizon Telescope (EHT), que busca obter imagens diretas do ambiente próximo a esses objetos cósmicos.</p><h3><strong>O CÓDIGO</strong></h3><p><strong>Pacotes e bibliotecas</strong></p><p>Um aviso aos navegantes:</p><p>Tenham muita paciência nessa etapa. Foram 2 dias inteiros testando pacotes e versões, instalações e desinstalações, xícaras de café, desespero e vontade de jogar tudo fora.</p><p>O código ficou imenso e em diversas partes desse artigo, retirei codificação e visualizações, deixando somente as explicações. Mas a versão completa você pode baixar <a href="https://github.com/jonatasjal/data_science-estudo-buracos-negros_pt1"><strong>A</strong>QUI</a>.</p><p>No final, deu certo e até tive certa vontade de estourar um champagne, ainda bem que não o tinha.</p><p>Abaixo estão alguns dos pacotes que foram instalados e que ajudaram a rodar o código, mas caso algum apresente problemas, sugiro o <a href="https://stackoverflow.com/">StackOverflow</a>.</p><pre># !pip install pyarrow<br># !pip install tensorflow<br># !pip install --upgrade tensorflow<br># !python -m pip install --upgrade pip<br># !pip install tf-nightly<br># !pip install nibabel<br># !pip install --upgrade keras<br># !pip install opencv-python<br><br># ======= Bibliotecas base<br><br>import pandas as pd  # Manipulação e análise de dados tabulares<br>import numpy as np  # Computação numérica eficiente<br>import seaborn as sns  # Visualização de dados estatísticos<br>import matplotlib.pyplot as plt  # Biblioteca de plotagem de gráficos<br>import matplotlib as mpl  # Configurações adicionais para o Matplotlib<br>import random  # Geração de números aleatórios<br>import time  # Medição de tempo de execução<br><br># ======= Operações relacionadas ao sistema de arquivos e manipulação de caminhos<br>import os<br>import os.path<br>from pathlib import Path<br>import glob<br>from scipy.io import loadmat  # Leitura de arquivos MATLAB<br>import nibabel as nib  # Leitura de arquivos de imagem médica no formato NIfTI<br>import csv  # Manipulação de arquivos CSV<br><br># ======= Processamento de imagem<br>from PIL import Image<br>from keras.preprocessing import image<br>from tensorflow.keras.preprocessing.image import ImageDataGenerator<br>import cv2  # OpenCV para processamento de imagem<br>from keras.applications.vgg16 import preprocess_input, decode_predictions<br>from keras.preprocessing import image<br>from skimage.feature import hessian_matrix, hessian_matrix_eigvals<br>from scipy.ndimage import convolve  # Operação de convolução<br>from skimage import data, io, filters<br>import skimage<br>from skimage.morphology import convex_hull_image, erosion<br>from IPython import display<br>from scipy.ndimage import gaussian_filter<br>from mpl_toolkits.mplot3d.art3d import Poly3DCollection<br>import matplotlib.patches as patches<br><br># ======= Escalonamento e transformações<br>from sklearn.preprocessing import StandardScaler<br>from sklearn.preprocessing import MinMaxScaler<br>from keras.utils import to_categorical  # Conversão de rótulos em codificação one-hot<br>from sklearn.model_selection import train_test_split<br>from keras import regularizers<br>from sklearn.preprocessing import LabelEncoder  # Codificação de rótulos categóricos<br><br># ======= Controle de acurácia<br>from sklearn.metrics import confusion_matrix, accuracy_score, classification_report, roc_auc_score, roc_curve<br>from sklearn.model_selection import GridSearchCV, cross_val_score<br>from sklearn.metrics import mean_squared_error, r2_score<br><br># ======= Otimizadores<br>from keras.optimizers import RMSprop, Adam, SGD, Optimizer<br><br># ======= Camadas e modelos para construção de redes neurais<br>from tensorflow.keras.models import Sequential<br>from keras.layers import Dense, Dropout, Flatten, Conv2D, MaxPool2D, BatchNormalization, MaxPooling2D, BatchNormalization,\<br>                        Permute, TimeDistributed, Bidirectional, GRU, SimpleRNN,\<br>                        LSTM, GlobalAveragePooling2D, SeparableConv2D, ZeroPadding2D, Convolution2D, ZeroPadding2D, Reshape, Conv2DTranspose,\<br>                        LeakyReLU, GaussianNoise, GlobalMaxPooling2D, ReLU, Input, Concatenate<br>from keras import models<br>from keras import layers<br>import tensorflow as tf<br>from keras.applications import VGG16, VGG19, inception_v3<br>from keras import backend as K<br>from keras.utils import plot_model<br>from keras.datasets import mnist<br>import keras<br>from keras.models import Model<br><br># ======= Ignorar mensagens de aviso durante a execução<br>from warnings import filterwarnings<br>filterwarnings(&quot;ignore&quot;, category=DeprecationWarning)<br>filterwarnings(&quot;ignore&quot;, category=FutureWarning) <br>filterwarnings(&quot;ignore&quot;, category=UserWarning)</pre><p>Sim, são muitas bibliotecas, e essas fornecem uma variedade de funcionalidades para manipulação de dados, processamento de imagem, construção de modelos de aprendizado de máquina e visualização de resultados.</p><h4><strong>1.0 OBTENDO OS ARQUIVOS</strong></h4><p>Foram obtidos arquivos de mídias em formato de vídeo como .MP4 e .MOV e os colocamos no diretório atual de trabalho, então definimos o caminho completo para a referida pasta com as simulações chamada “Simulacoes” dentro desse diretório. Então criamos uma lista e imprimimos os caminhos de todos os arquivos MP4 e MOV presentes nessa pasta. O objetivo é mostrar informações sobre os vídeos disponíveis nesse contexto específico.</p><pre># Obtém a pasta atual de trabalho<br>diretorio_raiz = Path.cwd()<br><br># Define o caminho completo para a pasta com os vídeos<br>diretorio_videos = diretorio_raiz / &quot;Simulacoes&quot;<br><br># Obtém os caminhos dos arquivos MP4<br>arquivos_mp4 = list(diretorio_videos.glob(&quot;*.mp4&quot;))<br><br># Adiciona os caminhos dos arquivos MOV à lista<br>arquivos_mp4 += list(diretorio_videos.glob(&quot;*.mov&quot;))<br><br># Imprime o comprimento da lista e os primeiros elementos<br>print(&quot;LEN VIDEO LIST: &quot;, len(arquivos_mp4))<br><br># Cria uma série pandas com os caminhos dos vídeos<br>serie_videos = pd.Series(arquivos_mp4, name=&quot;VIDEO&quot;).astype(str)<br><br># Imprime os primeiros elementos da série<br>print(serie_videos.head(-1))<br><br># Imprime elementos específicos da série<br>print(serie_videos[0])<br>print(&quot;---&quot; * 10)<br>print(serie_videos[2])<br>print(&quot;---&quot; * 10)<br>print(serie_videos[7])</pre><h4><strong>2.0 TRANSFORMAÇÃO</strong></h4><p>O objetivo principal desse código é realizar o pré-processamento de vídeos de buracos negros para prepará-los para o treinamento de modelos de reconstrução de imagens, como um autoencoder. Alguns etapas para esse pré-processamento:</p><p>1. <strong>Padronização de formato:</strong> Os vídeos podem estar em diferentes formatos e resoluções. Converter todos os quadros para o formato RGB e redimensioná-los para uma resolução fixa (180x180 pixels neste caso) garante que todos os dados de entrada para o modelo de reconstrução tenham o mesmo formato, facilitando o processamento e reduzindo a complexidade do modelo.</p><p>2. <strong>Redução da dimensionalidade:</strong> Redimensionar os quadros para uma resolução menor reduz a dimensionalidade dos dados, o que pode ser útil para reduzir o tempo de treinamento do modelo e minimizar o risco de overfitting.</p><p>3. <strong>Compatibilidade com bibliotecas de aprendizado profundo:</strong> Muitas bibliotecas de aprendizado profundo, como TensorFlow e PyTorch, trabalham com imagens em formato RGB e esperam entradas de tamanho fixo. Portanto, converter os quadros para o formato RGB e redimensioná-los para uma resolução específica os torna compatíveis com essas bibliotecas.</p><p>4. <strong>Preparação para o treinamento do modelo:</strong> Ao realizar esse pré-processamento, os quadros dos vídeos são preparados de uma forma que é mais adequada para o treinamento de modelos de reconstrução de imagens. Isso inclui modelos como autoencoders, que são capazes de aprender representações compactas das imagens e reconstruí-las com precisão.</p><p>Portanto, o código é essencial para garantir que os dados de entrada estejam em um formato adequado e otimizado para o treinamento eficaz do modelo de reconstrução de imagens de buracos negros.</p><pre># Lista para armazenar os quadros transformados dos vídeos<br>buraco_negro_img = []<br><br># Loop sobre cada caminho de arquivo de vídeo na série serie_videos<br>for arquivo in serie_videos:<br>    # Obtém o caminho do arquivo de vídeo<br>    arquivo_video = arquivo<br>    <br>    # Abre o vídeo usando o OpenCV<br>    video_captura = cv2.VideoCapture(arquivo_video)<br>    <br>    # Entra em um loop enquanto o vídeo está aberto<br>    while video_captura.isOpened():<br>        <br>        # Lê cada quadro do vídeo<br>        _, frame = video_captura.read()<br>        <br>        # Verifica se a leitura do quadro foi bem-sucedida<br>        if _ != True:<br>            break<br>            <br>        # Converte o quadro de BGR para RGB<br>        img_convertida = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)<br>        <br>        # Redimensiona o quadro para 180x180 pixels usando interpolação cúbica<br>        img_redimensionada = cv2.resize(img_convertida, (180, 180), interpolation=cv2.INTER_CUBIC)<br>        <br>        # Adiciona o quadro transformado e redimensionado à lista buraco_negro_img<br>        buraco_negro_img.append(img_redimensionada)<br><br># Imprime o comprimento da lista buraco_negro_img<br>print(&quot;TAMANHO DA LISTA: &quot;, len(buraco_negro_img))<br><br># Converte a lista em uma matriz NumPy e imprime suas dimensões<br>print(&quot;TAMANHO DO ARRAY: &quot;, np.shape(np.array(buraco_negro_img)))</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/220/1*aDR4kKT88g6oNbiTyVAdAw.png" /></figure><p>Criamos uma lista que armazena os quadros transformados dos vídeos de buracos negros após o pré-processamento. Os valores dentro dos colchetes são índices que indicam qual quadro específico será exibido em cada subplot o que permite uma visualização dos quadros transformados e pré-processados.</p><pre># Configuração do estilo de fundo do gráfico<br>plt.style.use(&quot;dark_background&quot;)<br><br># Cria uma figura com quatro subplots em uma única linha<br>figure, axis = plt.subplots(1, 4, figsize=(18, 18))<br><br># Configurações e exibição da primeira imagem<br>axis[0].set_xlabel(buraco_negro_img[0].shape)<br>axis[0].set_ylabel(buraco_negro_img[0].size)<br>axis[0].set_title(&quot;Exemplo 1&quot;)<br>axis[0].imshow(buraco_negro_img[0])<br><br># Configurações e exibição da segunda imagem<br>axis[1].set_xlabel(buraco_negro_img[567].shape)<br>axis[1].set_ylabel(buraco_negro_img[567].size)<br>axis[1].set_title(&quot;Exemplo 2&quot;)<br>axis[1].imshow(buraco_negro_img[567])<br><br># Configurações e exibição da terceira imagem<br>axis[2].set_xlabel(buraco_negro_img[3400].shape)<br>axis[2].set_ylabel(buraco_negro_img[3400].size)<br>axis[2].set_title(&quot;Exemplo 3&quot;)<br>axis[2].imshow(buraco_negro_img[3400])<br><br># Configurações e exibição da quarta imagem<br>axis[3].set_xlabel(buraco_negro_img[7000].shape)<br>axis[3].set_ylabel(buraco_negro_img[7000].size)<br>axis[3].set_title(&quot;Exemplo 4&quot;)<br>axis[3].imshow(buraco_negro_img[7000])</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*t6OvpSR4-RKpxTE1AzJJrQ.png" /></figure><h4><strong>3.0 DISCO DE ACREÇÃO</strong></h4><p>Como explicado na parte 1 desse estudo, um disco de acreção é uma estrutura em forma de disco composta por gás, poeira e outros detritos que orbitam em torno de um objeto compacto, como uma estrela de nêutrons ou um buraco negro. Esses detritos são atraídos pela forte gravidade do objeto central e gradualmente se acumulam em um disco antes de serem consumidos pelo objeto.</p><p>A formação de um disco de acreção ocorre quando a matéria em órbita ao redor do objeto central perde energia cinética devido à fricção entre as partículas do disco. Conforme essa energia é dissipada, as partículas do disco espiralam em direção ao objeto central, formando o disco de acreção.</p><p>Os discos de acreção são fontes significativas de energia eletromagnética, emitindo radiação em uma ampla variedade de comprimentos de onda, desde raios-X até ondas de rádio. Isso ocorre porque a matéria no disco é aquecida pela fricção e pela compressão à medida que se aproxima do objeto central, gerando enormes quantidades de energia que são liberadas na forma de radiação.</p><p>Esses discos desempenham um papel fundamental em muitos fenômenos astrofísicos, incluindo a alimentação de buracos negros supermassivos no centro de galáxias ativas, a formação de sistemas estelares binários e a produção de jatos relativísticos de matéria que são observados em muitos objetos compactos. Em resumo, os discos de acreção são importantes laboratórios naturais para estudar os processos físicos extremos que ocorrem perto de objetos compactos no universo.</p><p>O código abaixo é para processar um vídeo que representa um disco de acreção. Ele transforma cada quadro do vídeo em imagens RGB redimensionadas e armazena essas imagens em uma lista chamada `acrecao_lista`. Essas imagens podem ser posteriormente usadas para análise ou visualização do disco de acreção.</p><pre># Caminho do arquivo de vídeo para o disco de acreção<br>dir_disco_acrecao = &quot;Simulacoes/Accretion Disk.mp4&quot;<br><br># Lista para armazenar os quadros transformados do vídeo do disco de acreção<br>acrecao_lista = []<br><br># Abre o vídeo usando o OpenCV<br>acrecao_video = cv2.VideoCapture(dir_disco_acrecao)<br><br># Entra em um loop enquanto o vídeo está aberto<br>while acrecao_video.isOpened():<br>    <br>    # Lê cada quadro do vídeo<br>    _, frame = acrecao_video.read()<br>    <br>    # Verifica se a leitura do quadro foi bem-sucedida<br>    if _ != True:<br>        break<br>        <br>    # Converte o quadro de BGR para RGB<br>    img_convertida = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)<br>    <br>    # Redimensiona o quadro para 180x180 pixels usando interpolação cúbica<br>    img_redimensionada = cv2.resize(img_convertida, (180, 180), interpolation=cv2.INTER_CUBIC)<br>    <br>    # Adiciona o quadro transformado e redimensionado à lista acrecao_lista<br>    acrecao_lista.append(img_redimensionada)<br><br># Imprime o comprimento da lista acrecao_lista e as dimensões da matriz NumPy<br>print(&quot;TAMANHO DA LISTA: &quot;, len(acrecao_lista))<br>print(&quot;TAMANHO DO ARRAY: &quot;, np.shape(np.array(acrecao_lista)))</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/223/1*FZOHtBhx8sYsgFXst2N8RA.png" /></figure><pre># Cria uma grade de subplots com 10 linhas e 10 colunas, totalizando 100 subplots<br>figure, axis = plt.subplots(10, 10, figsize=(20, 10))<br><br># Itera sobre os subplots usando enumerate para obter o índice (indexing) e o subplot (operations)<br>for indexing, operations in enumerate(axis.flat):<br>    <br>    # Calcula o índice correspondente na lista acrecao_lista, multiplicando por 5<br>    # Isso pode resultar em índices fora do alcance se a lista não for múltiplo de 5<br>    indice_acrecao = acrecao_lista[indexing * 5]<br>    <br>    # Exibe a imagem no subplot atual<br>    operations.imshow(indice_acrecao)<br>    <br>    # Desativa os eixos para melhor visualização<br>    operations.axis(&quot;off&quot;)<br><br># Ajusta o layout para garantir que os subplots estejam bem espaçados<br>plt.tight_layout()<br><br># Exibe a figura com os subplots<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*AwuqU3Dmigfqjv1loZETIQ.png" /></figure><p>No contexto, aqui nos permite visualizar simulações computacionais ou observações reais de buracos negros. As imagens dos buracos negros podem ser obtidas a partir de simulações numéricas, modelos teóricos ou dados observacionais de telescópios. Ele cria uma grade de subplots para exibir imagens relacionadas a buracos negros, facilitando a análise e comparação entre elas.</p><ul><li><strong>Análise de Dados de Eventos Astronômicos:</strong> Pode ser usado para analisar e examinar detalhadamente os dados obtidos de eventos astronômicos relacionados a buracos negros, como fusões de buracos negros, emissão de radiação de discos de acreção ou interações com estrelas vizinhas.</li><li><strong>Estudo da Estrutura e Comportamento dos Buracos Negros:</strong> O código pode ajudar na investigação da estrutura e do comportamento dos buracos negros, permitindo a visualização de diferentes características, como a forma do horizonte de eventos, a emissão de radiação de um disco de acreção ou a presença de jatos relativísticos.</li><li><strong>Comunicação Científica e Educação: </strong>Também pode ser utilizado para comunicar conceitos científicos relacionados a buracos negros de forma visualmente impactante, tanto para a comunidade científica quanto para o público em geral, contribuindo para a divulgação científica e a educação em astronomia e astrofísica.</li></ul><h4><strong>4.0 DESMISTIFICANDO OS LIMIARES</strong></h4><p>Aqui queremos visualizar diferentes técnicas de limiarização aplicadas a uma imagem em escala de cinza. Ele exibe cinco imagens em uma única figura, onde a primeira imagem é a imagem original em escala de cinza e as outras quatro são as imagens resultantes de diferentes técnicas de limiarização:</p><p>1. <strong>limiar_zero</strong>:</p><ul><li>Nesta técnica, os pixels da imagem que têm intensidade menor que o valor de limiar são definidos como zero (preto). Pixels com intensidade maior ou igual ao valor de limiar são mantidos sem alteração.</li><li>Em outras palavras, essa técnica transforma todos os pixels abaixo do valor de limiar em preto, enquanto os pixels acima ou iguais ao valor de limiar permanecem inalterados.</li></ul><p>2. <strong>limiar_zero_INV (Limiar para Zero Invertido)</strong>:</p><ul><li>É o oposto da técnica TOZERO. Aqui, os pixels da imagem que têm intensidade maior que o valor de limiar são definidos como zero (preto), e os pixels com intensidade menor ou igual ao valor de limiar são mantidos sem alteração.</li><li>Em resumo, esta técnica transforma todos os pixels acima do valor de limiar em preto, enquanto os pixels abaixo ou iguais ao valor de limiar permanecem inalterados.</li></ul><p>3. <strong>limiar_binario</strong>:</p><ul><li>Nesta técnica, os pixels da imagem que têm intensidade menor que o valor de limiar são definidos como 0 (preto), e os pixels com intensidade maior ou igual ao valor de limiar são definidos como 255 (branco).</li><li>Esta técnica binariza a imagem, transformando todos os pixels abaixo do valor de limiar em preto e todos os pixels acima ou iguais ao valor de limiar em branco.</li></ul><p>4. <strong>limiar_binario_INV (Limiar Binário Invertido)</strong>:</p><ul><li>É o oposto da técnica BINARY. Aqui, os pixels da imagem que têm intensidade menor que o valor de limiar são definidos como 255 (branco), e os pixels com intensidade maior ou igual ao valor de limiar são definidos como 0 (preto).</li><li>Ou seja, esta técnica binariza a imagem de forma invertida, transformando todos os pixels abaixo do valor de limiar em branco e todos os pixels acima ou iguais ao valor de limiar em preto.</li></ul><p><strong>Por que isso foi feito?</strong></p><p>Essas técnicas são comumente usadas em processamento de imagens para segmentar objetos de interesse ou realçar certas características na imagem.</p><pre># Cria uma figura com 1 linha e 5 colunas, definindo o tamanho da figura<br>figure, axis = plt.subplots(1, 5, figsize=(18, 18))<br><br># Seleciona a segunda imagem da lista &#39;acrecao_lista&#39; (supondo que esta lista já tenha sido definida)<br>indice_acrecao = acrecao_lista[1]<br><br># Converte a imagem RGB em escala de cinza<br>img_cinza = cv2.cvtColor(indice_acrecao, cv2.COLOR_RGB2GRAY)<br><br># Aplica diferentes técnicas de limiarização (thresholding) na imagem em escala de cinza<br>_, limiar_zero = cv2.threshold(img_cinza, 55, 255, cv2.THRESH_TOZERO)<br>_, limiar_zero_invertido = cv2.threshold(img_cinza, 55, 255, cv2.THRESH_TOZERO_INV)<br>_, limiar_binario = cv2.threshold(img_cinza, 55, 255, cv2.THRESH_BINARY)<br>_, limiar_binario_invertido = cv2.threshold(img_cinza, 55, 255, cv2.THRESH_BINARY_INV)<br><br># Configurações e plotagem da primeira imagem (escala de cinza)<br>axis[0].set_xlabel(img_cinza.shape)<br>axis[0].set_ylabel(img_cinza.size)<br>axis[0].set_title(&quot;L.CINZA&quot;)<br>axis[0].imshow(img_cinza)<br><br># Configurações e plotagem da segunda imagem <br>axis[1].set_xlabel(limiar_zero.shape)<br>axis[1].set_ylabel(limiar_zero.size)<br>axis[1].set_title(&quot;L.ZERO&quot;)<br>axis[1].imshow(limiar_zero)<br><br># Configurações e plotagem da terceira imagem <br>axis[2].set_xlabel(limiar_zero_invertido.shape)<br>axis[2].set_ylabel(limiar_zero_invertido.size)<br>axis[2].set_title(&quot;L.ZERO INVERTIDO&quot;)<br>axis[2].imshow(limiar_zero_invertido)<br><br># Configurações e plotagem da quarta imagem <br>axis[3].set_xlabel(limiar_binario.shape)<br>axis[3].set_ylabel(limiar_binario.size)<br>axis[3].set_title(&quot;L.BINÁRIO&quot;)<br>axis[3].imshow(limiar_binario)<br><br># Configurações e plotagem da quinta imagem<br>axis[4].set_xlabel(limiar_binario_invertido.shape)<br>axis[4].set_ylabel(limiar_binario_invertido.size)<br>axis[4].set_title(&quot;L.BINÁRIO INVERTIDO&quot;)<br>axis[4].imshow(limiar_binario_invertido)<br><br># Exibe a figura com as imagens plotadas<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MvTX-U464sva-vz_GIkxWA.png" /></figure><p>Como você pode ver, esse código é semelhante ao código anterior, mas utiliza diferentes mapas de cores para exibir as imagens. Os mapas de cores “hot” são usados para ressaltar regiões de alta intensidade, enquanto o mapa de cor “gray” é usado para exibir imagens em escala de cinza padrão. Os resultados das técnicas de limiarização são plotados em cinco subplots diferentes, cada um com seu título e rótulos de eixo configurados.</p><pre># Cria uma figura com 1 linha e 5 colunas, definindo o tamanho da figura<br>figure, axis = plt.subplots(1, 5, figsize=(18, 18))<br><br># Seleciona a segunda imagem da lista &#39;acrecao_lista&#39; (supondo que esta lista já tenha sido definida)<br>indice_acrecao = acrecao_lista[1]<br><br># Converte a imagem RGB em escala de cinza<br>img_cinza = cv2.cvtColor(indice_acrecao, cv2.COLOR_RGB2GRAY)<br><br># Aplica diferentes técnicas de limiarização (thresholding) na imagem em escala de cinza<br>_, limiar_zero = cv2.threshold(img_cinza, 55, 255, cv2.THRESH_TOZERO)<br>_, limiar_zero_invertido = cv2.threshold(img_cinza, 55, 255, cv2.THRESH_TOZERO_INV)<br>_, limiar_binario = cv2.threshold(img_cinza, 55, 255, cv2.THRESH_BINARY)<br>_, limiar_binario_invertido = cv2.threshold(img_cinza, 55, 255, cv2.THRESH_BINARY_INV)<br><br># Configurações e plotagem da primeira imagem (escala de cinza)<br>axis[0].set_xlabel(img_cinza.shape)<br>axis[0].set_ylabel(img_cinza.size)<br>axis[0].set_title(&quot;L.CINZA&quot;)<br>axis[0].imshow(img_cinza, cmap=&quot;gray&quot;)  # cmap=&quot;gray&quot; define a escala de cinza para a imagem<br><br># Configurações e plotagem da segunda imagem<br>axis[1].set_xlabel(limiar_zero.shape)<br>axis[1].set_ylabel(limiar_zero.size)<br>axis[1].set_title(&quot;L.ZERO&quot;)<br>axis[1].imshow(limiar_zero, cmap=&quot;hot&quot;)  # cmap=&quot;hot&quot; define a paleta de cores quente para a imagem<br><br># Configurações e plotagem da terceira imagem <br>axis[2].set_xlabel(limiar_zero_invertido.shape)<br>axis[2].set_ylabel(limiar_zero_invertido.size)<br>axis[2].set_title(&quot;L.ZERO INVERTIDO&quot;)<br>axis[2].imshow(limiar_zero_invertido, cmap=&quot;hot&quot;)  # cmap=&quot;hot&quot; define a paleta de cores quente para a imagem<br><br># Configurações e plotagem da quarta imagem <br>axis[3].set_xlabel(limiar_binario.shape)<br>axis[3].set_ylabel(limiar_binario.size)<br>axis[3].set_title(&quot;L.BINÁRIO&quot;)<br>axis[3].imshow(limiar_binario, cmap=&quot;hot&quot;)  # cmap=&quot;hot&quot; define a paleta de cores quente para a imagem<br><br># Configurações e plotagem da quinta imagem <br>axis[4].set_xlabel(limiar_binario_invertido.shape)<br>axis[4].set_ylabel(limiar_binario_invertido.size)<br>axis[4].set_title(&quot;L.BINÁRIO INVERTIDO&quot;)<br>axis[4].imshow(limiar_binario_invertido, cmap=&quot;hot&quot;)  # cmap=&quot;hot&quot; define a paleta de cores quente para a imagem<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WiAWnOnCOmyACeeourPNnA.png" /></figure><p>Já nesse código, usamos outras técnicas para segmentar objetos de interesse em imagens em escala de cinza:</p><p>1. <strong>limiar_otsu</strong>:</p><ul><li>O método de limiarização de Otsu é uma técnica automática de seleção de limiar. Ele calcula o valor ótimo de limiarização para binarizar uma imagem em escala de cinza de forma a minimizar a variância intra-classe (variância dentro das classes de pixels separadas pelo limiar) e maximizar a variância inter-classe (variância entre as classes de pixels separadas pelo limiar).</li><li>O limiar de Otsu é calculado usando a distribuição de intensidade de pixels na imagem. Uma vez calculado, esse limiar é aplicado para segmentar a imagem em duas regiões: uma que será definida como 0 (preto) e outra que será definida como 255 (branco), dependendo se o pixel tem uma intensidade menor ou maior que o limiar, respectivamente.</li></ul><p>2. <strong>limiar_triangular</strong>:</p><ul><li>O método de limiarização de Triângulo é outra técnica automática de seleção de limiar. Ele calcula um limiar baseado na distribuição de intensidade dos pixels, utilizando o conceito geométrico de um triângulo formado pelas distribuições de intensidade em cada lado.</li><li>O limiar é escolhido de forma a maximizar a distância entre o ponto médio do histogramaa e a linha que liga o ponto médio ao ponto de interseção entre as duas tangentes ao histogramaaaaaaa nos pontos de menor e maior intensidade. Esse limiar é então aplicado para segmentar a imagem em duas regiões, da mesma maneira que no método de Otsu.</li></ul><p>3. l<strong>imiar_truncado</strong>:</p><ul><li>Neste método de limiarização, os pixels na imagem que têm intensidades maiores que o valor de limiar são definidos com um valor fixo (o valor de limiar), enquanto os pixels com intensidades menores que o valor de limiar são mantidos sem alteração.</li><li>Em outras palavras, este método define todos os pixels com intensidade menor que o valor de limiar como preto, enquanto os pixels com intensidade maior ou igual ao valor de limiar permanecem com a intensidade original.</li><li>Este método é útil para realçar características específicas na imagem que têm intensidades acima de um certo limiar, enquanto o restante da imagem permanece inalterado.</li></ul><pre>figure, axis = plt.subplots(1, 4, figsize=(18, 18))<br><br># Segunda imagem da lista<br>indice_acrecao = acrecao_lista[1]<br><br># RGB em escala de cinza<br>img_cinza = cv2.cvtColor(indice_acrecao, cv2.COLOR_RGB2GRAY)<br><br># Limiarização <br>_, limiar_OTSU = cv2.threshold(img_cinza, 55, 255, cv2.THRESH_OTSU)<br>_, limiar_triangular = cv2.threshold(img_cinza, 55, 255, cv2.THRESH_TRIANGLE)<br>_, limiar_truncado = cv2.threshold(img_cinza, 55, 255, cv2.THRESH_TRUNC)<br><br>axis[0].set_xlabel(img_cinza.shape)<br>axis[0].set_ylabel(img_cinza.size)<br>axis[0].set_title(&quot;L.CINZA&quot;)<br>axis[0].imshow(img_cinza, cmap=&quot;gray&quot;)  # cmap=&quot;gray&quot; define a escala de cinza para a imagem<br><br>axis[1].set_xlabel(limiar_OTSU.shape)<br>axis[1].set_ylabel(limiar_OTSU.size)<br>axis[1].set_title(&quot;L. OTSU&quot;)<br>axis[1].imshow(limiar_OTSU, cmap=&quot;gray&quot;)  # cmap=&quot;gray&quot; define a escala de cinza para a imagem<br><br>axis[2].set_xlabel(limiar_triangular.shape)<br>axis[2].set_ylabel(limiar_triangular.size)<br>axis[2].set_title(&quot;L.TRIANGULAR&quot;)<br>axis[2].imshow(limiar_triangular, cmap=&quot;gray&quot;)  # cmap=&quot;gray&quot; define a escala de cinza para a imagem<br><br># Configurações e plotagem da quarta imagem <br>axis[3].set_xlabel(limiar_truncado.shape)<br>axis[3].set_ylabel(limiar_truncado.size)<br>axis[3].set_title(&quot;L.TRUNCADO&quot;)<br>axis[3].imshow(limiar_truncado, cmap=&quot;gray&quot;)  # cmap=&quot;gray&quot; define a escala de cinza para a imagem<br><br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1020/1*Fe_1VSMKeYX7p_UnqYrCyw.png" /></figure><p>Já esse, permite uma análise visual das diferentes versões da imagem do disco de acreção após a conversão para escala de cinza especificamente e a aplicação de diferentes métodos de limiarização. Isso pode ajudar a destacar regiões de interesse na imagem e facilitar a interpretação dos dados.</p><pre>figure, axis = plt.subplots(1, 4, figsize=(18, 18))<br><br>indice_acrecao = acrecao_lista[1]<br>img_cinza = cv2.cvtColor(indice_acrecao, cv2.COLOR_RGB2GRAY)<br><br>_, limiar_OTSU = cv2.threshold(img_cinza, 55, 255, cv2.THRESH_OTSU)<br>_, limiar_triangular = cv2.threshold(img_cinza, 55, 255, cv2.THRESH_TRIANGLE)<br>_, limiar_truncado = cv2.threshold(img_cinza, 55, 255, cv2.THRESH_TRUNC)<br><br>axis[0].set_xlabel(img_cinza.shape)<br>axis[0].set_ylabel(img_cinza.size)<br>axis[0].set_title(&quot;L.CINZA&quot;)<br>axis[0].imshow(img_cinza, cmap=&quot;gray&quot;)  # cmap=&quot;gray&quot; define a escala de cinza para a imagem<br><br>axis[1].set_xlabel(limiar_OTSU.shape)<br>axis[1].set_ylabel(limiar_OTSU.size)<br>axis[1].set_title(&quot;L.OTSU&quot;)<br>axis[1].imshow(limiar_OTSU, cmap=&quot;hot&quot;)  # cmap=&quot;hot&quot; define a paleta de cores quente para a imagem<br><br>axis[2].set_xlabel(limiar_triangular.shape)<br>axis[2].set_ylabel(limiar_triangular.size)<br>axis[2].set_title(&quot;L.TRIANGULAR&quot;)<br>axis[2].imshow(limiar_triangular, cmap=&quot;hot&quot;)  # cmap=&quot;hot&quot; define a paleta de cores quente para a imagem<br><br>axis[3].set_xlabel(limiar_truncado.shape)<br>axis[3].set_ylabel(limiar_truncado.size)<br>axis[3].set_title(&quot;L.TRUNCADO&quot;)<br>axis[3].imshow(limiar_truncado, cmap=&quot;hot&quot;)  # cmap=&quot;hot&quot; define a paleta de cores quente para a imagem<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1017/1*09KX-HDRk9xq6_W_SFH8YA.png" /></figure><p>No método de limiarização de Limiar Truncado (L.TRUNCADO), os pixels na imagem que têm intensidades maiores que o valor de limiar são definidos com um valor fixo, enquanto os pixels com intensidades menores que o valor de limiar permanecem com a intensidade original. A paleta de cores “hot” é escolhida para representar esta imagem, onde os valores mais altos (brancos) indicam as regiões onde o limiar foi aplicado e os valores mais baixos (tons mais escuros) representam os pixels mantidos inalterados.</p><h4><strong>5.0 TIPO CANNY</strong></h4><p>Este código realizamos as seguintes operações:</p><p>1. <strong>Conversão para Escala de Cinza</strong>:</p><ul><li>Convertemos a imagem colorida `indice_acrecao` em escala de cinza usando `cv2.cvtColor()` e armazenamos a imagem resultante em `img_cinza`</li></ul><p>2. <strong>Limiarização Truncada</strong>:</p><ul><li>Aplicamos a técnica de limiarização truncada na imagem em escala de cinza `img_cinza` usando `cv2.threshold()`</li><li>O valor de limiar é definido como 220, o valor máximo é 255, e todos os valores maiores que 220 são definidos como 220</li><li>Armazenamos a imagem resultante em `limiar_truncado`</li></ul><p>3. <strong>Detecção de Bordas com Canny</strong>:</p><ul><li>Aplicamos o detector de bordas Canny na imagem limiarizada `limiar_truncado` usando `cv2.Canny()`</li><li>Os parâmetros 55 e 100 são usados para os limiares de gradiente mínimo e máximo, respectivamente</li><li>Armazenamos a imagem resultante em `Canny_IMG`</li></ul><p>4. <strong>Plotagem das Imagens</strong>:</p><ul><li>Cria uma figura com 1 linha e 3 colunas usando `plt.subplots()` e define o tamanho da figura como (18, 18)</li><li>Plotamos a imagem em escala de cinza original e limiarizada truncada</li><li>Plotamos a imagem resultante da detecção de bordas Canny (`Canny_IMG`) no terceiro subplot</li></ul><p><strong>Bordas de Canny</strong></p><p>A detecção de bordas de Canny foi desenvolvida por John F. Canny em 1986. É uma técnica amplamente usada para identificar bordas em imagens. O algoritmo de Canny opera em várias etapas, incluindo suavização da imagem para reduzir o ruído, cálculo do gradiente para encontrar áreas de maior variação de intensidade e aplicação de um algoritmo de supressão de não máximos e de limiares para identificar as bordas finais. Esta técnica é reconhecida pela sua capacidade de produzir bordas nítidas e precisas em imagens com uma baixa taxa de detecção de ruído.</p><pre>figure, axis = plt.subplots(1, 3, figsize=(18, 18))<br><br>indice_acrecao = acrecao_lista[1]<br>img_cinza = cv2.cvtColor(indice_acrecao, cv2.COLOR_RGB2GRAY)<br><br># Aplica a técnica de limiarização truncada na imagem em escala de cinza<br># Todos os valores de pixel acima de 220 são definidos como 220<br>_, limiar_truncado = cv2.threshold(img_cinza, 220, 255, cv2.THRESH_TRUNC)<br><br># Aplica o detector de bordas Canny na imagem limiarizada truncada<br># Os valores de gradiente mínimo e máximo são definidos como 55 e 100, respectivamente<br>Canny_IMG = cv2.Canny(limiar_truncado, 55, 100)<br><br>axis[0].set_xlabel(img_cinza.shape)<br>axis[0].set_ylabel(img_cinza.size)<br>axis[0].set_title(&quot;L.CINZA&quot;)<br>axis[0].imshow(img_cinza, cmap=&quot;gray&quot;)<br><br>axis[1].set_xlabel(limiar_truncado.shape)<br>axis[1].set_ylabel(limiar_truncado.size)<br>axis[1].set_title(&quot;L.TRUNCADO&quot;)<br>axis[1].imshow(limiar_truncado, cmap=&quot;hot&quot;) <br><br>axis[2].set_xlabel(Canny_IMG.shape)<br>axis[2].set_ylabel(Canny_IMG.size)<br>axis[2].set_title(&quot;BORDAS_CANNY&quot;)<br>axis[2].imshow(Canny_IMG, cmap=&quot;hot&quot;)  <br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1017/1*KJemE4Lb_rDtgsBhKjmc0w.png" /><figcaption>Aqui nesse código, fizemos o processamento de uma imagem de entrada para realizar a detecção de bordas usando o algoritmo de Canny. Primeiramente, convertemos a imagem colorida em escala de cinza, pois a detecção de bordas é mais eficaz nesse espaço de cor. Em seguida, aplicamos uma técnica de limiarização truncada para realçar as transições de intensidade na imagem.</figcaption></figure><p>Com a imagem limiarizada, utilizamos o algoritmo de detecção de bordas Canny para identificar as bordas presentes na imagem. Finalmente, combinamos a imagem em escala de cinza original com as bordas detectadas, criando uma imagem que realça as bordas enquanto preserva as características da imagem original.</p><p>As imagens resultantes são então exibidas para visualização, mostrando a imagem em escala de cinza original, as bordas detectadas pelo algoritmo de Canny e a imagem misturada que destaca as bordas.</p><pre>figure, axis = plt.subplots(1, 3, figsize=(18, 18))<br><br>indice_acrecao = acrecao_lista[1]<br>img_cinza = cv2.cvtColor(indice_acrecao, cv2.COLOR_RGB2GRAY)<br><br># Aplica a técnica de limiarização truncada na imagem em escala de cinza<br>_, limiar_truncado = cv2.threshold(img_cinza, 220, 255, cv2.THRESH_TRUNC)<br><br># Aplica o detector de bordas Canny na imagem limiarizada<br>Canny_IMG = cv2.Canny(limiar_truncado, 55, 100)<br><br># Combina as imagens em escala de cinza original e a imagem resultante da detecção de bordas Canny<br>Blend_IMG = cv2.addWeighted(img_cinza, 0.8, Canny_IMG, 0.8, 0.1)<br><br>axis[0].set_xlabel(img_cinza.shape)<br>axis[0].set_ylabel(img_cinza.size)<br>axis[0].set_title(&quot;L.CINZA&quot;)<br>axis[0].imshow(img_cinza, cmap=&quot;gray&quot;)  <br><br>axis[1].set_xlabel(Canny_IMG.shape)<br>axis[1].set_ylabel(Canny_IMG.size)<br>axis[1].set_title(&quot;BORDAS DE CANNY&quot;)<br>axis[1].imshow(Canny_IMG, cmap=&quot;hot&quot;)  <br><br>axis[2].set_xlabel(Blend_IMG.shape)<br>axis[2].set_ylabel(Blend_IMG.size)<br>axis[2].set_title(&quot;MISTURADAS&quot;)<br>axis[2].imshow(Blend_IMG, cmap=&quot;jet&quot;)  <br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1019/1*KhqZ07y5wruRoViDzAXx0w.png" /></figure><p>Neste código, convertemos uma imagem colorida em escala de cinza e aplicamos uma técnica de limiarização truncada para realçar transições de intensidade na imagem. Em seguida, detectamos as bordas usando o algoritmo de Canny. Posteriormente, calculamos a diferença absoluta entre a imagem em escala de cinza original e as bordas detectadas. Os resultados são exibidos em três subplots: a imagem em escala de cinza original, as bordas detectadas pelo algoritmo de Canny e a diferença absoluta entre elas.</p><pre>figure, axis = plt.subplots(1, 3, figsize=(18, 18))<br><br>indice_acrecao = acrecao_lista[1]<br>img_cinza = cv2.cvtColor(indice_acrecao, cv2.COLOR_RGB2GRAY)<br>_, limiar_truncado = cv2.threshold(img_cinza, 220, 255, cv2.THRESH_TRUNC)<br>Canny_IMG = cv2.Canny(limiar_truncado, 55, 100)<br><br># Calcula a diferença absoluta entre a imagem em escala de cinza original e as bordas detectadas<br>Diff_Image = cv2.absdiff(img_cinza, Canny_IMG, np.zeros((2, 2)))<br><br>axis[0].set_xlabel(img_cinza.shape)<br>axis[0].set_ylabel(img_cinza.size)<br>axis[0].set_title(&quot;L.CINZA&quot;)<br>axis[0].imshow(img_cinza, cmap=&quot;gray&quot;)<br><br>axis[1].set_xlabel(Canny_IMG.shape)<br>axis[1].set_ylabel(Canny_IMG.size)<br>axis[1].set_title(&quot;BORDAS DE CANNY&quot;)<br>axis[1].imshow(Canny_IMG, cmap=&quot;hot&quot;)<br><br>axis[2].set_xlabel(Diff_Image.shape)<br>axis[2].set_ylabel(Diff_Image.size)<br>axis[2].set_title(&quot;DIFF&quot;)<br>axis[2].imshow(Diff_Image, cmap=&quot;hot&quot;)<br><br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1021/1*Pjv-c0Vlb_O3Hbct_U9K2A.png" /></figure><h4><strong>6.0 EQUALIZAR HISTOGRAMA</strong></h4><p>Neste código, realizamos o processamento de uma imagem para equalização de histograma. Começamos convertendo uma imagem colorida em escala de cinza e, em seguida, aplicamos a equalização de histograma utilizando a função `cv2.equalizeHist()`.</p><p>A equalização de histograma é uma técnica que redistribui os tons de cinza da imagem de forma mais uniforme, melhorando o contraste e realçando os detalhes. As imagens resultantes são exibidas em três subplots: a imagem original em escala de cinza, a imagem em escala de cinza antes da equalização (com baixo contraste) e a imagem após a equalização do histograma (com contraste melhorado).</p><pre>figure, axis = plt.subplots(1, 3, figsize=(18, 18))<br><br>indice_acrecao = acrecao_lista[1]<br>img_cinza = cv2.cvtColor(indice_acrecao, cv2.COLOR_RGB2GRAY)<br><br># Equaliza o histogramaa da imagem em escala de cinza<br>Equalize_IMG = cv2.equalizeHist(img_cinza)<br><br>axis[0].set_xlabel(indice_acrecao.shape)<br>axis[0].set_ylabel(indice_acrecao.size)<br>axis[0].set_title(&quot;ORIGINAL&quot;)<br>axis[0].imshow(indice_acrecao, cmap=&quot;gray&quot;)<br><br>axis[1].set_xlabel(img_cinza.shape)<br>axis[1].set_ylabel(img_cinza.size)<br>axis[1].set_title(&quot;L.CINZA&quot;)<br>axis[1].imshow(img_cinza, cmap=&quot;gray&quot;)<br><br>axis[2].set_xlabel(Equalize_IMG.shape)<br>axis[2].set_ylabel(Equalize_IMG.size)<br>axis[2].set_title(&quot;EQUALIZADO&quot;)<br>axis[2].imshow(Equalize_IMG, cmap=&quot;hot&quot;)<br><br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1018/1*wt0E_n-bqiQ7kIhDg3wCGQ.png" /></figure><p>Nesse trecho, o nosso objetivo visualizar os histogramas de cores de três imagens diferentes selecionadas da lista `acrecao_lista`. Ele calcula e plota os histogramas de cada canal de cor (vermelho, verde e azul) para cada uma das imagens, permitindo a comparação das distribuições de cores entre elas.</p><pre>img_selecionada = acrecao_lista[1]<br><br># Define as cores e os índices dos canais de cor (vermelho, verde, azul)<br>lista_cores = (&quot;red&quot;, &quot;green&quot;, &quot;blue&quot;)<br>tamanho_canal = (0, 1, 2)<br><br># Define os limites do gráfico<br>plt.xlim([0, 255])<br>plt.ylim([0, 155])<br><br># Loop sobre os canais de cor<br>for id_canal, c in zip(tamanho_canal, lista_cores):<br>    # Calcula o histograma para o canal de cor atual<br>    histogram, bordas = np.histogram(<br>        img_selecionada[:, :, id_canal], bins=256, range=(0, 256))<br>    # Plota o histogram<br>    plt.plot(bordas[0:-1], histogram, color=c)<br><br># Adiciona rótulos aos eixos x e y<br>plt.xlabel(&quot;Variação de Cores&quot;)<br>plt.ylabel(&quot;Pixels&quot;)<br>plt.show()<br><br># ============<br><br>img_selecionada = acrecao_lista[100]<br><br>lista_cores = (&quot;red&quot;, &quot;green&quot;, &quot;blue&quot;)<br>tamanho_canal = (0, 1, 2)<br><br>plt.xlim([0, 255])<br>plt.ylim([0, 155])<br><br>for id_canal, cor in zip(tamanho_canal, lista_cores):<br>    histograma, bordas = np.histogram(<br>        img_selecionada[:, :, id_canal], bins=256, range=(0, 256))<br>    plt.plot(bordas[0:-1], histograma, color=cor)<br><br>plt.xlabel(&quot;Valor da Cor&quot;)<br>plt.ylabel(&quot;Pixels&quot;)<br>plt.show()<br><br># ===========<br><br>img_selecionada = acrecao_lista[433]<br><br>colors = (&quot;red&quot;, &quot;green&quot;, &quot;blue&quot;)<br>tamanho_canal = (0, 1, 2)<br><br>plt.xlim([0, 255])<br>plt.ylim([0, 155])<br><br>for id_canal, c in zip(tamanho_canal, colors):<br>    histograma, bordas = np.histogram(<br>        img_selecionada[:, :, id_canal], bins=256, range=(0, 256))<br>    plt.plot(bordas[0:-1], histograma, color=c)<br><br>plt.xlabel(&quot;Valor da Cor&quot;)<br>plt.ylabel(&quot;Pixels&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1GykkHj22FGsi5UuDKbFXg.png" /><figcaption>Nesse trecho junteis os 3 plots em um só para diminuir o código para o leitor</figcaption></figure><p>Nós plotamos histogramas de cores para diferentes canais de cor (vermelho, verde e azul) de imagens selecionadas e cada imagem selecionada é convertida em um histograma que representa a distribuição da intensidade das cores ao longo do canal de cor específico.</p><p>Cada histograma mostra a quantidade de pixels em relação à intensidade de cor, onde o eixo x representa os valores de intensidade de cor (de 0 a 255) e o eixo y representa o número de pixels com essa intensidade de cor. Esses histogramas ajudam a visualizar como as intensidades de cores estão distribuídas em cada canal de cor das imagens selecionadas. A configuração dos limites do gráfico (`plt.xlim` e `plt.ylim`) controla o intervalo dos valores ao longo dos eixos x e y, respectivamente.</p><h4><strong>7.0 TÉCNICA CLAHE</strong></h4><p>CLAHE (Contrast Limited Adaptive Histogram Equalization) é uma técnica de processamento de imagens utilizada para melhorar o contraste local em uma imagem. É uma extensão da Equalização de Histograma (HE), mas com a vantagem de limitar o aumento do contraste em regiões de alta variação de intensidade, evitando assim a amplificação do ruído.</p><p>O CLAHE divide a imagem em pequenas regiões chamadas “tiles” e calcula o histograma de cada uma dessas regiões. Em seguida, ele aplica a equalização de histograma apenas para essas regiões, mas com um limite definido para evitar o aumento excessivo do contraste. Isso ajuda a evitar a amplificação do ruído em regiões homogêneas da imagem, mantendo ao mesmo tempo o aumento do contraste nas áreas de interesse.</p><p>Essa técnica é especialmente útil em imagens médicas e de sensoriamento remoto, onde o contraste local pode ser crucial para a detecção de características importantes.</p><pre>indice_acrecao = acrecao_lista[1]<br>img_cinza = cv2.cvtColor(indice_acrecao, cv2.COLOR_RGB2GRAY)<br><br># Cria um objeto CLAHE (Contrast Limited Adaptive Histogram Equalization)<br>clahe = cv2.createCLAHE(clipLimit=5.0, tileGridSize=(8,8))<br><br># Aplica o CLAHE à imagem em tons de cinza<br>util_clahe = clahe.apply(img_cinza)<br><br># Cria uma figura com três subplots<br>figure, axis = plt.subplots(1, 3, figsize=(18,18))<br><br>axis[0].set_xlabel(indice_acrecao.shape)<br>axis[0].set_ylabel(indice_acrecao.size)<br>axis[0].set_title(&quot;ORIGINAL&quot;)<br>axis[0].imshow(indice_acrecao, cmap=&quot;gray&quot;)<br><br>axis[1].set_xlabel(img_cinza.shape)<br>axis[1].set_ylabel(img_cinza.size)<br>axis[1].set_title(&quot;L.CINZA&quot;)<br>axis[1].imshow(img_cinza, cmap=&quot;gray&quot;)<br><br>axis[2].set_xlabel(util_clahe.shape)<br>axis[2].set_ylabel(util_clahe.size)<br>axis[2].set_title(&quot;CLAHE&quot;)<br>axis[2].imshow(util_clahe, cmap=&quot;hot&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1014/1*JP8q20bze_lbck8Us8LPAA.png" /><figcaption>No código original, existem mais demonstrações, aqui reduzirei a apenas uma.</figcaption></figure><p>Os três últimos códigos têm como objetivo principal a aplicação de técnicas de equalização de histograma em imagens para melhorar o contraste e a qualidade visual.</p><p>No primeiro código, é utilizada a função `cv2.equalizeHist()` para equalizar o histograma da imagem em escala de cinza. A imagem original, a versão em escala de cinza e a imagem após a equalização são exibidas.</p><p>Nos dois últimos códigos, é empregado o método CLAHE (Contrast Limited Adaptive Histogram Equalization), que é uma variação da equalização de histograma com capacidade de limitação de contraste e adaptação local. Ambos os códigos exibem a imagem original, a versão em escala de cinza e a imagem após a aplicação do CLAHE, com variação nos parâmetros utilizados para demonstrar diferentes efeitos.</p><p>Os plots podem parecer idênticos nos três últimos códigos porque, apesar de diferentes técnicas de equalização de histograma estarem sendo aplicadas, os parâmetros utilizados podem não ser suficientemente distintos para gerar diferenças visíveis nos resultados.</p><p>Além disso, se as imagens de entrada forem muito semelhantes ou se não houver variação significativa nos histogramas originais, as diferenças após a equalização podem ser sutis e dificilmente perceptíveis.</p><p>Para tornar as diferenças mais evidentes, é possível ajustar os parâmetros de equalização ou escolher imagens com características mais diversas, o que pode resultar em variações mais significativas nos histogramas equalizados.</p><h4><strong>8.0 CONTORNOS E POLÍGONOS</strong></h4><p>Os contornos e polígonos têm significados específicos quando aplicados ao contexto dos buracos negros:</p><p>1. <strong>Contornos:</strong></p><ul><li>Nos buracos negros, os contornos podem representar fronteiras ou limites de regiões de interesse, como o horizonte de eventos (também conhecido como horizonte de Schwarzschild) ou áreas de alta densidade de matéria em torno do buraco negro.</li><li>Ao detectar e visualizar contornos em simulações ou observações de buracos negros, os cientistas podem identificar áreas significativas, como regiões de acreção ou estruturas de jatos relativísticos.</li><li>Além disso, a detecção de contornos pode ajudar a mapear a morfologia e a geometria das estruturas em torno do buraco negro, fornecendo insights sobre a dinâmica e a evolução desses objetos.</li></ul><p>2. <strong>Polígonos:</strong></p><ul><li>A aproximação de contornos por polígonos (poligonização) é uma técnica comum para simplificar formas complexas. No contexto dos buracos negros, isso pode significar simplificar fronteiras ou estruturas observadas em simulações ou dados observacionais.</li><li>A simplificação de contornos por polígonos pode ajudar na análise e interpretação de dados, fornecendo uma representação mais clara e computacionalmente eficiente das características dos buracos negros e seus arredores.</li><li>Essa simplificação também pode ser útil para extrair características importantes dos dados, como a forma e a orientação do horizonte de eventos ou a distribuição espacial de matéria em torno do buraco negro.</li></ul><p>Realizamos a detecção e visualização de contornos em imagens. Isso é útil para diversas aplicações de processamento de imagem, como reconhecimento de objetos, detecção de bordas e segmentação de objetos. O código seleciona uma imagem, converte-a para escala de cinza, aplica um limiar para destacar áreas de interesse, encontra e simplifica os contornos, desenha-os na imagem original e exibe as etapas do processo em uma única figura para comparação.</p><pre># Carrega uma imagem da lista de imagens<br>indice_acrecao = acrecao_lista[1]<br><br># Converte a imagem para escala de cinza<br>img_cinza = cv2.cvtColor(indice_acrecao, cv2.COLOR_RGB2GRAY)<br><br># Aplica um limiar para obter as áreas onde os pixels são maiores que 55<br>_, limiar_zero = cv2.threshold(img_cinza, 55, 255, cv2.THRESH_TOZERO)<br><br># Encontra os contornos na imagem limiar_zero usando o algoritmo RETR_TREE<br># e aproxima esses contornos para simplificar a forma<br>Contours, _ = cv2.findContours(limiar_zero, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)<br><br># Itera sobre cada contorno encontrado<br>for cnt in Contours:<br>    # Aproxima o contorno para uma forma mais simples<br>    approx = cv2.approxPolyDP(cnt, 0.09 * cv2.arcLength(cnt, True), True)<br>    <br>    # Desenha os contornos aproximados na imagem original<br>    contorno_desenho = cv2.drawContours(img_cinza, [approx], 0, (0, 255, 0), 5)<br>    <br>    # Itera sobre os pontos do contorno aproximado<br>    n_count = approx.ravel()<br>    i = 0<br>    for j in n_count:<br>        if (i % 2 == 0):<br>            x = n_count[i]<br>            y = n_count[i + 1]<br>            <br>            # Adiciona as coordenadas como texto nos pontos do contorno<br>            if (i == 0):<br>                cv2.putText(img_cinza, f&quot;{x},{y}&quot;, (x, y), cv2.FONT_HERSHEY_COMPLEX, 0.5, (255, 0, 255))<br>            else:<br>                cv2.putText(img_cinza, &quot;+&quot;, (x, y), cv2.FONT_HERSHEY_COMPLEX, 0.5, (0, 0, 255))<br>                <br>        i = i + 1<br><br># Cria uma figura com 1 linha e 3 colunas para exibir as imagens<br>figure, axis = plt.subplots(1, 3, figsize=(18, 18))<br><br># ========== PLOT ==========<br>axis[0].set_xlabel(img_cinza.shape)<br>axis[0].set_ylabel(img_cinza.size)<br>axis[0].set_title(&quot;CINZA&quot;)<br>axis[0].imshow(img_cinza, cmap=&quot;gray&quot;)<br><br>axis[1].set_xlabel(limiar_zero.shape)<br>axis[1].set_ylabel(limiar_zero.size)<br>axis[1].set_title(&quot;L.ZERO&quot;)<br>axis[1].imshow(limiar_zero, cmap=&quot;hot&quot;)<br><br>axis[2].set_xlabel(contorno_desenho.shape)<br>axis[2].set_ylabel(contorno_desenho.size)<br>axis[2].set_title(&quot;CONTORNO DE DESENHO&quot;)<br>axis[2].imshow(contorno_desenho, cmap=&quot;hot&quot;)  <br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1015/1*aiYy-QUe31xPGdduCvLl4A.png" /><figcaption>Novamente, código reduzido.</figcaption></figure><p>Os plots mostram diferentes estágios do processo de detecção e visualização de contornos em imagens:</p><p>1. No primeiro conjunto de plots, a imagem em escala de cinza é exibida, seguida pela imagem limiarizada (L.ZERO) e pelo desenho dos contornos na imagem original.</p><p>2. No segundo conjunto de plots, os valores de limiarização são diferentes, resultando em uma imagem limiarizada diferente (L.ZERO) e, consequentemente, em diferentes contornos desenhados na imagem original.</p><p>3. No terceiro conjunto de plots, uma imagem diferente é selecionada da lista, resultando em contornos distintos, embora o processo de detecção e visualização seja o mesmo.</p><p>4. No quarto conjunto de plots, outra imagem é selecionada, levando a contornos diferentes na imagem original.</p><p>Em resumo, destacamos as diferenças entre os plots residem principalmente nas imagens de entrada e nos valores de limiarização aplicados, o que afeta diretamente os contornos resultantes na imagem original.</p><h4><strong>9.0 VISÃO GERAL E PROCESSO APROXIMADOS</strong></h4><p>Aqui queremos detectar e visualizar de contornos em imagens, o que pode ser útil para identificar características relevantes, como bordas de objetos ou estruturas, dentro das imagens de interesse. A detecção de contornos é uma etapa importante em muitas aplicações de processamento de imagem, incluindo análise de imagens astronômicas, como as imagens de buracos negros.</p><pre>indice_acrecao = acrecao_lista[277]<br><br># Converte a imagem para escala de cinza<br>img_cinza = cv2.cvtColor(indice_acrecao, cv2.COLOR_RGB2GRAY)<br><br># Aplica um limiar na imagem para transformar em uma imagem binária<br>_, limiar_zero = cv2.threshold(img_cinza, 220, 255, cv2.THRESH_TOZERO)<br><br># Encontra os contornos na imagem binarizada.<br>Contours, _ = cv2.findContours(limiar_zero, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)<br><br>for cnt in Contours:<br>    approx = cv2.approxPolyDP(cnt, 0.09 * cv2.arcLength(cnt, True), True)<br>    contorno_desenho = cv2.drawContours(img_cinza, [approx], 0, (255, 255, 0), 3)<br>    n_count = approx.ravel()<br>    i = 0<br><br>    for j in n_count:<br>        if (i % 2 == 0):<br>            # Obtém as coordenadas x e y<br>            x = n_count[i]<br>            y = n_count[i + 1]<br>            <br>            # Cria uma string com as coordenadas x e y<br>            string_coor = str(x) + &quot; &quot; + str(y)<br>            <br>        # Incrementa i para acessar a próxima coordenada<br>        i += 1<br><br># ===== IMPRIMINDO OS VALORES<br>print(&#39;Array Unidimensional&#39;)<br># Imprime o array unidimensional de coordenadas<br>print(n_count)<br>print(&#39;--&#39;*5)<br># Imprime o shape do array unidimensional de coordenadas<br>print(&#39;Shape:&#39;)<br>print(n_count.shape)<br># Separador<br>print(&quot;===========&quot;*5)<br><br># Reshape (redimensiona) o array unidimensional de coordenadas para ter 4 linhas e 2 colunas<br>array_redimensionado = n_count.reshape(4,2)<br><br>print(&#39;Array Redimensionado&#39;)<br># Imprime o array redimensionado<br>print(array_redimensionado)<br>print(&#39;--&#39;*5)<br># Imprime o shape do array redimensionado<br>print(&#39;Shape:&#39;)<br>print(array_redimensionado.shape)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/322/1*pdqsj3mhqyIw6lDJvc-_og.png" /></figure><h4><strong>10 TRANSFORMAÇÃO DE COORDENADAS</strong></h4><p>A partir daqui o objetivo de medir a distância entre o ponto de singularidade e os braços espirais em imagens relacionadas a buracos negros é entender a estrutura e a dinâmica desses sistemas astrofísicos complexos. Isso inclui estudar a formação e evolução dos buracos negros, mapear a distribuição de matéria ao redor deles, investigar a dinâmica dos braços espirais, identificar estruturas relacionadas como discos de acreção e jatos relativísticos, e construir modelos teóricos e simulações para melhor compreensão e previsão de observações futuras.</p><p>Essas medições são fundamentais para avançar nosso conhecimento sobre a física dos buracos negros e seu papel na evolução galáctica.</p><pre># Cria uma figura com 1 linha e 4 colunas para exibir as imagens<br>figure, axis = plt.subplots(1, 4, figsize=(18, 18))<br><br>indice_acrecao = acrecao_lista[2]<br>img_cinza = cv2.cvtColor(indice_acrecao, cv2.COLOR_RGB2GRAY)<br>_, limiar_zero = cv2.threshold(img_cinza, 220, 255, cv2.THRESH_TOZERO)<br>Contours, _ = cv2.findContours(limiar_zero, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)<br><br># Cria uma cópia da imagem original para marcação dos pontos aproximados<br>copia_img = indice_acrecao.copy()<br><br># Cria uma matriz de zeros para marcação dos pontos aproximados<br>matriz_zerada = np.zeros((copia_img.shape[0], copia_img.shape[1]), dtype=np.float32)<br><br># Lista para armazenar todos os pontos aproximados<br>pontos_aprox = []<br><br>for cnt in Contours:<br>    approx = cv2.approxPolyDP(cnt, 0.09 * cv2.arcLength(cnt, True), True)<br>    contorno_desenho = cv2.drawContours(img_cinza, [approx], 0, (255, 255, 0), 3)<br>    <br>    n_count = approx.ravel()<br>    i = 0<br>    for x_cor in n_count:<br>        x_cor = int(x_cor)<br>        # Marca os pontos aproximados na imagem original com um marcador magenta verticalmente centralizado<br>        Marker_IMG = cv2.drawMarker(copia_img, (x_cor, int(copia_img.shape[1] / 2)), (255, 0, 255), thickness=1)<br>    <br>    # Adiciona os pontos aproximados à lista pontos_aprox<br>    pontos_aprox.append(n_count)<br>    <br>    # Itera sobre os pontos do contorno aproximado<br>    for j in n_count:<br>        if (i % 2 == 0):<br>            x = n_count[i]<br>            y = n_count[i + 1]<br>            string_coor = str(x) + &quot; &quot; + str(y)<br>            if (i == 0):<br>                cv2.putText(img_cinza, f&quot;{x},{y}&quot;, (x, y), cv2.FONT_HERSHEY_COMPLEX, 0.4, (255, 0, 255))<br>            else:<br>                cv2.putText(img_cinza, &quot;+&quot;, (x, y), cv2.FONT_HERSHEY_COMPLEX, 0.4, (0, 0, 255))<br>        i += 1<br><br># Imagem em escala de cinza<br>axis[0].set_xlabel(img_cinza.shape)<br>axis[0].set_ylabel(img_cinza.size)<br>axis[0].set_title(&quot;CINZA&quot;)<br>axis[0].imshow(img_cinza, cmap=&quot;gray&quot;)<br><br># Limiar zero<br>axis[1].set_xlabel(limiar_zero.shape)<br>axis[1].set_ylabel(limiar_zero.size)<br>axis[1].set_title(&quot;ZERO&quot;)<br>axis[1].imshow(limiar_zero, cmap=&quot;hot&quot;)<br><br># Limiar contornado<br>axis[2].set_xlabel(contorno_desenho.shape)<br>axis[2].set_ylabel(contorno_desenho.size)<br>axis[2].set_title(&quot;CONTORNO&quot;)<br>axis[2].imshow(contorno_desenho, cmap=&quot;hot&quot;) <br><br># Pontos aproximados<br>axis[3].set_xlabel(Marker_IMG.shape)<br>axis[3].set_ylabel(Marker_IMG.size)<br>axis[3].set_title(&quot;P.APROXIMADOS&quot;)<br>axis[3].imshow(Marker_IMG)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1014/1*VlX-o1rkDlQua-_29WSIiQ.png" /></figure><pre># Calcula o comprimento máximo entre todas as sublistas em pontos_aprox<br>tamanho_lista = max(len(sublist) for sublist in pontos_aprox)<br><br># Preenche cada sublista em pontos_aprox com zeros para ter o mesmo comprimento máximo<br>padded_arrays = [np.pad(sublist, (0, tamanho_lista - len(sublist))) for sublist in pontos_aprox]<br><br># Converte a lista de sublistas preenchidas em um array numpy bidimensional<br>lista_preenchida = np.array(padded_arrays)<br><br># Imprime a forma do array numpy bidimensional resultante<br># print(&quot;TAMANHO TOTAL DO ARRAY: &quot;, lista_preenchida.shape)<br><br># Cria uma figura com uma linha e quatro colunas para exibir as imagens processadas<br>figure, axis = plt.subplots(1, 4, figsize=(18, 18))<br><br># Seleciona uma imagem da lista de imagens de aeração<br>indice_acrecao = acrecao_lista[488]<br><br><br>img_cinza = cv2.cvtColor(indice_acrecao, cv2.COLOR_RGB2GRAY)<br>_, limiar_zero = cv2.threshold(img_cinza, 220, 255, cv2.THRESH_TOZERO)<br>Contours, _ = cv2.findContours(limiar_zero, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)<br><br>copia_img = indice_acrecao.copy()<br>matriz_zerada = np.zeros((copia_img.shape[0], copia_img.shape[1]), dtype=np.float32)<br><br><br>for cnt in Contours:<br>    approx = cv2.approxPolyDP(cnt, 0.09 * cv2.arcLength(cnt, True), True)<br>    contorno_desenho = cv2.drawContours(img_cinza, [approx], 0, (255, 255, 0), 3)<br>    n_count = approx.ravel()<br>    i = 0<br>    <br>    for x_cor in n_count:<br>        # Converte as coordenadas x para int<br>        x_cor = int(x_cor)<br>        # Desenha um marcador na posição x, metade da altura da imagem<br>        Marker_IMG = cv2.drawMarker(copia_img, (x_cor, int(copia_img.shape[1] / 2)), (255, 0, 255), thickness=1)<br>    <br>    # Exibe as coordenadas do contorno aproximado<br>    print(n_count)<br>    <br>    # Itera sobre as coordenadas do contorno aproximado<br>    for j in n_count:<br>        # Verifica se j é um índice par (coordenada x)<br>        if (i % 2 == 0):<br>            # Obtém as coordenadas x e y<br>            x = n_count[i]<br>            y = n_count[i + 1]<br>            <br>            # Cria uma string com as coordenadas x e y<br>            string_coor = str(x) + &quot; &quot; + str(y)<br>            <br>            # Adiciona as coordenadas como texto na imagem em tons de cinza<br>            if (i == 0):<br>                cv2.putText(img_cinza, f&quot;{x},{y}&quot;, (x, y), cv2.FONT_HERSHEY_COMPLEX, 0.4, (255, 0, 255))<br>            else:<br>                cv2.putText(img_cinza, &quot;+&quot;, (x, y), cv2.FONT_HERSHEY_COMPLEX, 0.4, (0, 0, 255))<br>                <br>        # Incrementa i para acessar a próxima coordenada<br>        i = i + 1<br><br>axis[0].set_xlabel(img_cinza.shape)<br>axis[0].set_ylabel(img_cinza.size)<br>axis[0].set_title(&quot;CINZA&quot;)<br>axis[0].imshow(img_cinza, cmap=&quot;gray&quot;)<br><br>axis[1].set_xlabel(limiar_zero.shape)<br>axis[1].set_ylabel(limiar_zero.size)<br>axis[1].set_title(&quot;ZERO&quot;)<br>axis[1].imshow(limiar_zero, cmap=&quot;hot&quot;)<br><br>axis[2].set_xlabel(contorno_desenho.shape)<br>axis[2].set_ylabel(contorno_desenho.size)<br>axis[2].set_title(&quot;CONTORNO&quot;)<br>axis[2].imshow(contorno_desenho, cmap=&quot;hot&quot;) <br><br>axis[3].set_xlabel(Marker_IMG.shape)<br>axis[3].set_ylabel(Marker_IMG.size)<br>axis[3].set_title(&quot;APROXIMADOS&quot;)<br>axis[3].imshow(Marker_IMG)<br>plt.show()<br></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WXQv4Gv34vxbEIzumrhX6A.png" /></figure><p><em>Aqui foram retiradas mais algumas visualizações, para facilitar a leitura.</em></p><pre>figure, axis = plt.subplots(1, 6, figsize=(18, 18))<br>indice_acrecao = acrecao_lista[100]<br>img_cinza = cv2.cvtColor(indice_acrecao, cv2.COLOR_RGB2GRAY)<br>_, limiar_zero = cv2.threshold(img_cinza, 55, 255, cv2.THRESH_TOZERO)<br>Contours, _ = cv2.findContours(limiar_zero, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)<br>copia_img = indice_acrecao.copy()<br>matriz_zerada = np.zeros((copia_img.shape[0], copia_img.shape[1]), dtype=np.float32)<br><br>for cnt in Contours:<br>    approx = cv2.approxPolyDP(cnt, 0.09 * cv2.arcLength(cnt, True), True)<br>    contorno_desenho = cv2.drawContours(img_cinza, [approx], 0, (0, 255, 0), 3)<br>    n_count = approx.ravel()<br>    i = 0<br>    <br>    for j in n_count:<br>        if (i % 2 == 0):<br>            x = n_count[i]<br>            y = n_count[i + 1]<br>            <br>            Marker_IMG = cv2.drawMarker(copia_img, (int(x), int(y)), (0, 255, 0), thickness=1)<br>            matriz_zerada[int(y), int(x)] = 1<br><br>            if (i == 0):<br>                cv2.putText(img_cinza, f&quot;{x},{y}&quot;, (x, y), cv2.FONT_HERSHEY_COMPLEX, 0.4, (255, 0, 255))<br>            else:<br>                cv2.putText(img_cinza, &quot;+&quot;, (x, y), cv2.FONT_HERSHEY_COMPLEX, 0.4, (0, 0, 255))<br>                <br>        i = i + 1<br><br>gaussiana_img = gaussian_filter(matriz_zerada, sigma=8, truncate=4*4)<br><br>axis[0].set_xlabel(img_cinza.shape)<br>axis[0].set_ylabel(img_cinza.size)<br>axis[0].set_title(&quot;CINZA&quot;)<br>axis[0].imshow(img_cinza, cmap=&quot;gray&quot;)<br><br>axis[1].set_xlabel(limiar_zero.shape)<br>axis[1].set_ylabel(limiar_zero.size)<br>axis[1].set_title(&quot;ZERO&quot;)<br>axis[1].imshow(limiar_zero, cmap=&quot;hot&quot;)<br><br>axis[2].set_xlabel(contorno_desenho.shape)<br>axis[2].set_ylabel(contorno_desenho.size)<br>axis[2].set_title(&quot;CONTORNO&quot;)<br>axis[2].imshow(contorno_desenho, cmap=&quot;hot&quot;) <br><br>axis[3].set_xlabel(Marker_IMG.shape)<br>axis[3].set_ylabel(Marker_IMG.size)<br>axis[3].set_title(&quot;APROXIMADO&quot;)<br>axis[3].imshow(Marker_IMG)<br><br>axis[4].set_xlabel(matriz_zerada.shape)<br>axis[4].set_ylabel(matriz_zerada.size)<br>axis[4].set_title(&quot;TRANSFORMADO&quot;)<br>axis[4].imshow(matriz_zerada)<br><br>axis[5].set_xlabel(gaussiana_img.shape)<br>axis[5].set_ylabel(gaussiana_img.size)<br>axis[5].set_title(&quot;T.GAUSSIANA&quot;)<br>axis[5].imshow(gaussiana_img)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1019/1*BfY1AojNeIzX-m8hdy2D0w.png" /></figure><pre>indice_acrecao = acrecao_lista[100]<br>img_cinza = cv2.cvtColor(indice_acrecao, cv2.COLOR_RGB2GRAY)<br>_, limiar_zero = cv2.threshold(img_cinza, 20, 255, cv2.THRESH_TOZERO)<br>Contours, _ = cv2.findContours(limiar_zero, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)<br>copia_img = indice_acrecao.copy()<br>matriz_zerada = np.zeros((copia_img.shape[0], copia_img.shape[1]), dtype=np.float32)<br><br>for cnt in Contours:<br>    approx = cv2.approxPolyDP(cnt, 0.009 * cv2.arcLength(cnt, True), True)<br>    n_count = approx.ravel()<br>    i = 0<br>    <br>    for j in n_count:<br>        if (i % 2 == 0):  # Verifica se é um índice par (coordenada x)<br>            x = n_count[i]<br>            y = n_count[i + 1]<br>            <br>            # Marca os pontos na matriz zerada<br>            matriz_zerada[int(y), int(x)] = 1<br>        <br>        i = i + 1<br><br>gaussiana_img = gaussian_filter(matriz_zerada, sigma=5, truncate=4*4)<br><br># Plota a imagem original e a imagem de destino (após aplicação do filtro gaussiano) lado a lado<br>figure, axis = plt.subplots(1, 2, figsize=(18, 18))<br><br>axis[0].set_xlabel(indice_acrecao.shape)<br>axis[0].set_ylabel(indice_acrecao.size)<br>axis[0].set_title(&quot;ORIGINAL&quot;)<br>axis[0].imshow(indice_acrecao)<br><br>axis[1].set_xlabel(gaussiana_img.shape)<br>axis[1].set_ylabel(gaussiana_img.size)<br>axis[1].set_title(&quot;TARGET&quot;)<br>axis[1].imshow(gaussiana_img, cmap=&quot;hot&quot;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1013/1*3qyact-nPiVorlPLh8ISPA.png" /></figure><p><em>Novamente, você já sabe…rsrsrs</em></p><p>Com esse código realizamos a detecção de contornos em imagens de buracos negros, aproximando esses contornos para simplificá-los. Os pontos aproximados são marcados na imagem original para identificar características como os braços espirais. As imagens são então processadas em diferentes etapas, como escala de cinza e limiarização, para visualizar o progresso do processamento.</p><p>A matriz de pontos é transformada e suavizada com um filtro gaussiano para reduzir o ruído. A comparação entre as imagens originais e as processadas permite a análise das mudanças e a avaliação da eficácia do processamento. Essas etapas são cruciais para entender as características das imagens relacionadas a buracos negros, especialmente os braços espirais, contribuindo para a pesquisa astronômica e a compreensão dos fenômenos envolvidos.</p><h4><strong>11. PONTOS-CHAVE COM COORDENADAS</strong></h4><p>Aqui indentificamos pontos e coordenadas referentes às localizações específicas dos pontos-chave detectados nas imagens de buracos negros. Esses pontos-chave são identificados usando algoritmos de detecção, como o algoritmo SIFT (Scale-Invariant Feature Transform). As coordenadas desses pontos são utilizadas para marcar e visualizar características importantes, como contornos e padrões, nas imagens processadas. Essa abordagem permite a análise detalhada das características dos braços espirais em torno dos buracos negros, contribuindo para a compreensão dos fenômenos astronômicos envolvidos.</p><pre>figure, axis = plt.subplots(1, 3, figsize=(18, 18))<br>indice_acrecao = acrecao_lista[387]<br>img_cinza = cv2.cvtColor(indice_acrecao, cv2.COLOR_RGB2GRAY)<br>_, limiar_zero = cv2.threshold(img_cinza, 10, 255, cv2.THRESH_TOZERO)<br>Contours, _ = cv2.findContours(limiar_zero, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)<br>copia_img = indice_acrecao.copy()<br>matriz_zerada = np.zeros((copia_img.shape[0], copia_img.shape[1]), dtype=np.float32)<br><br>for cnt in Contours:<br>    approx = cv2.approxPolyDP(cnt, 0.009 * cv2.arcLength(cnt, True), True)    <br>    n_count = approx.ravel()<br>    i = 0<br>    <br>    for j in n_count:<br>        if (i % 2 == 0):  <br>            x = n_count[i]<br>            y = n_count[i + 1]<br>            <br>            matriz_zerada[int(y), int(x)] = 1<br>                <br>        i = i + 1<br>    <br>gaussiana_img = gaussian_filter(matriz_zerada, sigma=5, truncate=4*4)<br><br># Cria um detector SIFT<br>sift_detector = cv2.SIFT_create()<br><br># Detecta e calcula os descritores dos pontos-chave na imagem binarizada<br>keypoints, desc = sift_detector.detectAndCompute(limiar_zero, None)<br><br># Desenha os pontos-chave na imagem original<br>pc_IMG = cv2.drawKeypoints(img_cinza, keypoints, img_cinza)<br><br>axis[0].set_xlabel(indice_acrecao.shape)<br>axis[0].set_ylabel(indice_acrecao.size)<br>axis[0].set_title(&quot;ORIGINAL&quot;)<br>axis[0].imshow(indice_acrecao)<br><br>axis[1].set_xlabel(gaussiana_img.shape)<br>axis[1].set_ylabel(gaussiana_img.size)<br>axis[1].set_title(&quot;TARGET&quot;)<br>axis[1].imshow(gaussiana_img, cmap=&quot;hot&quot;)<br><br>axis[2].set_xlabel(pc_IMG.shape)<br>axis[2].set_ylabel(pc_IMG.size)<br>axis[2].set_title(&quot;PONTOS-CHAVE&quot;)<br>axis[2].imshow(pc_IMG)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1012/1*JoIn-69dHyu6wHpMz5u0Aw.png" /></figure><h4><strong>12. ESQUELETO COM ALVO</strong></h4><p>Decidimos gerar uma representação do “esqueleto” das imagens de buracos negros. O processo começa convertendo a imagem original para tons de cinza e aplicando um limiar para destacar as regiões de interesse. Em seguida, é detectado o contorno dessas regiões e aproximado para reduzir a complexidade.</p><p>O “esqueleto” é obtido aplicando um filtro gaussiano à matriz resultante, seguido pela transformação em um esqueleto usando a função `skeletonize` do módulo `morphology` do pacote `scikit-image`. O esqueleto é uma representação simplificada das características principais da imagem, útil para análises posteriores. O código também inclui a exibição das imagens original, de destino (após o filtro gaussiano) e do esqueleto em um subplot de três colunas para comparação visual.</p><pre>figure,axis = plt.subplots(1,3,figsize=(18,18))<br>indice_acrecao = acrecao_lista[387]<br>img_cinza = cv2.cvtColor(indice_acrecao,cv2.COLOR_RGB2GRAY)<br>_,limiar_zero = cv2.threshold(img_cinza,10,255,cv2.THRESH_TOZERO)<br>Contours,_ = cv2.findContours(limiar_zero,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)<br>copia_img = indice_acrecao.copy()<br>matriz_zerada = np.zeros((copia_img.shape[0],copia_img.shape[1]),dtype=np.float32)<br><br>for cnt in Contours:<br>    approx = cv2.approxPolyDP(cnt,0.009*cv2.arcLength(cnt,True),True)    <br>    n_count = approx.ravel()<br>    i = 0<br><br>    for j in n_count:<br>        if (i % 2 == 0):<br>            x = n_count[i]<br>            y = n_count[i + 1]<br>            <br>            string_coor = str(x) + &quot; &quot; + str(y)<br>            matriz_zerada[int(y),int(x)] = 1<br>                <br>        i = i + 1<br>    <br>gaussiana_img = gaussian_filter(matriz_zerada,sigma=5,truncate=4*4)<br>array_target = np.array(img_cinza &gt; gaussiana_img).astype(int)<br>esqueleto_IMG = skimage.morphology.skeletonize(array_target)<br><br>axis[0].set_xlabel(indice_acrecao.shape)<br>axis[0].set_ylabel(indice_acrecao.size)<br>axis[0].set_title(&quot;ORIGINAL&quot;)<br>axis[0].imshow(indice_acrecao)<br><br>axis[1].set_xlabel(gaussiana_img.shape)<br>axis[1].set_ylabel(gaussiana_img.size)<br>axis[1].set_title(&quot;TARGET&quot;)<br>axis[1].imshow(gaussiana_img,cmap=&quot;hot&quot;)<br><br>axis[2].set_xlabel(esqueleto_IMG.shape)<br>axis[2].set_ylabel(esqueleto_IMG.size)<br>axis[2].set_title(&quot;ESQUELETO&quot;)<br>axis[2].imshow(esqueleto_IMG)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1014/1*IswwEpAzqc3FbaItR8A1Mg.png" /></figure><p><em>Novamente…</em></p><h4><strong>13. ESPECTRO HESSIANO COM ALVO</strong></h4><p>Aqui fizemos a análide do espectro Hessiano das imagens de buracos negros. Começa convertendo a imagem original para tons de cinza e aplicando um limiar para destacar as regiões de interesse. Em seguida, é calculado o espectro Hessiano dessas regiões, que é uma matriz que contém informações sobre a curvatura da imagem em cada ponto.</p><p>Essa matriz é decomposta em seus autovalores, que representam a magnitude da curvatura em duas direções ortogonais. As imagens resultantes dos autovalores máximos e mínimos são exibidas para visualização. O objetivo dessa análise é identificar características importantes nas imagens relacionadas a buracos negros, como bordas ou regiões de alta curvatura. O código inclui a exibição das imagens original, de destino (após o filtro gaussiano) e dos espectros Hessiano máximo e mínimo em um subplot de quatro colunas para comparação visual.</p><p><strong>O ESPECTRO HESSIANO:</strong></p><p>O espectro Hessiano é uma técnica de processamento de imagens que analisa a curvatura local em cada ponto da imagem. Ele é útil para detectar bordas e regiões de mudanças abruptas na imagem. Isso é feito calculando os autovalores da matriz Hessiana em cada ponto, o que fornece informações sobre a direção e magnitude da curvatura. Em essência, o espectro Hessiano ajuda a identificar características importantes nas imagens, como bordas e detalhes relevantes.</p><pre>figure,axis = plt.subplots(1,4,figsize=(18,18))<br>indice_acrecao = acrecao_lista[499]<br>img_cinza = cv2.cvtColor(indice_acrecao,cv2.COLOR_RGB2GRAY)<br>_,limiar_zero = cv2.threshold(img_cinza,10,255,cv2.THRESH_TOZERO)<br>Contours,_ = cv2.findContours(limiar_zero,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)<br>copia_img = indice_acrecao.copy()<br>matriz_zerada = np.zeros((copia_img.shape[0],copia_img.shape[1]),dtype=np.float32)<br><br>for cnt in Contours:<br>    approx = cv2.approxPolyDP(cnt,0.009*cv2.arcLength(cnt,True),True)    <br>    n_count = approx.ravel()<br>    i = 0<br><br>    for j in n_count:<br>        if (i % 2 == 0):<br>            x = n_count[i]<br>            y = n_count[i + 1]<br>            <br>            string_coor = str(x) + &quot; &quot; + str(y)<br>            matriz_zerada[int(y),int(x)] = 1<br>                <br>        i = i + 1<br>    <br>gaussiana_img = gaussian_filter(matriz_zerada,sigma=5,truncate=4*4)<br>hessiano_IMG = hessian_matrix(gaussiana_img,sigma=0.5,order=&quot;rc&quot;)<br>max_IMG,min_IMG = hessian_matrix_eigvals(hessiano_IMG)<br><br>axis[0].set_xlabel(indice_acrecao.shape)<br>axis[0].set_ylabel(indice_acrecao.size)<br>axis[0].set_title(&quot;ORIGINAL&quot;)<br>axis[0].imshow(indice_acrecao)<br><br>axis[1].set_xlabel(gaussiana_img.shape)<br>axis[1].set_ylabel(gaussiana_img.size)<br>axis[1].set_title(&quot;TARGET&quot;)<br>axis[1].imshow(gaussiana_img,cmap=&quot;hot&quot;)<br><br>axis[2].set_xlabel(max_IMG.shape)<br>axis[2].set_ylabel(max_IMG.size)<br>axis[2].set_title(&quot;MAX&quot;)<br>axis[2].imshow(max_IMG)<br><br>axis[3].set_xlabel(min_IMG.shape)<br>axis[3].set_ylabel(min_IMG.size)<br>axis[3].set_title(&quot;MIN&quot;)<br>axis[3].imshow(min_IMG)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1016/1*tUDUZMJi2K5TKtrfwVCpWQ.png" /></figure><h4><strong>14. VISÃO GERAL E PROCESSO APROXIMADOS</strong></h4><p>Nessa parte do código realizamos a detecção de contornos em uma imagem específica (índice_acrecao), convertemos a imagem para escala de cinza e aplicamos um limiar para destacar áreas de interesse. Em seguida, são encontrados os contornos na imagem limiarizada e aproximados para reduzir sua complexidade.</p><p>Os contornos aproximados são desenhados na imagem original para fins de visualização. Posteriormente, são extraídas as coordenadas dos contornos e são apresentadas de maneira organizada, tanto em um formato unidimensional quanto redimensionado para facilitar sua interpretação. Essa etapa é fundamental para a detecção de contornos em imagens que podem conter buracos negros ou características relacionadas a eles. A detecção de contornos permite identificar e delinear regiões de interesse na imagem, como possíveis estruturas de disco de acreção, jatos ou outras características associadas aos buracos negros.</p><pre>indice_acrecao = acrecao_lista[277]<br>img_cinza = cv2.cvtColor(indice_acrecao, cv2.COLOR_RGB2GRAY)<br>_, limiar_zero = cv2.threshold(img_cinza, 220, 255, cv2.THRESH_TOZERO)<br>Contours, _ = cv2.findContours(limiar_zero, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)<br><br>for cnt in Contours:<br>    approx = cv2.approxPolyDP(cnt, 0.09 * cv2.arcLength(cnt, True), True)<br>    contorno_desenho = cv2.drawContours(img_cinza, [approx], 0, (255, 255, 0), 3)<br>    <br>    n_count = approx.ravel()<br>    i = 0<br>    <br>    for j in n_count:<br>        if (i % 2 == 0):  <br>            x = n_count[i]<br>            y = n_count[i + 1]<br>            string_coor = str(x) + &quot; &quot; + str(y)<br>        <br>        i = i + 1<br><br># ===== IMPRIMINDO OS VALORES<br>print(&#39;Array Unidimensional&#39;)<br># Imprime o array unidimensional de coordenadas<br>print(n_count)<br>print(&#39;--&#39;*5)<br># Imprime o shape do array unidimensional de coordenadas<br>print(&#39;Shape:&#39;)<br>print(n_count.shape)<br># Separador<br>print(&quot;===========&quot;*5)<br><br># Reshape (redimensiona) o array unidimensional de coordenadas para ter 4 linhas e 2 colunas<br>array_redimensionado = n_count.reshape(4,2)<br>print(&#39;Array Redimensionado&#39;)<br># Imprime o array redimensionado<br>print(array_redimensionado)<br>print(&#39;--&#39;*5)<br># Imprime o shape do array redimensionado<br>print(&#39;Shape:&#39;)<br>print(array_redimensionado.shape)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/315/1*5eWMfWO9nSzAs2MqBpYxqg.png" /></figure><h4><strong>15. PROCESSAMENTO DOS DADOS</strong></h4><p>O código em questão faz parte de um projeto relacionado à análise de imagens de buracos negros. Seu objetivo é processar imagens relacionadas a buracos negros, realizando operações como conversão para escala de cinza, aplicação de limiares, identificação de contornos e suavização por filtro gaussiano. Além disso, o código cria listas para armazenar as imagens originais e processadas, permitindo a comparação visual entre elas. Essas operações são fundamentais para compreender e analisar as características das imagens de buracos negros, contribuindo para avanços na área da astrofísica.</p><p>A comparação entre a imagem original e o alvo (target) é essencial para avaliar o processo de transformação realizado nas imagens de buracos negros. A imagem original representa a entrada inicial, geralmente uma imagem bruta capturada por telescópios ou outros dispositivos de observação. Já o alvo (target) é o resultado após a aplicação de diversas etapas de processamento, como conversão para escala de cinza, aplicação de limiares, detecção de contornos e suavização</p><pre># Cria lista vazias para inserção de dados<br>lista_original = []<br>lista_target = []<br><br>for image_x in acrecao_lista:<br>    img_cinza = cv2.cvtColor(image_x, cv2.COLOR_RGB2GRAY)<br>    _, limiar_zero = cv2.threshold(img_cinza, 10, 255, cv2.THRESH_TOZERO)<br>    Contours, _ = cv2.findContours(limiar_zero, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)<br>    matriz_zerada = np.zeros((image_x.shape[0], image_x.shape[1]), dtype=np.float32)<br><br>    for cnt in Contours:<br>        approx = cv2.approxPolyDP(cnt, 0.009 * cv2.arcLength(cnt, True), True)    <br>        n_count = approx.ravel()<br>        i = 0<br><br>        for j in n_count:<br>            if (i % 2 == 0):  <br>                x = n_count[i]<br>                y = n_count[i + 1]<br>                matriz_zerada[int(y), int(x)] = 1<br><br>            i = i + 1<br><br>    gaussiana_img = gaussian_filter(matriz_zerada, sigma=5, truncate=4*4)<br>    # Insere os dados nas respectivas listas<br>    lista_original.append(image_x)<br>    lista_target.append(gaussiana_img)<br><br># Imprime as formas das listas de imagens originais e transformadas<br># print(&quot;Array em formato original: &quot;, np.shape(np.array(lista_original)))<br># print(&quot;Array transformada: &quot;, np.shape(np.array(lista_target)))<br><br># Cria uma figura e um conjunto de eixos com uma linha e duas colunas, especificando o tamanho da figura<br>figure, axis = plt.subplots(1, 2, figsize=(10, 10))<br><br># Plota a primeira imagem na primeira coluna dos eixos<br>axis[0].imshow(lista_original[100])<br><br># Define o label do eixo x como a forma da primeira imagem<br>axis[0].set_xlabel(lista_original[100].shape)<br><br># Define o título da primeira imagem<br>axis[0].set_title(&quot;ORIGINAL&quot;)<br><br># Plota a segunda imagem na segunda coluna dos eixos<br>axis[1].imshow(lista_target[100])<br><br># Define o label do eixo x como a forma da segunda imagem<br>axis[1].set_xlabel(lista_target[100].shape)<br><br># Define o título da segunda imagem<br>axis[1].set_title(&quot;TARGET&quot;)<br>plt.show()</pre><p><em>De novo…</em></p><p>Aqui geramos uma extensão dos plots anteriores. Ele cria uma matriz de subplots 5x5, onde cada subplot exibe uma imagem de destino (target) após o processamento das imagens de buracos negros.</p><pre># Cria uma figura e uma matriz de eixos 5x5 com o tamanho da figura especificado<br>figure, axis = plt.subplots(5, 5, figsize=(20, 20))<br><br># Itera sobre os eixos de forma achatada (em uma única dimensão)<br>for indexing, operations in enumerate(axis.flat):<br>    <br>    # Calcula o índice correspondente na lista de imagens de destino<br>    index_target = indexing * 5<br>    <br>    # Obtém a imagem de destino da lista usando o índice calculado<br>    indice_acrecao = lista_target[index_target]<br>    <br>    # Plota a imagem de destino no eixo atual<br>    operations.imshow(indice_acrecao)<br>    <br>    # Desativa a exibição dos eixos para a imagem atual<br>    operations.axis(&quot;off&quot;)<br>    # plt.savefig(f&quot;IMG_TOTAL{indexing}.png&quot;)<br><br># Ajusta automaticamente o layout da figura para melhor visualização<br>plt.tight_layout()<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/799/1*Ypeip8jRGveQWkQBeVJRfQ.png" /><figcaption>Não estão todos os plots dos array</figcaption></figure><h4><strong>16. PRÉ-PROCESSAMENTO</strong></h4><p>Este trecho de código converte as listas de imagens lista_original e lista_target em arrays NumPy do tipo float32 e normaliza os valores dos pixels dividindo por 255. Após a execução deste código, os conjuntos de treinamento e transformação estarão prontos para serem usados em um modelo de aprendizado de máquina, com os valores dos pixels normalizados para o intervalo [0, 1]. Isso é comum em tarefas de processamento de imagens para garantir que os dados tenham uma escala consistente e facilitem o treinamento do modelo.</p><pre># Converte a lista de imagens original em um array NumPy, especificando o tipo de dados como float32<br>conj_treino = np.array(lista_original, dtype=&quot;float32&quot;)<br><br># Converte a lista de imagens de destino em um array NumPy, especificando o tipo de dados como float32<br>conju_transform = np.array(lista_target, dtype=&quot;float32&quot;)<br><br># Normaliza os valores dos pixels das imagens de treinamento, dividindo por 255<br>conj_treino = conj_treino / 255.<br><br># Normaliza os valores dos pixels das imagens de transformação, dividindo por 255<br>conju_transform = conju_transform / 255.<br><br># Imprime os shapes<br># print(conj_treino.shape)<br># print(conju_transform.shape)</pre><h4><strong>17. MODELO DE REDES NEURAIS</strong></h4><p>Este callback nós usamos durante o treinamento de redes neurais profundas para evitar a perda de progresso em caso de falha ou interrupção no treinamento. Ele salva o modelo periodicamente com base na métrica monitorada, garantindo que você possa retomar o treinamento do ponto onde parou.</p><pre># Importando a classe ModelCheckpoint do módulo callbacks do Keras<br>Checkpoint_Model = tf.keras.callbacks.ModelCheckpoint(<br><br>    # Monitora a métrica &#39;val_accuracy&#39; durante o treinamento<br>    monitor=&quot;val_accuracy&quot;,<br><br>    # Salva apenas o melhor modelo com base na métrica monitorada<br>    save_best_only=True,<br><br>    # Salva apenas os pesos do modelo em vez do modelo inteiro<br>    save_weights_only=True,<br><br>    # Define o caminho onde o modelo será salvo, mantendo a extensão .weights.h5<br>    filepath=&quot;./modelcheck.weights.h5&quot;  <br>)</pre><p>Já nesse callback o objetivo é ajustar dinamicamente a taxa de aprendizado durante o treinamento de uma rede neural com base na performance da métrica de validação (val_accuracy). Ele monitora a métrica de validação val_accuracy. Se não houver uma melhoria significativa nessa métrica após um número específico de épocas (definido pelo parâmetro patience), o callback reduzirá a taxa de aprendizado (learning rate) multiplicando-a pelo fator especificado (factor). Isso ajuda a otimizar o treinamento, permitindo uma redução da taxa de aprendizado quando o modelo estiver estagnado, possibilitando uma convergência mais suave.</p><pre># Importando a classe ReduceLROnPlateau do módulo callbacks do Keras<br>Reduce_Model = tf.keras.callbacks.ReduceLROnPlateau(<br><br>    # Monitora a métrica &#39;val_accuracy&#39; durante o treinamento<br>    monitor=&quot;val_accuracy&quot;,<br><br>    # Fator pelo qual a taxa de aprendizado será reduzida. Por exemplo, nova_lr = lr * factor<br>    factor=0.02,<br><br>    # Mudança mínima necessária para qualificar como uma redução, evitando reduções insignificantes<br>    min_delta=0.0001,<br><br>    # Número de épocas sem melhoria após as quais a taxa de aprendizado será reduzida<br>    patience=5<br>)</pre><p>Configuração dos parâmetros para a compilação do modelo de rede neural</p><pre># Função de perda utilizada durante o treinamento (no caso, para classificação binária)<br>funcao_perda = &quot;binary_crossentropy&quot;<br><br># Otimizador utilizado durante o treinamento (Adam com taxa de aprendizado muito baixa)<br>comp_otimizado = Adam(learning_rate=0.0000001)  <br><br># Número de classes de saída do modelo (no caso de classificação binária, há uma única classe de saída)<br>classes_saida = 1</pre><p>Aqui definimos os modelos do codificador (Encoder_G) e do decodificador (Decoder_G) para uma arquitetura de rede neural convolucional (CNN). O codificador é responsável por mapear a entrada para um espaço de características de dimensão reduzida, enquanto o decodificador reconstrói a saída a partir deste espaço de características.</p><ul><li>As camadas convolucionais transpostas no decodificador realizam a operação de “upsampling”, ou seja, aumentam a resolução espacial da entrada.</li><li>As camadas de normalização em lote são usadas para melhorar o treinamento da rede, enquanto as camadas de ativação ReLU introduzem não-linearidades na rede.</li></ul><pre># Definição do modelo do codificador (Encoder_G)<br>Encoder_G = Sequential()  # Criação de um modelo sequencial para o codificador<br>Encoder_G.add(Conv2D(32, (7, 7), kernel_initializer=&#39;he_normal&#39;, use_bias=True))  # Adição de uma camada convolucional com 32 filtros, tamanho do kernel 7x7 e inicialização dos pesos com he_normal<br>Encoder_G.add(BatchNormalization())  # Adição de uma camada de normalização em lote para estabilizar e acelerar o treinamento da rede<br>Encoder_G.add(ReLU())  # Adição de uma camada de ativação ReLU para introduzir a não linearidade<br><br>Encoder_G.add(Conv2D(64, (7, 7), kernel_initializer=&#39;he_normal&#39;, use_bias=True))  # Adição de outra camada convolucional com 64 filtros e tamanho do kernel 7x7<br>Encoder_G.add(BatchNormalization())  # Novamente, adição de uma camada de normalização em lote<br>Encoder_G.add(ReLU())  # Outra camada ReLU para introduzir mais não linearidade<br><br>Encoder_G.add(Conv2D(128, (2, 2), kernel_initializer=&#39;he_normal&#39;, use_bias=True))  # Adição de mais uma camada convolucional com 128 filtros e tamanho do kernel 2x2<br>Encoder_G.add(BatchNormalization())  # Camada de normalização em lote<br>Encoder_G.add(ReLU())  # Camada de ativação ReLU<br><br># Definição do modelo do decodificador (Decoder_G)<br>Decoder_G = Sequential()  # Criação de um modelo sequencial para o decodificador<br>Decoder_G.add(Conv2DTranspose(64, (7, 7)))  # Adição de uma camada de convolução transposta com 64 filtros e tamanho do kernel 7x7<br>Decoder_G.add(ReLU())  # Camada de ativação ReLU<br><br>Decoder_G.add(Conv2DTranspose(32, (7, 7)))  # Adição de outra camada de convolução transposta com 32 filtros e tamanho do kernel 7x7<br>Decoder_G.add(ReLU())  # Outra camada de ativação ReLU<br><br>Decoder_G.add(Conv2DTranspose(classes_saida, (2, 2)))  # Adição da última camada de convolução transposta com número de filtros igual ao número de classes de saída (classes_saida)</pre><p>Criamos um autoencoder para combinar o modelo do codificador (Encoder_G) e do decodificador (Decoder_G) em um modelo sequencial. Em seguida, o autoencoder é compilado com uma função de perda especificada (funcao_perda), um otimizador (comp_otimizado) e uma métrica de erro quadrático médio (mse) para monitorar o desempenho do modelo durante o treinamento. O objetivo do autoencoder é reconstruir a entrada original na saída, aprendendo uma representação compacta dos dados no processo.</p><pre># Criando o autoencoder combinando o codificador e o decodificador<br>autoencoder = Sequential([Encoder_G, Decoder_G])<br><br># Compilando o autoencoder<br>autoencoder.compile(loss=funcao_perda,  # Definição da função de perda a ser otimizada durante o treinamento<br>                     optimizer=comp_otimizado,  # Definição do otimizador para ajustar os pesos da rede durante o treinamento<br>                     metrics=[&quot;mse&quot;])  # Lista de métricas a serem calculadas durante o treinamento (no caso, apenas o erro quadrático médio)</pre><p>O treinamento é executado ao longo de 25 épocas. Além disso, dois callbacks são passados para o treinamento: Checkpoint_Model e Reduce_Model, que são utilizados para salvar o melhor modelo durante o treinamento e reduzir a taxa de aprendizado caso a métrica monitorada pare de melhorar, respectivamente.</p><pre># Treinando o modelo autoencoder<br>Model_AutoEncoder = autoencoder.fit(<br>    conj_treino,  # Conjunto de dados de entrada para o treinamento<br>    conju_transform,  # Conjunto de dados de saída esperado para o treinamento<br>    epochs=25,  # Número de épocas de treinamento<br>    callbacks=[Checkpoint_Model, Reduce_Model]  # Lista de callbacks a serem executados durante o treinamento<br>)</pre><h3>ATENÇÃO</h3><p>Nesse passo mesmo utilizando uma máquina i7 de 7ª geração e 12GB de RAM, o processo de treino da rede neural levou mais de 3 horas. Avisado você foi! rsrs</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/536/1*tIfRVKIuFBJUCCob_qS5rQ.png" /></figure><pre># Realizando a predição utilizando o modelo autoencoder nos dados de treinamento<br>predicao_IMG = autoencoder.predict(conj_treino)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/238/1*58A6tdMH8iU-j2FoPxcfIQ.png" /></figure><p><strong>Exibindo a imagem original e a imagem reconstruída pelo modelo autoencoder</strong></p><pre>figure, axis = plt.subplots(1, 2, figsize=(15, 15))<br>predicao_IMG_number = 1<br><br>original_IMG = conj_treino[predicao_IMG_number]  # Imagem original<br>autoencoder_IMG = predicao_IMG[predicao_IMG_number]  # Imagem reconstruída pelo modelo<br><br># Configurações e plotagem da imagem original<br>axis[0].imshow(original_IMG)<br>axis[0].set_xlabel(original_IMG.shape)<br>axis[0].set_ylabel(original_IMG.size)<br>axis[0].set_title(&quot;IMAGEM ORIGINAL&quot;)<br><br># Configurações e plotagem da imagem reconstruída<br>axis[1].imshow(autoencoder_IMG, cmap=&quot;hot&quot;)<br>axis[1].set_xlabel(autoencoder_IMG.shape)<br>axis[1].set_ylabel(autoencoder_IMG.size)<br>axis[1].set_title(&quot;PREDIÇÃO PELO MODELO AUTOENCODER&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/857/1*Zp4wCHpA8E_pV9ITn6ESVQ.png" /></figure><p><em>O restante das visualizações, no código completo.</em></p><h3><strong>FIM</strong></h3><p>Neste projeto de análise de buracos negros, uma série de técnicas de processamento de imagens foram aplicadas para alcançar diversos objetivos. Inicialmente, o foco foi na identificação e segmentação dos buracos negros em imagens astronômicas, utilizando limiares e contornos para destacar essas regiões de interesse. Em seguida, técnicas de pré-processamento, como filtragem gaussiana e esqueletização, foram empregadas para melhorar a qualidade das imagens e extrair características relevantes dos buracos negros.</p><p>Além disso, foram exploradas análises mais avançadas, como o cálculo do espectro Hessiano para identificar estruturas significativas nas imagens e a medição de distâncias entre pontos de singularidade e braços espirais. Essas análises forneceram insights valiosos sobre a distribuição e características dos buracos negros em diferentes contextos astronômicos.</p><p>A comparação entre as imagens originais e os targets, após o processamento, permitiu avaliar a eficácia das técnicas aplicadas e entender as transformações realizadas nas imagens de buracos negros. Por fim, a visualização das imagens em uma matriz de subplots possibilitou uma análise mais abrangente e uma compreensão mais completa dos resultados obtidos.</p><p>Em resumo, este projeto demonstrou como técnicas de processamento de imagens podem ser aplicadas de forma eficaz para análise e caracterização de buracos negros em imagens astronômicas, contribuindo para o avanço do conhecimento científico nessa área fascinante da astronomia.</p><p>Espero que seja relevante para você, até a próxima!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=0aa67bb2191a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ESTUDO DE CASO: BURACOS NEGROS — Parte 1]]></title>
            <link>https://medium.com/@jonatasliberato/estudo-de-caso-buracos-negros-parte-1-dba0c585e450?source=rss-8d0c66edc75f------2</link>
            <guid isPermaLink="false">https://medium.com/p/dba0c585e450</guid>
            <category><![CDATA[astronomy]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[blachhole]]></category>
            <dc:creator><![CDATA[Jonatas Liberato]]></dc:creator>
            <pubDate>Tue, 05 Mar 2024 20:01:45 GMT</pubDate>
            <atom:updated>2024-03-05T20:01:45.436Z</atom:updated>
            <content:encoded><![CDATA[<h3><strong>ESTUDO DE CASO: BURACOS NEGROS — Parte 1</strong></h3><p>O objetivo desse projeto é identificar estrelas propensas a evoluir para buracos negros. Utilizamos classificações espectrais, propriedades estelares e métricas de avaliação de modelo para entender a diversidade e características das estrelas no conjunto de dados. O foco incluiu análises específicas sobre estrelas gigantes e uma compreensão estatística aprofundada das propriedades estelares. Além disso, colocaremos em prática storytelling, tratamento e visualização de dados, etc.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*AFt9XmRg2We19eokPhbqig.png" /></figure><h3><strong>CATEGORIZAÇÃO DE BURACOS NEGROS</strong></h3><p><strong>**Fundamentos da Classificação dos Buracos Negros**</strong></p><p>Os buracos negros são regiões do espaço-tempo com uma gravidade tão intensa que nada, nem mesmo a luz, consegue escapar de sua influência. Essa característica singular surge devido ao colapso gravitacional de uma massa concentrada em um volume muito pequeno. Quando a estrela massiva, queimando seu combustível nuclear, exaure sua energia, não há mais uma pressão de radiação que a contraponha à atração gravitacional. Isso resulta no colapso da estrela para um ponto extremamente compacto, formando um buraco negro</p><p><strong>1. Massa:</strong></p><p>A massa de um buraco negro é uma das características cruciais para sua classificação. Com base nesse atributo, eles são agrupados em três categorias principais:</p><ul><li><strong><em>Buracos Negros de Massa Estelar</em></strong><em>: </em>Com massas variando de algumas a cerca de 100 vezes a do Sol, esses buracos negros são gerados pelo colapso gravitacional de estrelas massivas.</li><li><strong><em>Buracos Negros de Massa Intermediária</em></strong><em>:</em> Situados entre os de massa estelar e os supermassivos, esses buracos negros possuem massas centenas a milhares de vezes superiores à do Sol.</li><li><strong><em>Buracos Negros Supermassivos</em></strong><em>:</em> Encontrados nos centros galácticos, esses buracos negros podem ter massas que variam de milhões a bilhões de vezes a do Sol.</li></ul><p><strong>2. Carga:</strong></p><p>A capacidade dos buracos negros de transportar carga elétrica também desempenha um papel na classificação. Enquanto alguns são “carregados” ou “Reissner-Nordström”, muitos são considerados neutros em condições astrofísicas.</p><p><strong>3. Spin (Momentum Angular):</strong></p><p>O spin, ou momento angular, dos buracos negros é outra característica distintiva. A métrica Kerr é empregada para descrever buracos negros em rotação, influenciando diversas propriedades, como a estrutura do horizonte de eventos e o comportamento de partículas e luz nas proximidades.</p><p><strong>4. Mecanismo de Formação:</strong></p><p>Os buracos negros são categorizados com base em como foram formados:</p><ul><li><strong><em>Colapso Estelar</em></strong><em>:</em> Originados pelo colapso gravitacional de estrelas massivas após o esgotamento de seu combustível nuclear.</li><li><strong><em>Acreção e Fusões</em></strong><em>:</em> A hipótese sugere que buracos negros supermassivos são formados pela lenta acumulação de gás e fusão de buracos negros menores ao longo de escalas cósmicas de tempo.</li></ul><p><strong>5. Simetria Rotacional:</strong></p><p>A simetria rotacional dos buracos negros também é um critério de classificação:</p><ul><li><strong><em>Buracos Negros de Schwarzschild:</em></strong><em> </em>Descrevem buracos negros não rotativos.</li><li><strong><em>Buracos Negros de Kerr:</em></strong> A métrica Kerr é utilizada para definir buracos negros rotativos.</li><li><strong><em>Buracos Negros de Kerr-Newman</em></strong><em>:</em> A métrica Kerr-Newman descreve buracos negros que combinam rotação e carga.</li></ul><p><strong>6. Características Observáveis:</strong></p><p>A classificação dos buracos negros é também realizada considerando suas características observáveis, como emissões de ondas gravitacionais, raios X, raios gama, bem como a presença de discos e jatos de acreção.</p><p>Em suma, a compreensão abrangente dos buracos negros ocorre pela análise integrada dessas características. Contudo, é crucial reconhecer que nosso conhecimento sobre esses objetos está em constante evolução. À medida que novas observações e hipóteses são descobertas, as classificações podem ser ajustadas ou refinadas, oferecendo uma visão cada vez mais precisa e detalhada desses fenômenos cósmicos intrigantes.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/256/1*DPrOzyn89mxmn4Mp1Mi5rg.png" /></figure><h3><strong>Explorando os Sinais da Formação de Buracos Negros</strong></h3><p>No vasto cosmos, os cientistas empreendem uma jornada fascinante para desvendar os mistérios da formação dos buracos negros. Ao observar cuidadosamente eventos celestiais específicos, eles buscam pistas cruciais que indiquem o surgimento desses fenômenos cósmicos extraordinários.</p><p><strong>1. Explosões de Raios Gama:</strong></p><p>Entre os eventos mais intensos do universo, as explosões de raios gama são destaque nas investigações. Acredita-se que essas explosões se originem da fusão dramática entre estrelas massivas e buracos negros. Detectar tais explosões é como encontrar o eco do nascimento de um buraco negro.</p><p><strong>2. Emissões de Raios X:</strong></p><p>O calor intenso gerado pelo material que circunda um buraco negro, como o disco de acreção, resulta na emissão de raios X. Observar essa radiação é como vislumbrar a energia ardente associada à formação de um buraco negro.</p><p><strong>3. Ondas de Rádio:</strong></p><p>Durante o desenvolvimento de um buraco negro, a matéria ejetada podem produzir ondas de rádio. Essas ondas, como mensageiros cósmicos, carregam informações sobre os eventos dinâmicos que precedem a formação completa do buraco negro.</p><p><strong>4. Emissões Ópticas:</strong></p><p>À medida que material se precipita em direção a um buraco negro e é aquecido pelo intenso campo gravitacional, emissões ópticas podem ocorrer. Estas emissões proporcionam uma visão visual das transformações que antecedem o surgimento pleno do buraco negro.</p><p>Ao empregar conjuntos de dados, como o Kaggle dfset M87 Galaxy-Center Objects/Black Hole/ESA, que abrange informações do Buraco Negro da Galáxia M87, os cientistas ressaltam que nenhuma observação isolada pode confirmar definitivamente a formação de um buraco negro. É a convergência de múltiplos sinais e dados que fortalece a compreensão desse fenômeno cósmico.</p><h4><strong>Observando Estrelas com Cautela:</strong></h4><p>Utilizando conjuntos de dados estelares para estudar a criação de buracos negros, os cientistas monitoram atentamente diversas características:</p><ul><li><strong>Mudanças no Brilho:</strong> À medida que uma estrela entra em colapso, eventos de fusão intensificam-se, tornando a estrela mais opaca. Esse aumento na opacidade resulta em uma diminuição gradual do brilho da estrela.</li><li><strong>Mudanças Espectrais:</strong> O espectro de uma estrela, que reflete a intensidade da luz em diferentes comprimentos de onda, altera-se conforme a estrela inicia o processo de colapso. Variações na temperatura e composição estelar ficam evidentes nesse gráfico.</li><li><strong>Variações na Velocidade:</strong> O aumento na força gravitacional do núcleo em colapso acelera a velocidade da estrela. Monitorando o deslocamento Doppler das linhas espectrais, os cientistas identificam essas variações de velocidade, sinalizando a iminente transformação.</li></ul><p>Em suma, a busca pela previsão da formação de buracos negros é uma dança cósmica entre a observação meticulosa de eventos celestiais e a análise cuidadosa de conjuntos de dados estelares. Cada sinal capturado é uma peça valiosa no quebra-cabeça que revela os segredos por trás da criação desses fascinantes e enigmáticos objetos cósmicos.</p><h3><strong>SOBRE OS DADOS</strong></h3><p>Os dados provenientes do Event Horizon Telescope (EHT), utilizados para gerar imagens do buraco negro no centro da galáxia M87, estão disponíveis no Kaggle dfset M87 Galaxy-Center Objects/Black Hole/ESA.</p><p>Ao investigar esses dados, é possível estudar o processo de formação dos buracos negros, atentando-se a diferentes características:</p><ul><li><strong>Existência de um Disco de Acreção:</strong> À medida que um buraco negro absorve matéria de seu entorno, um disco de acreção se forma ao seu redor. A observação da emissão de raios X e outras formas de radiação eletromagnética do disco possibilita deduzir a presença desse componente crucial.</li><li><strong>Existência de uma Onda de Choque:</strong> Quando a matéria entra no buraco negro, cria uma onda de choque, representada por uma onda de gás comprimido. Monitorando a emissão de ondas de rádio do buraco negro, é possível determinar se uma onda de choque está presente ou não.</li><li><strong>Presença de um Jato:</strong> Jatos são fluxos de matéria liberados em alta velocidade por buracos negros. O estudo da emissão de raios gama de alta energia do buraco negro permite deduzir se um jato está presente ou não.</li></ul><p>É fundamental ressaltar que nenhuma observação do Kaggle dfset M87 Galaxy-Center Objects/Black Hole/ESA pode confirmar definitivamente a formação de um buraco negro, conforme fontes como NewScientist, SciTechDaily e Britannica indicam.</p><p>O estudo da formação de buracos negros enfrenta desafios significativos, conforme evidenciado pelos dados do Kaggle Dataset M87 Galaxy-Center Objects/Black Hole/ESA:</p><ul><li><strong>Complexidade dos Dados:</strong> A complexidade dos dados torna desafiador identificar as pequenas variações que indicam a criação de buracos negros.</li><li><strong>Quantidade Limitada de Dados:</strong> A resolução espacial e temporal restrita dos dados do EHT dificulta a visualização precisa da dinâmica na formação dos buracos negros.</li><li><strong>Presença de Ruído:</strong> Os dados do EHT são contaminados com ruído, tornando difícil distinguir indicações genuínas da criação de buracos negros.</li></ul><p>Vale ressaltar que, com base nos atributos do conjunto de dados Kaggle Star para classificação estelar, não é possível detectar diretamente a formação de buracos negros. O conjunto de dados é, por enquanto, utilizado para classificar estrelas com base em propriedades como temperatura, luminosidade e tipo espectral.</p><h4>Features</h4><ul><li>Unnamed: 0 — referente ao ID</li><li>mag — Magnitude Visual Aparente da Estrela</li><li>Plx — Distância entre a estrela e a Terra</li><li>e_Plx — Erro padrão do Plx (Elimine a linha se achar que o e_Plx é muito alto!)</li><li>B-V — índice de cores. (Uma estrela quente tem um índice de cor BV próximo de 0 ou negativo, enquanto uma estrela fria tem um índice de cor BV próximo de 2,0)</li><li>SpType — Tipo espectral</li><li>Amag — Magnitude Absoluta da Estrela</li><li>TargetClass — Se a estrela é anã (0) ou gigante (1)</li></ul><h3><strong>01 ANÁLISE EXPLORATÓRIA</strong></h3><p>Processo realizado para conhecer os dados e as suas características, como a quantidade de colunas e o volume de linhas não é tão alta, será uma análise mais curta para preparar os dados para o pré-procesaamento.</p><h4><strong>Pacotes e bibliotecas</strong></h4><pre>import pandas as pd<br>import numpy as np<br>import seaborn as sns<br>import matplotlib.pyplot as plt<br>import plotly.express as px<br>import warnings<br>warnings.filterwarnings(&quot;ignore&quot;) </pre><h4><strong>Importando o conjunto de dados</strong></h4><pre>df = pd.read_csv(&#39;star-categorization/Star99999_raw.csv&#39;)<br>df</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/308/1*0RLcTU01H9irpbN4Qe69Tw.png" /></figure><pre>df.info()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/218/1*W2lZac_7Zd2t_R22kkCjJA.png" /></figure><h4><strong>Excluindo coluna ‘Unnamed: 0’</strong></h4><p>Uma coluna intitulada ‘Unnamed: 0’ possui valores muito similares ao índice, portanto faremos a remoção desta.</p><pre>df = df.drop(&#39;Unnamed: 0&#39;, axis = 1)<br>df</pre><h4><strong>Função para converter os valores ‘objetc’ em float</strong></h4><pre># Função para converter os arquivos em float<br>def convert_columns_to_float(df, columns):<br>    for coluna in columns:<br>        df[coluna] = pd.to_numeric(df[coluna], downcast=&quot;float&quot;, errors=&#39;coerce&#39;)<br><br># Colunas que converteremos<br>colunas_para_converter = [&#39;Vmag&#39;, &#39;Plx&#39;, &#39;e_Plx&#39;, &#39;B-V&#39;]<br><br># Chamada da função para converter as colunas<br>convert_columns_to_float(df, colunas_para_converter)<br><br># Exibindo as informações atualizadas do DataFrame<br>print(df.info())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/207/1*uYqHtxxEM9uCVOvfycQMLA.png" /></figure><pre>df.isna().sum()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/134/1*2F5xhOL7AkFG5VoEgRkFdA.png" /></figure><p>Foram detectados diversos valores nulos nas colunas, para ter uma ideia da relevância para o conjunto de dados, criei uma função para verificar e calcular a proporção.</p><pre>def verif_na_values(dataset):<br>    # Verifica se o parâmetro fornecido é um DataFrame do pandas<br>    if not isinstance(dataset, pd.DataFrame):<br>        raise ValueError(&quot;O parâmetro &#39;dataset&#39; deve ser um DataFrame do pandas.&quot;)<br><br>    # Obtém a contagem de valores NA em cada coluna<br>    count_na_values = dataset.isna().sum()<br><br>    # Calcula a proporção de valores NA em relação ao total de dados<br>    total_data = dataset.shape[0]<br>    perc_na_values = (count_na_values / total_data).to_dict()<br><br>    # Imprime a informação para cada coluna<br>    for coluna, quantidade_nulos in count_na_values.items():<br>        proporcao = perc_na_values[coluna] * 100<br>        if pd.notna(proporcao):  # Verifica se proporcao não é NaN<br>            print(f&quot;A coluna &#39;{coluna}&#39; possui {quantidade_nulos} valores nulos, que corresponde a {proporcao:.2f}% do conjunto de dados.&quot;)<br>        else:<br>            print(f&quot;A coluna &#39;{coluna}&#39; não possui valores nulos após o dropna.&quot;)<br><br># Executa a função no dataset após o dropna<br>verif_na_values(df)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/592/1*_wTaKFjGcROhmHBenr3a9w.png" /></figure><p>A exclusão de valores nulos, otuliers e demais ruídos nos dados sempre é um tema para longos debates. Aqui optamos por excluir esses valores devido à sua baixa significância estatística.</p><pre>df_test = df.dropna()<br>df_test</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/238/1*5mQkWm7kZnjQqKbVgecSNg.png" /></figure><p>De 99999 linhas, o dataset agora possui 96742, uma perda de ~4%</p><h4><strong>Estatísticas Descritivas</strong></h4><pre>df.describe()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/394/1*XomPXlyqUBWNjHxheRG0pw.png" /></figure><p>Em primeira análise, não notamos nada de anormal. Logicamente precisamos nos aprofundar nas variáveis e detalhar suas características, que serão feitas nos próximos passos.</p><h3><strong>02 PRÉ-PROCESSAMENTO</strong></h3><h4><strong>Variável e_Plx</strong></h4><p>A paralaxe é um fenômeno que acontece quando observamos um objeto de diferentes posições. Imagine que você feche um olho e olhe para um objeto distante com o outro olho. Em seguida, feche esse olho e abra o primeiro. Você perceberá que o objeto parece ter se movido um pouco. Isso ocorre porque seus olhos estão em posições ligeiramente diferentes, e o cérebro usa essa diferença para calcular a distância do objeto.</p><p>Esse mesmo princípio é aplicado em astronomia. Quando observamos estrelas a partir da Terra em pontos diferentes durante o ano (devido à órbita da Terra), elas parecem se mover um pouco em relação às estrelas mais distantes. Esse movimento aparente é chamado de paralaxe estelar e é utilizado pelos astrônomos para calcular a distância de estrelas próximas.</p><p>Portanto, a paralaxe é basicamente a mudança aparente na posição de um objeto devido à mudança de perspectiva de quem o observa.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/430/1*5MjFxxdwVTyO6UU8IHVHLQ.png" /></figure><pre># Verificando os maiore valores de forma descrescente<br>df[&#39;e_Plx&#39;].sort_values(ascending= False).head(20)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/191/1*NmH0YBx0ZKsrphmjZ-u38Q.png" /></figure><pre>import plotly.express as px<br>from sklearn.preprocessing import StandardScaler<br><br># Normalização Z-score<br>std_scaler = StandardScaler()<br><br># Aplicando a normalização Z-score na coluna &#39;Plx&#39; do DataFrame<br>df[&#39;Plx&#39;] = std_scaler.fit_transform(df[[&#39;Plx&#39;]])<br><br># Removendo as linhas onde e_Plx é extremamente alto<br>df = df[df[&#39;e_Plx&#39;] &lt;= df[&#39;e_Plx&#39;].mean()]<br><br># Criando um gráfico de dispersão interativo com Plotly Express<br>fig = px.scatter(df, x=&#39;Plx&#39;, y=&#39;Vmag&#39;, opacity=0.7, labels={&#39;Plx&#39;: &#39;Plx&#39;, &#39;Vmag&#39;: &#39;Vmag&#39;},<br>                 title=&#39;Distruibuição de e_Plx&#39;,template=&#39;plotly_dark&#39;)<br><br># Adicionando títulos aos eixos<br>fig.update_layout(xaxis_title=&#39;Plx&#39;, yaxis_title=&#39;Vmag&#39;)<br>fig.update_layout(title_x=0.5)<br><br># Exibindo o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TCXnK9SIaFZGfW7L1l0WZQ.png" /></figure><p>Veja que a maioria dos registros encontram-se próximos ao valor 0</p><h4><strong>Temperatura Estelar</strong></h4><p>A temperatura efetiva de uma estrela é um parâmetro crucial que desempenha um papel fundamental em várias características e processos estelares. Aqui estão algumas maneiras pelas quais a temperatura efetiva é significativa na determinação das propriedades e evolução de uma estrela:</p><ol><li><strong>Tipo Espectral:</strong> A temperatura está diretamente relacionada ao tipo espectral de uma estrela. As estrelas são classificadas em diferentes tipos espectrais (por exemplo, O, B, A, F, G, K, M), e a temperatura efetiva é um dos principais determinantes dessa classificação. Estrelas mais quentes têm temperaturas efetivas mais altas e pertencem a tipos espectrais mais quentes (O e B), enquanto estrelas mais frias têm temperaturas efetivas mais baixas e pertencem a tipos espectrais mais frios (G, K, M).</li><li><strong>Luminosidade:</strong> a luminosidade é a quantidade total de energia radiante emitida pela estrela, e ela é fortemente influenciada pela sua temperatura efetiva. Estrelas mais quentes têm maior luminosidade, enquanto estrelas mais frias têm menor luminosidade, assumindo outras propriedades constantes.</li><li><strong>Ciclo de Vida Estelar:</strong> é um fator crítico na determinação do estágio evolutivo de uma estrela. Estrelas mais quentes geralmente estão em estágios mais jovens, enquanto estrelas mais frias estão em estágios mais avançados de evolução. Isso está relacionado diretamente à relação massa-idade das estrelas.</li><li><strong>Cor e Espectro:</strong> a temperatura influencia a cor aparente de uma estrela. Estrelas mais quentes tendem a parecer mais azuis, enquanto estrelas mais frias tendem a parecer mais avermelhadas. Além disso, a temperatura efetiva afeta o espectro estelar, determinando a intensidade relativa das diferentes linhas espectrais.</li></ol><p>Em resumo, a temperatura efetiva é um parâmetro crítico que fornece informações valiosas sobre as propriedades físicas, a evolução e o comportamento radiativo de uma estrela.</p><p>Com base no índice de cor B-V de uma estrela, é possível utilizar uma fórmula para determinar a temperatura efetiva da estrela. O índice de cor B-V quantifica a diferença de brilho entre a luz azul (B) e a luz visível (V) de uma estrela. O índice é calculado subtraindo a magnitude visual da estrela de sua magnitude azul.</p><p>A fórmula para calcular a temperatura efetiva de uma estrela com base no índice de cor B-V é frequentemente expressa da seguinte forma:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/449/1*-IYzNkfVIpxnsNowcBQ9aA.png" /></figure><p>Essa fórmula fornece uma estimativa da temperatura efetiva da estrela em Kelvin com base em seu índice de cor B-V. O índice de cor B-V é calculado subtraindo a magnitude visual (V) da magnitude azul (B), oferecendo uma medida da cor da estrela.</p><p>Essa relação entre o índice de cor e a temperatura efetiva é amplamente utilizada na astronomia e astrofísica para classificar estrelas com base em suas temperaturas, pois proporciona uma maneira conveniente de estimar a temperatura de uma estrela com base em dados observacionais. Vale ressaltar que esta é uma relação empírica e pode ter limitações, especialmente para certos tipos de estrelas ou em regiões específicas do diagrama cor-temperatura.</p><pre># Calculando a temperatura efetiva<br>df[&quot;Temp/Teff (K)&quot;] = 4600 * ((1 / (0.92 * df[&#39;B-V&#39;] + 1.7)) + (1 / (0.92 * df[&#39;B-V&#39;] + 0.62)))<br><br># Criando um gráfico de linha interativo com Plotly Express<br>fig = px.line(df, x=&#39;B-V&#39;, y=&#39;Temp/Teff (K)&#39;, labels={&#39;B-V&#39;: &#39;B-V Color Index&#39;, &#39;Temp/Teff (K)&#39;: &#39;Temperatura Efetiva (K)&#39;},<br>              title=&#39;Índice de Cor B-V vs Temperatura Efetiva&#39;, template=&#39;plotly_dark&#39;)<br><br># Adicionando rótulos aos eixos<br>fig.update_layout(xaxis_title=&#39;B-V Color Index&#39;, yaxis_title=&#39;Temperatura Efetiva (K)&#39;)<br><br># Centralizando o título<br>fig.update_layout(title_x=0.5)<br><br># Exibindo o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9_sNmM5bhy9UDMVV4N7G0Q.png" /></figure><p>Esse plot ao meu ver está pouco explicativa para pessoas que possam visualizar a relação entre o índice cor B-V e a temperatura efetiva, abaixo proponho plot em 3D para facilitar até aos mais leigos.</p><pre># Criando um DataFrame com dados aleatórios<br>df3 = pd.DataFrame({&#39;B-V&#39;: np.random.uniform(0.0, 2.0, 1000)})<br><br># Calculando a temperatura efetiva (Fórmula de Ballesteros)<br>df3[&quot;Temp/Teff (K)&quot;] = 4600 * ((1 / (0.92 * df3[&#39;B-V&#39;] + 1.7)) + (1 / (0.92 * df3[&#39;B-V&#39;] + 0.62)))<br><br># Criando um gráfico 3D interativo<br>fig = px.scatter_3d(df3, x=&#39;B-V&#39;, y=&#39;Temp/Teff (K)&#39;, z=df3.index, <br>                    title=&#39;Índice de Cor B-V vs Temperatura Efetiva&#39;,<br>                    labels={&#39;B-V&#39;: &#39;B-V Color Index&#39;, &#39;Temp/Teff (K)&#39;: &#39;Temperatura Efetiva (K)&#39;, &#39;z&#39;: &#39;Index&#39;},<br>                    color=df3.index, opacity=0.7, template=&#39;plotly_dark&#39;)<br><br># Atualizando a aparência do gráfico<br>fig.update_layout(scene=dict(zaxis=dict(range=[0, 1000])), margin=dict(l=0, r=0, b=0, t=40))<br>fig.update_layout(title_x=0.5)<br><br><br># Exibindo o gráfico interativo<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4imIZPtR7QgH1EhqodooAw.png" /></figure><h4><strong>Interpretando:</strong></h4><p>Para estrelas com magnitudes entre 0,0 e 2,0 e cores BV, a fórmula apresenta uma precisão aproximada de 1%. Da mesma forma, para estrelas com temperaturas efetivas variando entre 4.000 e 10.000 Kelvin, a precisão também se mantém em torno de 1%.</p><p>Imagine que estamos falando sobre estrelas no céu. Cada estrela tem sua própria intensidade luminosa, chamada de magnitude. Essa magnitude é medida em uma escala, onde estrelas mais brilhantes têm magnitudes menores. Agora, para estrelas com magnitudes entre 0,0 e 2,0, existe uma fórmula que nos permite calcular algumas informações importantes sobre elas.</p><p>Essa fórmula utiliza uma característica chamada “cores BV”, que está relacionada às cores das estrelas. A precisão dessa fórmula é incrível, pois ela consegue fornecer resultados muito próximos da realidade, com uma margem de erro de apenas 1%. Em outras palavras, os números que obtemos usando essa fórmula são muito confiáveis para estrelas com magnitudes entre 0,0 e 2,0.</p><p>A precisão também se mantém para estrelas que têm temperaturas efetivas entre 4.000 e 10.000 Kelvin. A temperatura efetiva de uma estrela é uma medida da intensidade do calor que ela emite. Assim, se tivermos estrelas com temperaturas dentro dessa faixa específica, podemos confiar que os cálculos feitos com a fórmula terão uma precisão de aproximadamente 1%.</p><p>Em resumo, essa fórmula é uma ferramenta confiável para entender mais sobre estrelas brilhantes no céu, especialmente aquelas com magnitudes específicas e temperaturas dentro de uma faixa específica de calor.</p><h4><strong>Luminosidade Estelar</strong></h4><p>A luminosidade estelar representa a quantidade total de energia que uma estrela emite a cada segundo. Essa medida é expressa em watts ou em termos de luminosidades solares, sendo uma luminosidade solar equivalente à luminosidade do Sol, dada pela equação:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/270/1*ZZqwt_xoF8lJ8Ou0Hk9nnA.png" /></figure><p><em>Onde:</em></p><ol><li><em>A magnitude absoluta do sol é: M = 4,83</em></li><li><em>A luminosidade do sol é: 3,86 x 10²⁶W watts</em></li></ol><ul><li><strong>Magnitude Absoluta</strong></li></ul><p>A Nota de Magnitude Absoluta (M) é uma medida que avalia o brilho intrínseco de uma estrela, excluindo a luz em outras faixas de comprimento de onda além da banda visível. Isso significa que a nota (M) é especialmente útil para estrelas que têm um espectro semelhante ao do Sol. Essa medida nos ajuda a entender quão brilhante uma estrela é independentemente da nossa percepção visual e é particularmente relevante quando estamos lidando com estrelas que compartilham características espectrais semelhantes à nossa estrela mais próxima, o Sol.</p><ul><li><strong>Luminosidade x Magnitude</strong></li></ul><p>A relação entre Magnitude Absoluta e Luminosidade proporciona uma compreensão fundamental das características luminosas de uma estrela. A magnitude absoluta é uma medida do brilho de uma estrela quando observada a uma distância padrão de 10 parsecs. Esse valor é calculado a partir da magnitude aparente da estrela, ajustada pela distância até a estrela.</p><p>Ao aplicar a lei do inverso do quadrado da luz, a fórmula para determinar a luminosidade de uma estrela a partir de sua magnitude aparente visual ou magnitude absoluta é a mesma para ambas. Conforme a lei do inverso do quadrado da luz, a intensidade luminosa diminui com o quadrado da distância da fonte luminosa.</p><p>A lei do inverso do quadrado da luz é essencial para calcular a magnitude absoluta de uma estrela, quando sua distância da Terra e magnitude aparente visual são conhecidas. Nesse contexto, a paralaxe estelar é frequentemente utilizada como uma medida valiosa para determinar essas informações.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/331/1*LwlJ5SlaIum_WPWdiP6y_A.png" /></figure><p>Como sabemos, a luminosidade é a quantidade de energia emitida por um objeto celeste, mas, em relação aos buracos negros, estes são regiões no espaço-tempo com gravidade tão intensa que nem mesmo a luz pode escapar. A luminosidade dos buracos negros é inferior a cinco vezes a do Sol.</p><p>Ao comparar a luminosidade de uma estrela com esse ponto de referência crítico, podemos determinar se a estrela é ou não um buraco negro. A fórmula para calcular a luminosidade das estrelas é fundamental nesse contexto. Essa avaliação é crucial para identificar e compreender os buracos negros, fenômenos cósmicos fascinantes com efeitos gravitacionais extraordinários.</p><p>Aqui está a implementação:</p><pre># Filtrar e copiar o DataFrame removendo valores não válidos de &#39;Plx&#39;<br>df = df[df[&#39;Plx&#39;] &gt; 0].copy()<br><br># Opcionalmente, converter os valores de paralaxe (&#39;Plx&#39;) para parsecs (comentar se não for necessário)<br># df[&#39;Plx_parsec&#39;] = 1 / df[&#39;Plx&#39;]<br><br># Passo 3: Verificar se a coluna &#39;Amag&#39; existe no DataFrame<br>if &#39;Amag&#39; not in df.columns:<br>    # Se não existir, calcular a Magnitude Absoluta (&#39;Amag&#39;) e adicionar ao DataFrame<br>    df[&#39;Amag&#39;] = df[&#39;Vmag&#39;] + 5 * np.log10(df[&#39;Plx&#39;]) - 5<br><br># Definindo uma função para calcular a luminosidade com base na Magnitude Absoluta<br>def calc_luminosidade(abs_magnitude):<br>    # A Magnitude Absoluta do Sol é 4.83.<br>    sol_luminosidade = 3.828e26<br>    return sol_luminosidade * 10**(0.4 * (4.83 - abs_magnitude))<br><br># Obtendo a Magnitude Absoluta (&#39;Amag&#39;) do DataFrame<br>abs_magnitude = df[&#39;Amag&#39;]<br><br># Calculando a luminosidade usando a função definida anteriormente<br>df[&#39;Luminosity&#39;] = calc_luminosidade(abs_magnitude)<br><br># Opcionalmente, removendo linhas onde a luminosidade é menor que 1e-6 (comentar se não for necessário)<br># df = df[df[&#39;Luminosity&#39;] &gt;= 1e-6]<br><br># Exibindo as primeiras linhas do DataFrame após as operações<br>df.head(len(df))</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/452/1*InVZQJbXLHH3S_4BECjMgg.png" /></figure><h4><strong>Diagrama de Hertzsprung-Russell</strong></h4><p>O Diagrama de Hertzsprung-Russell (HR) é uma ferramenta gráfica muito importante na astronomia que relaciona a luminosidade das estrelas com suas temperaturas efetivas. Vamos entender isso de forma didática:</p><p><strong>Eixos do Diagrama:</strong></p><ol><li><strong>Eixo Horizontal (X):</strong> Representa a temperatura efetiva da estrela. As estrelas mais quentes estão no lado esquerdo, e as mais frias no lado direito.</li><li><strong>Eixo Vertical (Y):</strong> Representa a luminosidade da estrela. As estrelas mais brilhantes estão na parte superior, e as menos brilhantes na parte inferior.</li></ol><p><strong>Classificação Espectral:</strong></p><ul><li>As estrelas são classificadas de acordo com sua temperatura, representada por letras (O, B, A, F, G, K, M). O “O” representa as estrelas mais quentes, e o “M” as mais frias.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/496/1*PcPquxY-gfyPpS8SW0oNJg.png" /></figure><p><strong>O que o Diagrama nos Mostra:</strong></p><ol><li><strong>Sequência Principal:</strong>A maior parte das estrelas, incluindo o nosso Sol, está localizada ao longo de uma faixa diagonal chamada “Sequência Principal”. Isso significa que a luminosidade e a temperatura efetiva estão inter-relacionadas: estrelas mais quentes tendem a ser mais brilhantes.</li><li><strong>Gigantes e Supergigantes:</strong> No canto superior direito do diagrama, temos estrelas gigantes e supergigantes. Elas são mais frias que as estrelas da sequência principal, mas têm luminosidade muito maior.</li><li><strong>Anãs Brancas:</strong> No canto inferior esquerdo, temos as anãs brancas. Elas são estrelas pequenas e quentes, mas com luminosidade relativamente baixa.</li></ol><p><strong>Evolução Estelar:</strong></p><ul><li>As estrelas começam na sequência principal, onde permanecem durante a maior parte de suas vidas.</li><li>Estrelas massivas podem se tornar gigantes ou supergigantes antes de explodir em supernovas.</li><li>Estrelas menos massivas, como nosso Sol, eventualmente se expandirão para se tornar gigantes vermelhas antes de se transformarem em anãs brancas.</li></ul><p><strong>Importância do Diagrama de Hertzsprung-Russell:</strong></p><ul><li>Ajuda os astrônomos a entender a evolução estelar e a classificar diferentes tipos de estrelas.</li><li>Facilita a identificação de padrões e tendências nas propriedades estelares.</li></ul><p>Resumindo, o Diagrama de Hertzsprung-Russell é como um mapa estelar que nos guia através das diferentes fases da vida das estrelas, ajudando-nos a compreender melhor a diversidade e o ciclo de vida desses corpos celestes.</p><pre># Criando um gráfico de dispersão tridimensional (3D) utilizando o Diagrama de Hertzsprung-Russell<br>fig = px.scatter_3d(df, x=&quot;Temp/Teff (K)&quot;, y=&quot;Luminosity&quot;, z=&quot;Amag&quot;, color=&quot;SpType&quot;,<br>                     log_x=True, log_y=True,  # Usando escala logarítmica nos eixos x e y<br>                     title=&#39;Diagrama Hertzsprung-Russell (3D)&#39;, <br>                     template=&#39;plotly_dark&#39;,  # Utilizando um tema escuro<br>                     labels={&#39;Temp/Teff (K)&#39;: &#39;Temperatura da superfície (K)&#39;, &#39;SpType&#39;: &#39;Tipo Espectral&#39;, &#39;Amag&#39;: &#39;Magnitude Absoluta&#39;})  # Adicionando rótulos aos eixos<br><br>fig.update_layout(title_x=0.5)<br>                     <br># Exibindo o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9R5VdHRnWNERvZ7UR42Q1Q.png" /></figure><p>Este diagrama relaciona a temperatura superficial de uma estrela (Temp/Teff (K)) com a sua luminosidade (Luminosity) e magnitude absoluta (Amag). Cada ponto no gráfico é colorido de acordo com o tipo espectral da estrela (SpType).</p><h4><strong>Massa e Raio estelares</strong></h4><p>As características fundamentais de uma estrela, como massa e raio, desempenham papéis cruciais na compreensão de seu comportamento e evolução. A Lei de Stefan-Boltzmann, que descreve a relação entre luminosidade, temperatura e raio de um corpo negro, é particularmente relevante ao se explorar as propriedades estelares.</p><p>A massa de uma estrela é um fator determinante de sua trajetória evolutiva. Estrelas mais massivas tendem a ter temperaturas mais elevadas e maior luminosidade devido à intensa pressão gravitacional em seus núcleos, que resulta em reações nucleares mais vigorosas. No entanto, a relação específica entre massa e temperatura é complexa, uma vez que outros fatores, como composição química, também desempenham papéis importantes.</p><p>O raio estelar, por sua vez, está relacionado à distribuição de massa e à estrutura interna da estrela. Estrelas com massas semelhantes podem ter raios diferentes, dependendo da quantidade de matéria presente em suas camadas externas e da pressão exercida pela radiação interna.</p><p>A Lei de Stefan-Boltzmann entra em cena ao considerarmos como a luminosidade estelar está relacionada à temperatura e ao raio. A fórmula <br><strong>L = 4πR²σT⁴</strong> expressa como a luminosidade (L) de uma estrela é proporcional à área de sua superfície (4πR²), à constante de Stefan-Boltzmann (σ), e à quarta potência de sua temperatura (T). Isso implica que, para uma dada luminosidade, estrelas mais quentes (com temperaturas mais elevadas) podem ter raios menores, enquanto estrelas mais frias (com temperaturas mais baixas) necessitam de raios maiores para manter a mesma luminosidade.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/144/1*8QbsnKmPKatphJJTkt175Q.png" /></figure><p>Portanto, ao explorar as propriedades estelares, a Lei de Stefan-Boltzmann fornece insights valiosos sobre a relação entre a luminosidade, a temperatura e o raio das estrelas, contribuindo para o entendimento mais amplo de sua física e evolução ao longo do tempo.</p><pre># Constante de Stefan-Boltzmann<br>s_boltzmann = 5.670374419 * 10**(-8)<br><br># Calculando e adicionando o raio ao DataFrame utilizando a Lei de Stefan-Boltzmann<br>df[&#39;Radius&#39;] = np.sqrt(df[&#39;Luminosity&#39;] / (4 * np.pi * s_boltzmann * (df[&#39;Temp/Teff (K)&#39;] ** 4)))<br><br># Filtrando o DataFrame para manter apenas entradas com raio maior que 0<br>df = df[df[&#39;Radius&#39;] &gt; 0]</pre><h4>Estimativa de Massa Aproximada da Estrela</h4><pre># Massa do Sol em quilogramas<br>sun_mass = 1.989e30<br><br># Luminosidade do Sol em watts<br>lumin_sol = 3.828e26<br><br># Calculando e adicionando a &#39;Massa Aproximada&#39; ao DataFrame<br>df[&#39;Approximate Mass&#39;] = (df[&#39;Luminosity&#39;] / lumin_sol) ** (1/3.5) * sun_mass</pre><h4><strong>Massa vs Luminosidade</strong></h4><pre># Criando um gráfico de dispersão 2D com Plotly Express<br>fig = px.scatter(df, x=&#39;Approximate Mass&#39;, y=&#39;Luminosity&#39;, color=&#39;Temp/Teff (K)&#39;,<br>                 size=&#39;Approximate Mass&#39;, opacity=0.7, size_max=20, template=&#39;plotly_dark&#39;,<br>                 title=&#39;Relação entre Massa e Luminosidade das Estrelas&#39;)<br><br># Configurando rótulos e outras propriedades do gráfico<br>fig.update_layout(xaxis_title=&#39;Massa Aproximada (Massas Solares)&#39;, yaxis_title=&#39;Luminosidade (Luminosidades Solares)&#39;)<br>fig.update_layout(title_x=0.5)<br><br># Exibindo o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KBdvNF-0QT8Pg2Cx0jJ3Tw.png" /></figure><h4><strong>Tipos Espectrais</strong></h4><p>Os tipos espectrais são uma forma de classificação estelar que organiza as estrelas com base em suas características espectrais, especialmente as linhas espectrais presentes em seus espectros de luz. A classificação espectral é fundamental para compreender a natureza e a composição das estrelas, proporcionando informações valiosas sobre sua temperatura, massa, luminosidade e composição química.</p><p>O sistema de classificação espectral mais comum é o sistema de tipos espectrais de Harvard, que utiliza as letras O, B, A, F, G, K e M para representar diferentes classes estelares. Cada letra está associada a uma faixa específica de temperaturas, sendo que estrelas do tipo O são as mais quentes, enquanto estrelas do tipo M são mais frias. A sequência das letras segue a ordem alfabética e representa uma ordem crescente de temperatura.</p><ul><li><strong>O (Azul):</strong> Estrelas extremamente quentes e luminosas, com temperaturas superiores a 30.000 Kelvin. Possuem linhas de absorção de hidrogênio e hélio fortemente ionizados.</li><li><strong>B (Azul-Brancas):</strong> Estrelas muito quentes, com temperaturas entre 10.000 e 30.000 Kelvin. Apresentam linhas de hidrogênio e hélio.</li><li><strong>A (Branco-Azuis):</strong> Estrelas quentes, com temperaturas entre 7.500 e 10.000 Kelvin. Exibem linhas de hidrogênio proeminentes.</li><li><strong>F (Branco-Amarelas):</strong> Estrelas moderadamente quentes, com temperaturas entre 6.000 e 7.500 Kelvin. Mostram linhas de hidrogênio menos intensas.</li><li><strong>G (Amarelas):</strong> Estrelas como o nosso Sol, com temperaturas em torno de 5.000 a 6.000 Kelvin. Possuem linhas de hidrogênio visíveis e são comuns na Galáxia.</li><li><strong>K (Laranjas):</strong> Estrelas mais frias, com temperaturas entre 3.500 e 5.000 Kelvin. Apresentam linhas de absorção de metais.</li><li><strong>M (Vermelhas):</strong> Estrelas frias, com temperaturas abaixo de 3.500 Kelvin. São as estrelas mais abundantes no universo e exibem fortes linhas moleculares.</li></ul><p>Essa classificação espectral fornece uma maneira eficiente de resumir várias propriedades estelares em uma única letra, facilitando a compreensão e comparação entre diferentes estrelas. Além disso, é comum adicionar subcategorias numéricas para refinar ainda mais a classificação. O sistema de tipos espectrais é uma ferramenta valiosa para astrônomos ao explorar a diversidade e a evolução das estrelas no universo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/499/1*RJbYQ4GqzS3mDk4Og-Vz7w.png" /></figure><pre># Criando uma função para extrair o caractere raiz<br>def tipo_espectral(sptype):<br>    # Verificando se o valor não é nulo e se o primeiro caractere pertence a um dos tipos espectrais &#39;O&#39;, &#39;B&#39;, &#39;A&#39;, &#39;F&#39;, &#39;G&#39;, &#39;K&#39;, &#39;M&#39;<br>    if pd.notna(sptype) and sptype[0] in [&#39;O&#39;, &#39;B&#39;, &#39;A&#39;, &#39;F&#39;, &#39;G&#39;, &#39;K&#39;, &#39;M&#39;]:<br>        # Retorna o primeiro caractere do tipo espectral<br>        return sptype[0]<br>    else:<br>        # Retorna None se não atender às condições<br>        return None<br><br># Aplicando a função à coluna &#39;SpType&#39; e armazenando o resultado na coluna &#39;Root SpType&#39;<br>df[&#39;Root SpType&#39;] = df[&#39;SpType&#39;].apply(tipo_espectral)</pre><p>Criamos uma nova coluna chamada ‘Root SpType’ no DataFrame (df) e extraimos o primeiro caractere do tipo espectral (‘O’, ‘B’, ‘A’, ‘F’, ‘G’, ‘K’, ‘M’) da coluna ‘SpType’ e armazenamos o resultado na nova coluna. Se a entrada na coluna ‘SpType’ for nula ou não começar com um dos caracteres especificados, o valor na coluna ‘Root SpType’ será definido como None.</p><pre># Criando um gráfico de dispersão interativo utilizando Plotly Express<br>fig = px.scatter(df,<br>                 x=&quot;Temp/Teff (K)&quot;,  # Eixo x: Temperatura/Teff<br>                 y=&quot;Amag&quot;,           # Eixo y: Magnitude Absoluta<br>                 size=&quot;Radius&quot;,       # Tamanho dos marcadores proporcional ao Raio<br>                 color=&quot;Root SpType&quot;,  # Cor dos marcadores com base no tipo espectral raiz<br>                 size_max=60,         # Tamanho máximo dos marcadores<br>                 template=&quot;plotly_dark&quot;,  # Tema escuro<br>                 title=&quot;Temp/Teff (K) vs Magnitude Absoluta&quot;)  # Título do gráfico<br><br># Configurando o intervalo do eixo y para limitar os valores de luminosidade até 10^30<br>fig.update_layout(<br>    xaxis_title=&quot;Temp/Teff (K)&quot;,          # Rótulo do eixo x<br>    yaxis_title=&quot;Magnitude Absoluta&quot;,     # Rótulo do eixo y<br>    legend_title=&quot;Tipo Espectral&quot;,         # Título da legenda<br>    showlegend=True                       # Exibir a legenda<br>)<br><br>fig.update_layout(title_x=0.5)<br><br># Exibindo o gráfico interativo<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4ulDCVutPOAS4hvP4nklrA.png" /></figure><p>Vamos criar um “gráfico de pizza” com cada fatia do gráfico correspondendo a um tipo estelar, com o tamanho da fatia proporcional à contagem de estrelas desse tipo.</p><pre># Calculando a contagem de valores únicos em &#39;Root SpType&#39;<br>count_sptype = df[&#39;Root SpType&#39;].value_counts().reset_index()<br>count_sptype.columns = [&#39;Root SpType&#39;, &#39;Count&#39;]<br><br># Definindo cores ou utilizando as cores padrão do Plotly<br>colors = px.colors.qualitative.Set3<br><br># Criando um gráfico de pizza (pie chart) com Plotly Express<br>fig = px.pie(count_sptype, values=&#39;Count&#39;, names=&#39;Root SpType&#39;, hole=0.4,<br>             color_discrete_sequence=colors,template=&quot;plotly_dark&quot;, <br>             labels={&#39;Root SpType&#39;: &#39;Tipo Estelar&#39;, &#39;Count&#39;: &#39;Número de Amostras&#39;})<br><br># Adicionando anotações ao gráfico<br>fig.add_annotation(text=&#39;Estrelas Classificadas&#39;,<br>                   x=0.5, y=0.5, showarrow=False, font_size=12, opacity=0.7, font_family=&#39;arial&#39;)<br><br># Atualizando o layout do gráfico<br>fig.update_layout(<br>    font_family=&#39;arial&#39;,<br>    title=dict(text=&#39;Tipos Estelares&#39;, x=0.47, y=0.98, font=dict(color=colors[2], size=20)),<br>    legend=dict(x=0.37, y=-0.50, orientation=&#39;h&#39;, traceorder=&#39;reversed&#39;),<br>    hoverlabel=dict(bgcolor=&#39;white&#39;))<br><br># Atualizando as características dos traços<br>fig.update_traces(textposition=&#39;outside&#39;, textinfo=&#39;percent+label&#39;)<br><br># Exibindo o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/671/1*ul6l8PoEXnlqurzOnpOHpQ.png" /></figure><h4><strong>Density</strong></h4><p>Densidade Estelar: A determinação da densidade média de uma estrela é essencial para compreender suas propriedades físicas internas. A fórmula utilizada para calcular a densidade:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/164/1*KA6euBST_p2iARnooTSJSA.png" /></figure><p>onde:</p><p>- M é a massa (em Kg)</p><p>- R é o raio da estrela (já em metros)</p><p>O raio estelar, no entanto, é frequentemente uma função complexa de diversas características estelares, tornando sua determinação não trivial. Em modelos estelares, é necessário resolver equações que descrevem a estrutura completa da estrela para, então, calcular o raio ao identificar o valor correspondente à sua superfície.</p><p>Geralmente, não existe uma fórmula direta para o raio estelar devido à complexidade das condições internas das estrelas. O método envolve o entendimento profundo da estrutura estelar e a utilização de modelos teóricos avançados. Essa complexidade destaca a importância de métodos computacionais e teóricos para a determinação precisa das características estelares.</p><p>Este processo é evidenciado no código fornecido, onde a densidade de cada estrela é calculada usando a fórmula mencionada, aproveitando as massas e raios já fornecidos em quilogramas e metros, respectivamente. A nova coluna ‘Density’ no DataFrame (`df`) reflete essa avaliação, proporcionando uma medida da densidade estelar para cada entrada no conjunto de dados.</p><p>É crucial notar que a determinação precisa do raio estelar muitas vezes requer abordagens mais sofisticadas e específicas para cada estrela, e a fórmula mencionada simplifica o cálculo quando informações detalhadas sobre a estrutura estelar não estão disponíveis.</p><pre># Definindo uma função para calcular a densidade estelar<br>def calc_densidade(mass, radius):<br>    # Calculando o volume da estrela usando a fórmula da esfera<br>    volume = (4 / 3) * np.pi * radius**3<br>    # Calculando a densidade usando a fórmula: densidade = massa / volume (em Kg/m^3)<br>    density = mass / volume<br>    return density<br><br># Calculando a densidade de cada estrela<br>df[&quot;Density&quot;] = calc_densidade(df[&quot;Approximate Mass&quot;], df[&quot;Radius&quot;])<br><br># Filtrar e remover linhas onde a coluna &#39;Density&#39; é maior que 0<br>df = df[df[&#39;Density&#39;] &gt; 0]<br>df</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/743/1*ZMS2uY-SY9kUKYpQaLK-LQ.png" /></figure><p>Como critério adotado anteriormente, filtramos a densidade já que não pode ser zero</p><pre># Criando um gráfico de dispersão tridimensional usando Plotly Express<br>fig = px.scatter_3d(y=df[&#39;Approximate Mass&#39;], x=df[&#39;Density&#39;], z=df[&#39;Temp/Teff (K)&#39;], color=df[&#39;Temp/Teff (K)&#39;])<br><br># Atualizando o layout do gráfico<br>fig.update_layout(<br>    title=&#39;Densidade vs Massa Aproximada&#39;,         <br>    template=&#39;plotly_dark&#39;,                     <br>    scene=dict(zaxis_title=&#39;Temperatura&#39;,         <br>               xaxis_title=&#39;Densidade&#39;,             <br>               yaxis_title=&#39;Massa&#39;)               <br>)<br>fig.update_layout(title_x=0.5)<br><br># Exibindo o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*E74JJUjebmbOPu11r19hOg.png" /></figure><h4><strong>Prevendo possíveis Buracos Negros</strong></h4><p>Aqui adicionamos algumas colunas ao DataFrame para indicar se uma estrela é considerada um buraco negro (‘Black Hole’) e se é uma estrela quente (‘Hot Star’). O código também atualiza a coluna ‘Black Hole’ com 1 para as estrelas classificadas como quentes. O uso de expressões lambda e operações condicionais torna o código conciso e eficiente.</p><p>Densidade Estelar e Classificação:</p><p>Agora consideramos múltiplos aspectos das estrelas, incluindo sua densidade e características espectrais. O código implementa uma classificação binária, identificando estrelas que têm maior probabilidade de se transformarem em buracos negros. Este processo é guiado pelo tipo espectral e outras propriedades estelares.</p><ol><li><strong>Classificação Espectral:</strong></li></ol><ul><li>A função `replace_sp_type` atribui valores numéricos às estrelas com base em padrões de terminação em seus tipos espectrais. Estrelas do tipo ‘I’, ‘II’, ou ‘III’ são classificadas como gigantes (1), ‘IV’, ‘V’, ou ‘VI’ como anãs (0), e outros tipos espectrais como indefinidos (-1).</li></ul><p>2. <strong>Remoção de Dados Não Nulos e Específicos:</strong></p><ul><li>São removidas linhas com valores nulos na coluna ‘SpType’ e colunas associadas ao tipo espectral terminado em ‘VII’.</li></ul><p>3. <strong>Classificação de Estrelas Quentes (‘Hot Stars’):</strong></p><ul><li>Uma coluna ‘Hot Star’ é criada, marcada como ‘True’ para estrelas dos tipos O, B, e A, e ‘False’ para os demais. Estrelas quentes são associadas a uma maior probabilidade de colapso em buracos negros.</li></ul><p>4. <strong>Marcação de Estrelas Gigantes:</strong></p><ul><li>A coluna ‘Giant or Dwarf’ é introduzida, identificando estrelas gigantes (1) e anãs (0) com base no tipo espectral.</li></ul><p>5. <strong>Associação com Possíveis Buracos Negros:</strong></p><ul><li>A coluna ‘Black Hole’ é atualizada para 1 onde as estrelas são classificadas como gigantes, possivelmente indicando uma maior probabilidade de evolução para buracos negros.</li></ul><p>Esse processo ressalta a relevância da temperatura e massa estelar na probabilidade de formação de buracos negros. Estrelas mais quentes e massivas são mais propensas a evoluir para buracos negros, devido à sua atração gravitacional intensificada. A classificação binária ‘True’ ou ‘False’ em ‘Hot Star’ e a diferenciação entre gigantes e anãs contribuem para uma análise mais refinada das características estelares associadas à possível formação de buracos negros.</p><pre># Considerando valores como zero<br># Criando coluna &#39;Black Hole&#39; e inicializando todos os valores como 0<br>df[&#39;Black Hole&#39;] = 0<br><br># Criando coluna &#39;Hot Star&#39; com valores &#39;True&#39; se o tipo espectral raiz estiver em [&#39;O&#39;, &#39;B&#39;, &#39;A&#39;], caso contrário, &#39;False&#39;<br>df[&#39;Hot Star&#39;] = df[&#39;Root SpType&#39;].apply(lambda x: &#39;True&#39; if x in [&#39;O&#39;, &#39;B&#39;, &#39;A&#39;] else &#39;False&#39;)<br><br># Atualizando os valores da coluna &#39;Black Hole&#39; para 1 onde a coluna &#39;Hot Star&#39; é &#39;True&#39;<br>df.loc[(df[&#39;Hot Star&#39;] == &#39;True&#39;), &#39;Black Hole&#39;] = 1<br>df</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/851/1*D8gsmUhqnG1Bt3hlDeYXzQ.png" /></figure><h4><strong>Estrelas Gigantes x Estrelas Anãs</strong></h4><p>Estrelas Gigantes e a Probabilidade de Formação de Buracos Negros:</p><p>Hora de apresentar considerações específicas em relação às estrelas gigantes, explorando a associação entre sua classificação e a probabilidade de colapso em buracos negros. Aqui está a análise relacionada:</p><p>1. <strong>Classificação de Estrelas Gigantes:</strong></p><ul><li>O código identifica e distingue estrelas gigantes das anãs, introduzindo a coluna ‘Giant or Dwarf’ com valores 1 para gigantes e 0 para anãs, com base na terminação dos tipos espectrais.</li></ul><p>2. <strong>Vida Útil das Estrelas Gigantes:</strong></p><ul><li>Estrelas gigantes têm uma vida útil mais curta em comparação com estrelas anãs. Esse aspecto é crucial para compreender a probabilidade de transformação em buracos negros, pois as gigantes esgotam seu combustível mais rapidamente.</li></ul><p>3. <strong>Colapso em Buracos Negros:</strong></p><ul><li>A probabilidade de uma estrela gigante colapsar em um buraco negro está associada à sua massa. O código reflete isso marcando como 1 na coluna ‘Black Hole’ quando uma estrela é classificada como gigante (‘Giant or Dwarf’ igual a 1).</li></ul><p>4. <strong>Razões do Colapso:</strong></p><ul><li>A rápida exaustão do combustível em estrelas gigantes as coloca em um caminho evolutivo propenso ao colapso. Quando o combustível se esgota, uma estrela gigante pode passar por processos de formação de anã branca, estrela de nêutrons ou, significativamente, transformar-se em um buraco negro.</li></ul><p>Assim, destacamos que estrelas gigantes, devido à sua vida útil mais curta e esgotamento acelerado de combustível, apresentam uma maior probabilidade de evolução para buracos negros. A associação entre a classificação gigante, a vida útil estelar e a massa destaca a importância desses fatores na análise das trajetórias evolutivas das estrelas no contexto da formação de buracos negros.</p><pre># Definindo uma função para substituir os tipos espectrais<br>def replace_sp_type(sp_type):<br>    # Verificando se o tipo espectral termina com &#39;I&#39;, &#39;II&#39;, ou &#39;III&#39; e atribuindo 1 (Gigante)<br>    if sp_type.endswith((&#39;I&#39;, &#39;II&#39;, &#39;III&#39;)):<br>        return 1<br>    # Verificando se o tipo espectral termina com &#39;IV&#39;, &#39;V&#39;, ou &#39;VI&#39; e atribuindo 0 (Anã)<br>    elif sp_type.endswith((&#39;IV&#39;, &#39;V&#39;, &#39;VI&#39;)):<br>        return 0<br>    # Caso não se encaixe nos padrões anteriores, atribuindo -1 (Indefinido)<br>    else:<br>        return -1<br><br># Removendo linhas com valores nulos na coluna &#39;SpType&#39;<br>df = df.dropna(subset=[&#39;SpType&#39;])<br><br># Removendo colunas onde &#39;SpType&#39; termina com &#39;VII&#39;<br>df = df[~df[&#39;SpType&#39;].str.endswith(&#39;VII&#39;)]<br><br># Criando uma nova coluna &#39;Giant or Dwarf&#39; com base na função replace_sp_type<br>df[&#39;Giant or Dwarf&#39;] = [replace_sp_type(sp_type) for sp_type in df[&#39;SpType&#39;]]<br><br># Atualizando a coluna &#39;Black Hole&#39; para 1 onde &#39;Giant or Dwarf&#39; é igual a 1<br>df.loc[(df[&#39;Giant or Dwarf&#39;] == 1), &#39;Black Hole&#39;] = 1<br><br># Exibindo o DataFrame<br>df</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/934/1*07GnwaCEm_9oTcfUlftTLA.png" /></figure><pre># Definindo a massa do Sol em quilogramas<br>sun_mass = 1.989e30<br><br># Atualizando a coluna &#39;Black Hole&#39; para 1 onde a &#39;Approximate Mass&#39; é maior que 3 vezes a massa do Sol<br># Isso está relacionado ao limite Tolman–Oppenheimer–Volkoff (TOV), indicando condições para formação de buracos negros<br>df.loc[(df[&#39;Approximate Mass&#39;] &gt; 3 * sun_mass), &#39;Black Hole&#39;] = 1<br><br># Exibindo o DataFrame atualizado<br>print(df)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/429/1*fh0n7EMzSNmttXs6Vu5f5w.png" /></figure><p>Este trecho de código realiza as seguintes operações:</p><ul><li>Definição da Massa do Sol:</li></ul><p>A massa do Sol é definida como 1.989×10³⁰ quilogramas.</p><ul><li>Atualização da Coluna ‘Black Hole’:</li></ul><p>A coluna ‘Black Hole’ é atualizada para 1 onde a ‘Approximate Mass’ da estrela é maior que 3 vezes a massa do Sol. Essa condição está relacionada ao limite Tolman–Oppenheimer–Volkoff (TOV): uma formulação teórica na astrofísica que estabelece limites para a massa e densidade central de objetos massivos, como estrelas, indicando as condições para o colapso gravitacional. Se a massa ultrapassa esse limite crítico, a pressão interna não é suficiente para conter a gravidade, levando à formação de um buraco negro. O TOV é essencial para compreender os estágios finais da evolução estelar e os processos que podem resultar em buracos negros.</p><ul><li>Exibição do DataFrame Atualizado:</li></ul><p>O DataFrame é exibido após as atualizações, possivelmente para avaliar o impacto das condições TOV nas estrelas do conjunto de dados.</p><p>Ou seja, o objetivo é identificar e marcar estrelas cuja massa aproximada excede três vezes a massa do Sol, indicando a possibilidade de colapso em buracos negros com base no critério TOV. Essa abordagem é uma maneira de categorizar estrelas que atingiram condições críticas para formação de buracos negros.</p><pre># Criando um gráfico de dispersão 2D<br>fig = px.scatter(df, x=&#39;Approximate Mass&#39;, y=&#39;B-V&#39;, color=&#39;Temp/Teff (K)&#39;,<br>                 size=&#39;Approximate Mass&#39;, opacity=0.7, size_max=20, template=&#39;plotly_dark&#39;,<br>                 title=&#39;Possíveis Buracos Negros&#39;)<br><br># Configurando rótulos e outras propriedades do gráfico<br>fig.update_layout(xaxis_title=&#39;Massa Aproximada&#39;, yaxis_title=&#39;B-V&#39;)<br>fig.update_layout(title_x=0.5)<br><br># Exibindo o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Y5zBhn9FkIlceI51xfvydg.png" /></figure><h4><strong>Correlação das Variáveis</strong></h4><pre># Filtrando colunas numéricas<br>numerical_columns = df.select_dtypes(include=[np.number])<br><br># Construindo a matriz de correlação<br>correlation_matrix = numerical_columns.corr()<br><br># Exibindo a matriz de correlação<br>print(correlation_matrix)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/438/1*zCTvOhP4hJN19wcXkHVRBw.png" /></figure><p>O mapa de correlação é uma representação visual que mostra a relação estatística entre variáveis em um conjunto de dados. Ele é usado para identificar padrões de associação, seja positiva ou negativa, entre as variáveis, auxiliando na compreensão das interações entre diferentes características e no processo de tomada de decisões em análises de dados.</p><pre># Configurando o tamanho da figura<br>plt.figure(figsize=(16, 6))<br><br># Criando um mapa de calor (heatmap) da correlação entre as colunas numéricas<br># Mudando o esquema de cores para &#39;RdBu_r&#39; (Vermelho-Azul invertido)<br>heatmap = sns.heatmap(numerical_columns.corr(), vmin=-1, vmax=1, annot=True, cmap=&#39;RdBu_r&#39;)<br><br># Configurando o título do mapa de calor<br>heatmap.set_title(&#39;Correlation Heatmap&#39;, fontdict={&#39;fontsize&#39;: 18}, pad=12)<br><br># Exibindo o mapa de calor<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/891/1*DGvCcXtZqKPWv_mS6F2B4w.png" /></figure><p><strong>Conseguimos obter alguns insights sobre as relações lineares entre as variáveis no conjunto de dados:</strong></p><p>1. <strong>Magnitude Aparente (Vmag) e Paralaxe (Plx):</strong></p><ul><li>Correlação negativa moderada (-0.23): Estrelas mais brilhantes (menor magnitude) tendem a ter uma paralaxe maior.</li></ul><p>2. <strong>Paralaxe (Plx) e Erro na Paralaxe (e_Plx):</strong></p><ul><li>Correlação negativa fraca (-0.04): Paralaxe e seu erro estão ligeiramente relacionados, indicando que paralaxes mais precisas tendem a ter erros menores.</li></ul><p>3. <strong>Cor Índice de Cor B-V e Temperatura Efetiva (Temp/Teff):</strong></p><ul><li>Correlação negativa forte (-0.94): Existe uma relação inversa entre a cor (índice B-V) e a temperatura efetiva — estrelas mais quentes têm índices B-V menores.</li></ul><p>4. <strong>Magnitude Absoluta (Amag) e Luminosidade:</strong></p><ul><li>Correlação negativa moderada (-0.19): Estrelas mais luminosas geralmente têm uma magnitude absoluta menor.</li></ul><p>5. <strong>Raio e Densidade:</strong></p><ul><li>Correlação positiva moderada (0.19): Estrelas com maior raio tendem a ter uma densidade um pouco maior.</li></ul><p>6. <strong>Massa Aproximada e Densidade:</strong></p><ul><li>Correlação positiva leve (0.12): Estrelas com maior massa aproximada têm uma densidade ligeiramente maior.</li></ul><p>7. <strong>Massa Aproximada e Raio:</strong></p><ul><li>Correlação positiva forte (0.79): Existe uma forte relação positiva entre a massa aproximada e o raio estelar.</li></ul><p>8. <strong>Massa Aproximada e Magnitude Absoluta:</strong></p><ul><li>Correlação negativa forte (-0.78): Estrelas mais massivas geralmente têm uma magnitude absoluta menor.</li></ul><p>9. <strong>Black Hole e Magnitude Aparente (Vmag):</strong></p><ul><li>Correlação negativa moderada (-0.28): A presença de buracos negros está associada a estrelas mais fracas (maior magnitude aparente).</li></ul><p>10. <strong>Black Hole e Massa Aproximada:</strong></p><ul><li>Correlação positiva moderada (0.38): Estrelas com maior massa aproximada têm uma probabilidade moderadamente maior de serem buracos negros.</li></ul><h3><strong>Machine Learning</strong></h3><h4><strong>Logistic Regression</strong></h4><p>A Regressão Logística é um algoritmo de classificação binária que modela a relação entre variáveis independentes e a probabilidade de pertencer a uma classe específica. Utiliza a função logística para produzir saídas entre 0 e 1, sendo comumente aplicado em problemas médicos, financeiros e sociais devido à sua simplicidade e interpretabilidade.</p><pre># Verificando os valores únicos<br>print(df[&#39;Black Hole&#39;].unique())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/46/1*vj3ZFTXLnd9rno6RZ5DbcA.png" /></figure><pre># Importando as bibliotecas necessárias<br>from sklearn.model_selection import train_test_split<br>from sklearn.preprocessing import StandardScaler<br>from sklearn.metrics import accuracy_score, confusion_matrix, classification_report<br><br># Função para realizar regressão logística usando gradient descent<br>def log_regression(X, y, theta, alpha, iterations):<br>    m = len(y)<br>    X = np.c_[np.ones(X.shape[0]), X]  # Adicionando o termo de viés<br><br>    for _ in range(iterations):<br>        h = 1 / (1 + np.exp(-X.dot(theta)))<br>        gradient = X.T.dot(h - y) / m<br>        theta -= alpha * gradient<br><br>    return theta<br><br># Função para fazer previsões<br>def previsoes(X, theta):<br>    X = np.c_[np.ones(X.shape[0]), X]  # Adicionando o termo de viés<br>    return np.round(1 / (1 + np.exp(-X.dot(theta))))<br><br># Selecionando as features e o target do DataFrame<br>x = df[[&#39;Vmag&#39;, &#39;Plx&#39;, &#39;e_Plx&#39;, &#39;B-V&#39;, &#39;Temp/Teff (K)&#39;, &#39;Amag&#39;, &#39;Luminosity&#39;, &#39;Radius&#39;, &#39;Approximate Mass&#39;, &#39;Density&#39;]]<br>y = df[&#39;Black Hole&#39;]<br><br># Dividindo os dados em conjuntos de treinamento e teste<br>x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=42)  # Test Data = 20% e Train Data = 80%<br><br># Normalizando os dados<br>scaler = StandardScaler()<br>x_train_scaled = scaler.fit_transform(x_train)<br>x_test_scaled = scaler.transform(x_test)<br><br># Inicializando parâmetros<br>theta = np.zeros(X_train_scaled.shape[1] + 1)  # Parâmetro adicional para o termo de viés<br>alpha_values = [0.001, 0.01, 0.3, 0.5, 1]<br>iterations_values = [100, 500, 1000, 2000, 3000]<br><br># Realizando busca em grade<br>melhor_acuracia = 0<br>melhor_alpha = 0<br>melhor_iterations = 0<br><br>for alpha in alpha_values:<br>    for iterations in iterations_values:<br>        # Realizando regressão logística<br>        theta_optimized = log_regression(x_train_scaled, y_train, theta, alpha, iterations)<br><br>        # Fazendo previsões no conjunto de teste<br>        y_pred = predict(x_test_scaled, theta_optimized)<br><br>        # Calculando a acurácia<br>        acuracia = accuracy_score(y_test, y_pred)<br><br>        # Atualizando os melhores hiperparâmetros se a acurácia for maior<br>        if accuracy &gt; best_accuracy:<br>            melhor_acuracia = accuracy<br>            melhor_alpha = alpha<br>            melhor_iterations = iterations<br><br># Imprimindo os melhores hiperparâmetros<br>print(&quot;Melhor Alpha:&quot;, melhor_alpha)<br>print(&quot;Melhor Iterações:&quot;, melhor_iterations)<br></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/126/1*YObHlfp7c2Rx7-eMNDV9Ug.png" /></figure><pre># Melhores hiperparâmetros para treinar o modelo<br>theta_optimal = log_regression(x_train_scaled, y_train, theta, best_alpha, best_iterations)<br><br># Previsões no conjunto de teste usando o modelo otimizado<br>y_pred = predict(x_test_scaled, theta_optimal)<br><br># Avaliação do modelo<br>acuracia = accuracy_score(y_test, y_pred)<br>matriz_confusao = confusion_matrix(y_test, y_pred)<br>classificacao = classification_report(y_test, y_pred)<br><br># Imprimindo os resultados<br>print(f&#39;Acurácia: {acuracia * 100:.2f}%&#39;)<br>print(&#39;Matriz de Confusão:&#39;)<br>print(matriz_confusao)<br>print(&#39;Relatório de Classificação:&#39;)<br>print(classificacao)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/311/1*5mqQWy7SQOr22NaB7L_Sig.png" /></figure><p>Os insights a partir dos resultados são:</p><ol><li><strong>Acurácia Elevada:</strong>A acurácia atinge 98.16%, indicando que o modelo tem um alto desempenho global na classificação.</li><li><strong>Matriz de Confusão Balanceada:</strong> A matriz de confusão mostra uma quantidade relativamente baixa de falsos positivos (39) e falsos negativos (40), indicando um bom equilíbrio entre sensibilidade (recall) e especificidade.</li><li><strong>Alta Precisão e Recall:</strong> Ambos os valores de precisão e recall para ambas as classes (0 e 1) são consistentemente altos (98%), sugerindo que o modelo é capaz de identificar corretamente ambas as classes de forma confiável.</li></ol><pre>from sklearn.metrics import confusion_matrix, roc_curve, auc<br><br># Matriz de Confusão<br>plt.figure(figsize=(8, 6))<br>sns.heatmap(matriz_confusao, annot=True, fmt=&#39;d&#39;, cmap=&#39;Blues&#39;, cbar=False)<br>plt.title(&#39;Matriz de Confusão&#39;)<br>plt.xlabel(&#39;Predito&#39;)<br>plt.ylabel(&#39;Verdadeiro&#39;)<br>plt.show()<br><br># Curva ROC e AUC<br>fpr, tpr, thresholds = roc_curve(y_test, y_pred)<br>roc_auc = auc(fpr, tpr)<br><br>plt.figure(figsize=(8, 8))<br>plt.plot(fpr, tpr, color=&#39;darkorange&#39;, lw=2, label=f&#39;Curva ROC (AUC = {roc_auc:.2f})&#39;)<br>plt.plot([0, 1], [0, 1], color=&#39;navy&#39;, lw=2, linestyle=&#39;--&#39;)<br>plt.xlabel(&#39;Taxa de Falso Positivo (FPR)&#39;)<br>plt.ylabel(&#39;Taxa de Verdadeiro Positivo (TPR)&#39;)<br>plt.title(&#39;Curva ROC&#39;)<br>plt.legend(loc=&#39;lower right&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/476/1*i9CdnjZRR0HrW8TB86EfSw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/478/1*nH_N09Iy0yMhSbTz9hBHhQ.png" /></figure><h3><strong>CONCLUSÃO</strong></h3><h4><strong>Resumo do Projeto:</strong></h4><p>1. <strong>Objetivo Inicial:</strong></p><ul><li>O projeto começou com a exploração do Diagrama de Hertzsprung-Russell (HR), uma ferramenta gráfica essencial na astronomia para entender a relação entre luminosidade e temperatura efetiva das estrelas.</li></ul><p>2. <strong>Análise do Diagrama de Hertzsprung-Russell:</strong></p><ul><li>Explicamos os eixos do diagrama, a classificação espectral das estrelas, e como o HR ajuda a compreender a evolução estelar, destacando as fases da sequência principal, gigantes, supergigantes e anãs brancas.</li></ul><p>3. <strong>Exploração de Propriedades Estelares:</strong></p><ul><li>Abordamos a importância da massa e raio estelar na compreensão da evolução estelar.</li><li>Introduzimos a Lei de Stefan-Boltzmann para entender a relação entre luminosidade, temperatura e raio de uma estrela.</li></ul><p>4. <strong>Classificação Espectral:</strong></p><ul><li>Detalhamos o sistema de classificação espectral de Harvard (O, B, A, F, G, K, M) e sua relação com a temperatura estelar.</li></ul><p>5. <strong>Densidade Estelar:</strong></p><ul><li>Discutimos a importância da densidade estelar na compreensão das propriedades físicas internas das estrelas, com ênfase na complexidade da determinação do raio estelar.</li></ul><p>6. <strong>Implementação de Classificações no Conjunto de Dados:</strong></p><ul><li>Apresentamos códigos Python que adicionam informações como a classificação gigante/anã, a presença de buracos negros e estrelas quentes ao conjunto de dados estelar.</li></ul><p>7. <strong>Análise Estatística do Conjunto de Dados:</strong></p><ul><li>Fornecemos interpretações estatísticas das principais características do conjunto de dados, incluindo magnitude, paralaxe, índice de cor, temperatura, luminosidade, raio, massa e densidade estelar.</li></ul><p>8. <strong>Classificação de Possíveis Buracos Negros:</strong></p><ul><li>Aplicamos uma abordagem de classificação binária para identificar possíveis buracos negros com base em critérios de massa e densidade.</li></ul><p>9. <strong>Resultados da Classificação:</strong></p><ul><li>Apresentamos insights sobre a relação entre a presença de buracos negros e variáveis como magnitude, massa aproximada, e características espectrais.</li></ul><p>10. <strong>Avaliação do Modelo de Classificação:</strong></p><ul><li>Utilizamos métricas como acurácia, matriz de confusão e precisão/recall para avaliar o desempenho do modelo na identificação de estrelas com possibilidade de evoluir para buracos negros.</li></ul><p>11. <strong>Análise Estatística do Conjunto de Dados Atualizado:</strong></p><ul><li>Apresentamos estatísticas resumidas após as atualizações no conjunto de dados, destacando a diversidade nas propriedades estelares e a presença de estrelas marcadas como buracos negros.</li></ul><h4><strong>Conclusão e Destaques:</strong></h4><p><strong>Diversidade Estelar:</strong></p><ul><li>O projeto enfatizou a diversidade nas propriedades estelares, destacando como as estrelas variam em termos de magnitude, temperatura, massa, raio e densidade.</li></ul><p><strong>Importância da Classificação Espectral:</strong></p><ul><li>A classificação espectral e outras características foram cruciais para entender a evolução estelar e identificar padrões no conjunto de dados.</li></ul><p>-<strong>Identificação de Possíveis Buracos Negros:</strong></p><ul><li>O projeto propôs uma abordagem para identificar possíveis buracos negros com base em critérios de massa, densidade e limites teóricos.</li></ul><p><strong>Avaliação do Modelo:</strong></p><ul><li>A avaliação do modelo de classificação revelou um desempenho robusto na identificação de estrelas propensas a evoluir para buracos negros.</li></ul><p><strong>Enfoque nas Estrelas Gigantes:</strong></p><ul><li>Uma análise específica foi dedicada às estrelas gigantes, destacando sua associação com a probabilidade de formação de buracos negros.</li></ul><p><strong>Compreensão Profunda do Conjunto de Dados:</strong></p><ul><li>As estatísticas detalhadas proporcionaram uma compreensão mais profunda das características estelares, consolidando o conhecimento adquirido ao longo do projeto.</li></ul><p>Este projeto ofereceu uma exploração abrangente das estrelas, desde conceitos fundamentais, como o Diagrama de Hertzsprung-Russell, até a aplicação prática de técnicas de classificação para identificar características associadas à formação de buracos negros.</p><h3><strong>Agradecimento</strong></h3><p>Espero que essa primeira parte do projeto tenha sido relevante para você.</p><p>Dúvidas, críticas e elogios são bem vindos. =)</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=dba0c585e450" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Prevendo Rotatividade de Clientes com Machine Learning]]></title>
            <link>https://medium.com/@jonatasliberato/prevendo-rotatividade-de-clientes-com-machine-learning-b12a85908c2b?source=rss-8d0c66edc75f------2</link>
            <guid isPermaLink="false">https://medium.com/p/b12a85908c2b</guid>
            <category><![CDATA[datacience]]></category>
            <category><![CDATA[churn]]></category>
            <category><![CDATA[rotatividade]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Jonatas Liberato]]></dc:creator>
            <pubDate>Thu, 22 Feb 2024 01:31:48 GMT</pubDate>
            <atom:updated>2024-02-22T12:50:06.173Z</atom:updated>
            <content:encoded><![CDATA[<h4>inclui gráficos para pessoas com daltonismo.</h4><p>É fato que bancos buscam constantemente oferecer serviços de qualidade e reter o maior número possível de clientes ativos. Uma preocupação central é entender se as necessidades dos clientes estão sendo atendidas e identificar potenciais clientes considerando mudar para outra instituição. Identificar clientes propensos à mudança permite que o banco adote medidas proativas, como campanhas de marketing personalizadas, visando convencê-los a permanecer.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HTeK_LsqmwHZCwjIeEryAw.png" /></figure><p>Neste contexto, nosso objetivo é desenvolver um modelo de previsão preciso para determinar se clientes (dos dados de teste) continuarão sua relação com o banco ou estão ponderando uma possível saída.</p><p>Estudos do setor indicam que a retenção de clientes existentes geralmente é mais econômica do que a aquisição de novos. Compreender e antecipar o comportamento do cliente permite que os bancos implementem estratégias que aprimoram a satisfação e a lealdade do cliente, contribuindo para o sucesso e a sustentabilidade da instituição.</p><h3><strong>OBJETIVOS</strong></h3><p>Então vamos colocar em prática, conhecimentos em:</p><ul><li>Análise de dados</li><li>Análise estatística</li><li>Interpretação de gráficos</li><li>Compreensão de negócios</li><li>Pesquisa</li><li>Tratamento de dados</li><li>Modelos de Machine Learning</li><li>Storytelling</li></ul><h3><strong>INCLUSÃO</strong></h3><p>Sempre me preocupo para trazer visualizações bem informativas e bonitas para o leitor e analista, mas, peço perdão por minha desatenção. Acabo esquecendo de pessoas com limitações visuais, como os daltônicos.</p><p>É pensando nisso que utilizarei uma paleta de cores que facilite pelo menos um pouco para essas pessoas e já digo que adotarei outras medidas para tornar meus códigos e projetos acessíveis a todos.🤜🤛🏿</p><h3><strong>SOBRE OS DADOS</strong></h3><p>Trabalharemos com um conjunto de dados contendo informações sobre 10.000 clientes bancários e dentre as variáveis encontradas, estão:</p><ul><li>RowNumber: Número da linha ou índice no conjunto de dados.</li><li>CustomerId: Identificador único do cliente.</li><li>Surname: Sobrenome do cliente.</li><li>CreditScore: Pontuação de crédito do cliente.</li><li>Geography: País de origem do cliente.</li><li>Gender: Gênero do cliente.</li><li>Age: Idade do cliente.</li><li>Tenure: Número de anos que o cliente tem sido cliente do banco (tempo de permanência).</li><li>Balance: Saldo na conta do cliente.</li><li>NumOfProducts: Número de produtos bancários que o cliente utiliza.</li><li>HasCrCard: Indicação se o cliente possui cartão de crédito (1 se sim, 0 se não).</li><li>IsActiveMember: Indicação se o cliente é membro ativo (1 se sim, 0 se não).</li><li>EstimatedSalary: Salário estimado do cliente.</li><li>Exited: Indicação se o cliente saiu ou encerrou a relação com o banco (1 se sim, 0 se não).</li></ul><p>LINK DO DATASET: <a href="https://github.com/jonatasjal/data_science-prevendo_rotatividade_clientes/blob/main/Churn_Modelling.csv"><strong>AQUI</strong></a></p><h4><strong>FUNÇÕES</strong></h4><p>Como de costume, gosto de incluir as funções utilizadas nos projetos logo no início para uma melhor manutenção e localização.</p><pre>def num_plot(data, col, title, symb):<br>    # Cria uma grade de subplots<br>    fig, ax = plt.subplots(2, 1, sharex=True, figsize=(8, 5), gridspec_kw={&quot;height_ratios&quot;: (.2, .8)})<br>    <br>    # Adiciona título ao subplot superior<br>    ax[0].set_title(title, fontsize=18)<br>    <br>    # Boxplot no subplot superior<br>    sns.boxplot(x=col, data=data, ax=ax[0], palette=[&#39;#E68753&#39;, &#39;#409996&#39;])  # Cores para daltônicos<br>    <br>    # Remove os ticks do eixo y no subplot superior<br>    ax[0].set(yticks=[])<br>    <br>    # Histograma no subplot inferior<br>    sns.histplot(x=col, data=data, ax=ax[1], color=&#39;#409996&#39;)  # Cor para daltônicos<br>    <br>    # Adiciona rótulo ao eixo x no subplot inferior<br>    ax[1].set_xlabel(col, fontsize=16)<br>    <br>    # Linhas verticais para média, mediana e moda<br>    plt.axvline(data[col].mean(), color=&#39;darkgreen&#39;, linewidth=2.2, label=&#39;média=&#39; + str(np.round(data[col].mean(), 1)) + symb)<br>    plt.axvline(data[col].median(), color=&#39;red&#39;, linewidth=2.2, label=&#39;mediana=&#39; + str(np.round(data[col].median(), 1)) + symb)<br>    plt.axvline(data[col].mode()[0], color=&#39;purple&#39;, linewidth=2.2, label=&#39;moda=&#39; + str(np.round(data[col].mode()[0], 1)) + symb)<br>    <br>    # Adiciona a legenda no canto superior direito<br>    plt.legend(bbox_to_anchor=(1, 1.03), ncol=1, fontsize=17, fancybox=True, shadow=True, frameon=True)<br>    <br>    # Ajusta o layout para evitar sobreposição de elementos<br>    plt.tight_layout()<br>    <br>    # Exibe o gráfico<br>    plt.show()</pre><pre>def get_scores(y, y_pred, col):<br>    # Calcula as métricas de desempenho<br>    data = {<br>        &#39;Acurácia&#39;: np.round(accuracy_score(y, y_pred), 2),<br>        &#39;Precisão&#39;: np.round(precision_score(y, y_pred), 2),<br>        &#39;Recall&#39;: np.round(recall_score(y, y_pred), 2),<br>        &#39;F1&#39;: np.round(f1_score(y, y_pred), 2),<br>        &#39;ROC AUC&#39;: np.round(roc_auc_score(y, y_pred), 2)<br>    }<br>    <br>    # Cria um DataFrame com as métricas<br>    scores_df = pd.Series(data).to_frame(col)<br>    <br>    return scores_df</pre><h3><strong>01 Análise Exploratória de Dados</strong></h3><p>Etapa para conhecimento dos dados, onde faremos testes, gráficos, correlacionar variáveis e realizar os devidos tratamentos</p><pre># Bibliotecas<br>import pandas as pd<br>import numpy as np<br>import seaborn as sns<br>import matplotlib.pyplot as plt<br>import warnings<br>warnings.filterwarnings(&quot;ignore&quot;)</pre><pre># Carregando os dados<br>data = pd.read_csv(&#39;Churn_Modelling.csv&#39;)<br>data</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/872/1*tleVpIB0D2hjnb-8VKGHQQ.png" /></figure><pre># Tipos de dados<br>data.info()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/254/1*YEtZ7syl3YCviPB27Ya-Qg.png" /><figcaption>Possuimos alguns valores categóricos que provavelmente serão transformados em numéricos para as nossas máquinas preditivas</figcaption></figure><pre># Verificando valores nulos<br>data.isnull().sum()<br><br># Verificando valores duplicados<br>data.duplicated().sum()</pre><h4><strong>Matriz de Correlação</strong></h4><p>Calculamos e plotamos uma matiz de correlação para entender as relações entre as variáveis e para identificarmos problemas de multicolinearidade nos dados, o que pode ser prejudicial para nossos modelos e análises</p><pre># Seleciona apenas colunas numéricas<br>numeric_data = data.select_dtypes(include=&#39;number&#39;)<br><br># Calcula a matriz de correlação<br>data_corr = numeric_data.corr()<br>data_corr</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/814/1*cQw3u4DQc2POckA-un9Tjw.png" /></figure><pre># Mapa de calor com paleta de cores amigável para daltônicos<br>plt.figure(figsize=(12, 8))<br>sns.heatmap(data_corr, annot=True, cmap=&#39;viridis&#39;, fmt=&#39;.2f&#39;)<br>plt.yticks(rotation=0)<br>plt.xticks(rotation=90)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/696/1*CSR9tx2s7LhjcQoCoyVbdQ.png" /></figure><h4><strong>Variáveis Categóricas</strong></h4><p>Vamos dar uma olhada nas distribuições das variáveis categóricas, pelo menos nas principais. O objetivo é verificar o desbalanceamento destas.</p><pre># Lista de variáveis contínuas<br>continuous_vars = [&#39;CreditScore&#39;, &#39;Age&#39;, &#39;Balance&#39;, &#39;EstimatedSalary&#39;]<br><br># Filtra apenas as colunas numéricas<br>numeric_data = data[continuous_vars]<br><br># Configurações do gráfico de histogramas com paleta de cores amigável para daltônicos<br>fig, axes = plt.subplots(nrows=2, ncols=2, figsize=(16, 10))<br>fig.suptitle(&#39;Distribuição das Variáveis&#39;, fontsize=20)<br><br># Paleta de cores &quot;viridis&quot; para os histogramas<br>colors = sns.color_palette(&#39;viridis&#39;, len(continuous_vars))<br><br># Loop para criar os histogramas<br>for i, (var, color) in enumerate(zip(continuous_vars, colors)):<br>    ax = axes.flatten()[i]<br>    numeric_data[var].plot(kind=&#39;hist&#39;, ax=ax, color=color, edgecolor=&#39;black&#39;)<br>    ax.set_title(var.capitalize())<br>    ax.grid(axis=&#39;y&#39;, linestyle=&#39;--&#39;, alpha=0.7)<br><br>plt.tight_layout(rect=[0, 0, 1, 0.96])  # Ajusta o layout para incluir o título<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/911/1*DykKGTAYJ7Xzo6byR7Mzpg.png" /><figcaption>Aqui desejamos verificar como as variáveis categóricas se comportam em relação à variável Exited (saiu ou não do banco)</figcaption></figure><pre># Contagem das variáveis categóricas por Exited com paleta de cores amigável para daltônicos<br>fig, ax = plt.subplots(3, 2, figsize=(12, 9))<br><br># Escolhendo uma paleta de cores amigável<br>palette = &quot;Set2&quot;<br><br># Configuração do plot<br>sns.countplot(x=&#39;Geography&#39;, hue=&#39;Exited&#39;, data=data, ax=ax[0][0], palette=palette)<br>sns.countplot(x=&#39;Gender&#39;, hue=&#39;Exited&#39;, data=data, ax=ax[0][1], palette=palette)<br>sns.countplot(x=&#39;Tenure&#39;, hue=&#39;Exited&#39;, data=data, ax=ax[1][0], palette=palette)<br>sns.countplot(x=&#39;NumOfProducts&#39;, hue=&#39;Exited&#39;, data=data, ax=ax[1][1], palette=palette)<br>sns.countplot(x=&#39;HasCrCard&#39;, hue=&#39;Exited&#39;, data=data, ax=ax[2][0], palette=palette)<br>sns.countplot(x=&#39;IsActiveMember&#39;, hue=&#39;Exited&#39;, data=data, ax=ax[2][1], palette=palette)<br>plt.suptitle(&#39;Variáveis Categóricas x Exited&#39;, fontsize=16)<br>plt.tight_layout()<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/681/1*XZoS-m68zj0fN-7_Z7AIvQ.png" /></figure><p>INSIGHTS:</p><ol><li>A maior parte da amostra são da França, mas a nacionalidade das pessoas que mais abandonaram é alemã</li><li>Ainda sobre as pessoas que abandonaram, proporcionalmente é muito mais significativo pois a quantidade de pessoas da Alemanha é menos da metade das pessoas da França, faz-se necessária uma investigação.</li><li>Em questão de gênero, existe uma leve vantagem no número de pessoas do sexo masculino, sendo que mais pessoas do sexo feminino abandonaram, sendo que mais pessoas do sexo masculina permaneceram, uma investigação sobre as campanhas e seus conteúdos se faz necessária para entender os motivos.</li><li>Sobre os anos de permanência na agência, vemos um uma alta rotatividade entre 1 e 9 anos de permanecência. Uma menor taxa de encontra em menos de 1 ano, por provavelmente as pessoas estarem se adaptando mas que ainda sim se mostra relevante e em 10 anos, que a taxa de permanência despenca (tendo inúmeras causas, como idade, investimentos, etc).</li><li>Já sobre o número de produtos pelos usuários, nota-se que quando menos produtos, maior a taxa de pessoas que deixam a instituição e quanto menor o número de produtos, menos pessoas permanecem. Mas o interessante é que segundo os dados, pessoas com 3 produtos ou mais, acabam por abandonar a instituição. Pode ser reflexo de uma má negociação ou até mesmo algum problema ocorrido.</li><li>Uma maioria de pessoas com cartões de crédito são as que mais abandonaram. Apesar de proporcionalmente, tais pessoas pemanecerem mais, ainda sim é necessária uma análise aprofundada sobre a taxa de de abandono.</li><li>Como era de se esperar, pessoas inativas terão maior taxa de abandono.</li></ol><h4><strong>Variável Geography</strong></h4><pre># Dados para &#39;Geography&#39;<br>geography_values = data[&#39;Geography&#39;].value_counts().values<br>geography_labels = data[&#39;Geography&#39;].value_counts().index<br><br># Configurações do gráfico de pizza com paleta de cores amigável para daltônicos<br>fig, ax = plt.subplots(figsize=(8, 8))<br>explode = (0.05, 0.05, 0.05) <br><br># Cria o gráfico de pizza com paleta de cores amigável<br>patches, texts, autotexts = ax.pie(geography_values, <br>                                   labels=geography_labels, autopct=&#39;%1.1f%%&#39;, <br>                                   startangle=90, explode=explode, colors=sns.color_palette(&#39;Set2&#39;))<br><br># Configurações adicionais para melhorar a legibilidade<br>plt.setp(texts, color=&#39;grey&#39;)<br>plt.setp(autotexts, size=10, color=&#39;white&#39;)<br>plt.title(&#39;Distribuição de Geography&#39;)<br><br># Exibe o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/450/1*atvxjx0ANvcNDHKXtO9ZVQ.png" /></figure><p>Como vimos anterirmente, mais de 50% das pessoas são francesas e os 50% são divididos quase que igualmente entre alemães e espanhóis. O que mostra também que a proporção de alemães que deixam a instituição é relevante, dado o seu tamanho em comparação aos franceses.</p><h4><strong>Variável Gender</strong></h4><pre># Contagem de valores únicos na coluna &#39;Gender&#39;<br>exit_counts = data[&#39;Gender&#39;].value_counts()<br><br># Paleta de cores amigável para daltônicos<br>colors = sns.color_palette(&#39;Set2&#39;)<br><br># Cria um gráfico de barras com paleta de cores amigável<br>sns.countplot(x=&#39;Gender&#39;, data=data, palette=colors)<br><br># Adiciona rótulos e título ao gráfico<br>plt.xlabel(&#39;Gender&#39;)<br>plt.ylabel(&#39;Count&#39;)<br>plt.title(&#39;Masculino x Feminino&#39;)<br><br># Exibe o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/1*wBKe5gevK_w4e9qK2ZqIdQ.png" /></figure><p>Apesar de um equilíbrio entre os gêneros, não descartamos a necessidade de um balanceamento de classe para os modelos preditivos.</p><h4><strong>Variáveis Numéricas</strong></h4><p>Agora é hora de entendermos os comportamentos das variáveis numéricas estatisticamente.</p><pre># Estatisticas descritivas<br>data.describe()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*T4aKPgbanpr31Y5D6tVUqg.png" /></figure><pre># Visualizando variáveis contínuas com paleta de cores amigável para daltônicos<br>fig, ax = plt.subplots(2, 2, figsize=(16, 10))<br><br># Lista de variáveis contínuas<br>continuous_vars = [&#39;CreditScore&#39;, &#39;Age&#39;, &#39;Balance&#39;, &#39;EstimatedSalary&#39;]<br><br># Paleta de cores amigável para daltônicos<br>colors = sns.color_palette(&#39;Set2&#39;)<br><br># Loop para criar os gráficos<br>for i, var in enumerate(continuous_vars):<br>    sns.boxplot(x=&#39;Exited&#39;, y=var, data=data, ax=ax[i // 2, i % 2], palette=colors)<br>    ax[i // 2, i % 2].set_title(f&#39;{var} x Exited&#39;)<br><br>plt.tight_layout()<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/911/1*DuTNjsJ45VwfivDyGWceAg.png" /></figure><p><strong>INSIGHTS:</strong></p><ol><li>Estatisticamente a relação do score de crédito e abandono, não é se diferencia tanto. Tanto média, mediana, e os quartis são basicamente parecidos, com alguma presença de outliers no grupo de pessoas que abandonaram.</li><li>Em relação à idade com a decisão de deixar ou não, nota-se muitos outliers no número de pessoas que permanecem. Fora isso, vemos que as pessoas com idades entre ~38 e ~52 anos são as que mais deixaram o banco, enquanto as pessoas mais jovens (entre ~31 e ~41 anos) foram as que mais permaneceram.</li><li>Em relação ao saldo, a principal preocupação. Pessoas com maior volume em suas contas têm deixado o banco, sendo a mediana acima de 100000.</li><li>Com base no nível salarial, estatisticamente são bem parecidos, mas o volume que churn é preocupante, pois são pessoas com ganhos entre ~50k e ~150k.</li></ol><blockquote>Através da Matrix de Confusão notamos que não temos multicolinearidade, tendo uma correlação positiva média somente Exited e Age e negativa média entre Balance x NumOfProducts</blockquote><h4><strong>Variável CreditScore</strong></h4><p>A variável CredictScore é referente à pontuação, um tipo de ranking do cliente dentro das instituições, é de grande importância o seu estudo, pois pontuações baixas podem ser resultado de baixa renda, baixa atividade bancária, poucos produtos bancários, etc.</p><pre># Dados<br>credit_scores = data[&#39;CreditScore&#39;]<br><br># Estatísticas descritivas<br>mean_score = credit_scores.mean()<br>min_score = credit_scores.min()<br>max_score = credit_scores.max()<br>q25 = credit_scores.quantile(0.25)<br>q50 = credit_scores.quantile(0.50)<br>q75 = credit_scores.quantile(0.75)<br><br># Paleta de cores amigável para daltônicos<br>colors = sns.color_palette(&#39;Set2&#39;)<br><br># Gráfico de dispersão com paleta de cores amigável<br>plt.figure(figsize=(12, 8))<br>plt.scatter(range(len(credit_scores)), credit_scores, alpha=0.5, c=colors[0])<br><br># Linhas para indicar as estatísticas descritivas com cores amigáveis<br>plt.axhline(y=mean_score, color=colors[1], linestyle=&#39;--&#39;, label=&#39;Média&#39;)<br>plt.axhline(y=min_score, color=colors[2], linestyle=&#39;--&#39;, label=&#39;Mínimo&#39;)<br>plt.axhline(y=max_score, color=colors[3], linestyle=&#39;--&#39;, label=&#39;Máximo&#39;)<br>plt.axhline(y=q25, color=colors[4], linestyle=&#39;--&#39;, label=&#39;25º Percentil&#39;)<br>plt.axhline(y=q50, color=colors[5], linestyle=&#39;--&#39;, label=&#39;50º Percentil (Mediana)&#39;)<br>plt.axhline(y=q75, color=colors[6], linestyle=&#39;--&#39;, label=&#39;75º Percentil&#39;)<br><br># Adiciona rótulos e título<br>plt.xlabel(&#39;Índice dos Dados&#39;)<br>plt.ylabel(&#39;CreditScore&#39;)<br>plt.title(&#39;Gráfico de Dispersão do CreditScore&#39;)<br><br># Adiciona legenda<br>plt.legend()<br><br># Exibe o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/836/1*yYUUDeUsJp8ipmSzcqYCrA.png" /></figure><p>Apesar de um gráfico um pouco confuso para quem se depara pela primeira vez, nesse gráfico de dispersão é possível ver a maior concentração dos registros, quase como se fosse um boxplot, com as linhas tracejadas. Mas para quem ainda possa haver dúvidas, o boxplot abaixo confirma exatamente as informações.</p><pre># Dados<br>plt.figure(figsize=(12, 8))<br>credit_scores = data[&#39;CreditScore&#39;]<br><br># Paleta de cores amigável para daltônicos<br>colors = sns.color_palette(&#39;Set2&#39;)<br><br># Cria um boxplot com orientação horizontal e cores amigáveis<br>sns.boxplot(y=credit_scores, orient=&#39;h&#39;, color=colors[0])<br><br># Adiciona rótulo e título<br>plt.xlabel(&#39;CreditScore&#39;)<br>plt.title(&#39;Boxplot do CreditScore&#39;)<br><br># Exibe o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/698/1*e5UT_d55RVm_BHsXq8ZXfw.png" /></figure><p>Para confirmar as informações do gráfico de dispersão, nesse boxplot podemo ver:</p><ul><li>maioria dos dados entre ~590 e ~720</li><li>média ~650 razoavelmente próxima à mediana ~652</li><li>presença de outliers abaixo de 350</li></ul><h4><strong>Variável Balance</strong></h4><pre>num_plot(data, &#39;Balance&#39;, &#39;Balance Distribution&#39; , &#39;$&#39; )</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/551/1*ZTKubkd5Kfaup5_oVgmPNQ.png" /><figcaption>Notamos um grande volume de dados zerados, ou seja, são dados sem informação e que estão afetando a distribuição e as estatísticas, pois a média e a mediana estão razoavelmente distantes. Faremos a sua exclusão.</figcaption></figure><pre># Filtra os valores iguais a 0 na coluna &#39;Balance&#39;<br>filtered_data = data[data[&#39;Balance&#39;] != 0]<br><br># Chama a função num_plot com os dados filtrados<br>num_plot(filtered_data, &#39;Balance&#39;, &#39;Balance Distribution&#39; , &#39;$&#39; )</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/550/1*vcUy-AhKOVhpFWnIJ3mAXA.png" /><figcaption>Após a exclusão dos valores, a média e a mediana ficaram mais próximas, bem como a distibuição</figcaption></figure><p>Aqui percebemos que a existência de mais de 3600 registros zerados, o que é prejudicial para a nossa análise. Faremos a exclusão desses para verificar a distribuição.</p><h4><strong>Variável Age</strong></h4><pre>num_plot(data, &#39;Age&#39;, &#39;Age Distribution&#39; , &#39;yo&#39; )</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/549/1*NqlYysaDGkCD_m9li9y5cg.png" /></figure><p>Parece que esta distribuição pode ser potencialmente normalizada usando a transformação logarítmica, o que vai melhorar a situalização por parte de todos.</p><pre>data[&#39;Age_log&#39;] = np.log(data[&#39;Age&#39;])<br>num_plot(data, &#39;Age_log&#39;, &#39;Age Distribution (log transformed)&#39; , &#39;&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/551/1*6uEBxvRZNKyrTAWif89sEw.png" /><figcaption>Dito e feito! Ao realizarmos a transformação logarítmica, a distribuição parece normal, com moda = mediana = média.</figcaption></figure><h4><strong>Variável Exited</strong></h4><p>A variável mais importante, o famoso target o qual fundamenta a nossa análise e que exije um cuidado especial para evitar certo viés em nossos modelos preditivos. Caso haja desbalanceamento, faremos o devido tratamento.</p><pre># Dados do seu DataFrame (exemplo usando as colunas &#39;Exited&#39; e &#39;NotExited&#39;)<br>values = [data[&#39;Exited&#39;].sum(), (1 - data[&#39;Exited&#39;]).sum()]<br>labels = [&#39;Exited&#39;, &#39;Not Exited&#39;]<br><br># Paleta de cores amigável para daltônicos<br>colors = sns.color_palette(&#39;Set2&#39;)<br><br># Configurações do gráfico de pizza<br>fig, ax = plt.subplots(figsize=(10, 10))<br>explode = (0, 0.09)<br><br># Cria o gráfico de pizza com cores amigáveis<br>patches, texts, autotexts = ax.pie(values, <br>                                   labels=labels, autopct=&#39;%1.2f%%&#39;, shadow=True,<br>                                   startangle=90, explode=explode, colors=colors)<br><br># Configurações adicionais para melhorar a legibilidade<br>plt.setp(texts, color=&#39;grey&#39;)<br>plt.setp(autotexts, size=10, color=&#39;white&#39;)<br>plt.title(&#39;Proporção de pessoas que mudaram(Exited) e permaneceram(Not Exited)&#39;)<br>autotexts[1].set_color(&#39;black&#39;)<br><br># Exibe o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/450/1*InEdaWIfZ5RwVNdpTfFNYg.png" /></figure><pre># Contagem de valores únicos na coluna &#39;Exited&#39;<br>exit_counts = data[&#39;Exited&#39;].value_counts()<br><br># Paleta de cores amigável para daltônicos<br>colors = sns.color_palette(&#39;Set2&#39;)<br><br># Cria um gráfico de barras com cores amigáveis<br>sns.countplot(x=&#39;Exited&#39;, data=data, palette=colors)<br><br># Adiciona rótulos e título ao gráfico<br>plt.xlabel(&#39;Exited&#39;)<br>plt.ylabel(&#39;Count&#39;)<br>plt.title(&#39;Quantidades de Exited e Not Exited&#39;)<br><br># Exibe o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/482/1*34-xkWeHyzdQVTUe-f6JNQ.png" /></figure><p>Como citado anteriormente, o conjunto de dados apresenta um desequilíbrio em relação ao target ‘Exited’. Durante o treinamento do modelo preditivo, o desequilíbrio no conjunto de dados pode gerar um viés em direção à classe majoritária (0), resultando em um desempenho insatisfatório ao prever a classe minoritária (1).</p><p>Faremos uso de uma técnica muito conhecida e eficaz chamada de SMOTE para melhorarmos a análise pelas máquinas.</p><h4><strong>Relação Estatística: EstimatedSalary x NumOfProducts x Exited</strong></h4><pre># Configurações do gráfico de boxplot<br>plt.figure(figsize=(12, 8))<br>sns.boxplot(data=data, y=&#39;EstimatedSalary&#39;, x=&#39;NumOfProducts&#39;, hue=&#39;Exited&#39;, palette=&#39;Set2&#39;)<br><br># Adiciona título e rótulos<br>plt.title(&#39;Boxplot da Relação entre EstimatedSalary, NumOfProducts e Exited&#39;)<br>plt.xlabel(&#39;NumOfProducts&#39;)<br>plt.ylabel(&#39;EstimatedSalary&#39;)<br><br># Adiciona legenda<br>plt.legend(title=&#39;Exited&#39;, loc=&#39;upper right&#39;, bbox_to_anchor=(1.2, 1))<br><br># Exibe o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/834/1*6GlwUCFQa-dl0uPPET0mnA.png" /></figure><p>Aqui consegumos comparar as medianas dos números de produtos, pelo salário estimado, levando-se em conta se o cliente saiu ou permaneceu. Nota-se que a mediana dos salários estimados são próximas, alternando de 100000 até ~105000.</p><pre># Configurações do gráfico de violinplot<br>plt.figure(figsize=(12, 8))<br>sns.violinplot(data=data, y=&#39;Balance&#39;, x=&#39;NumOfProducts&#39;, hue=&#39;Exited&#39;, palette=&#39;Set2&#39;)<br><br># Título e rótulos<br>plt.title(&#39;Violinplot da Relação entre Balance, NumOfProducts e Exited&#39;)<br>plt.xlabel(&#39;NumOfProducts&#39;)<br>plt.ylabel(&#39;Balance&#39;)<br><br># Legenda<br>plt.legend(title=&#39;Exited&#39;, loc=&#39;upper right&#39;, bbox_to_anchor=(1.2, 1))<br><br># Exibe o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/840/1*MMtslEtXmVl8rQEOzmkaEw.png" /></figure><h4><strong>Balanço total por país</strong></h4><pre>balance_france = data.Balance[data.Geography == &#39;France&#39;].sum()<br>balance_germany = data.Balance[data.Geography == &#39;Germany&#39;].sum()<br>balance_spain = data.Balance[data.Geography == &#39;Spain&#39;].sum()<br><br>print(&quot;Balanço Total - France :&quot;,balance_france)<br>print(&quot;Balanço Total - Germany :&quot;,balance_germany)<br>print(&quot;Balanço Total - Spain :&quot;,balance_spain)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/266/1*pfURmVqRMksSxlnifn0d4A.png" /></figure><pre>import matplotlib.pyplot as plt<br><br># Calculando os totais<br>total_balances = [balance_france, balance_germany, balance_spain]<br>countries = [&#39;France&#39;, &#39;Germany&#39;, &#39;Spain&#39;]<br><br># Criando um gráfico de barras<br>plt.figure(figsize=(10, 6))<br>plt.bar(countries, total_balances, color=[&#39;#E68753&#39;, &#39;#409996&#39;, &#39;#E6E6E6&#39;])<br>plt.xlabel(&#39;Country&#39;)<br>plt.ylabel(&#39;Total Balance&#39;)<br>plt.title(&#39;Total Balance in Each Country&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/583/1*OTYUn7yggHMAxsijW0wEDw.png" /></figure><h4><strong>HasCrCard x Geography</strong></h4><pre># Tabela de contingência entre HasCrCard e Geography<br>HasCrCard = pd.crosstab(data[&#39;HasCrCard&#39;], data[&#39;Geography&#39;])<br><br># Normaliza os valores para gerar proporções<br>HasCrCard_normalized = HasCrCard.div(HasCrCard.sum(1).astype(float), axis=0)<br><br># Configurações do gráfico de barras empilhadas<br>plt.figure(figsize=(8, 8))<br>HasCrCard_normalized.plot(kind=&#39;bar&#39;, stacked=True, figsize=(8, 6), colormap=&#39;Set3&#39;)<br><br># Adiciona título e rótulos<br>plt.title(&#39;Comparação entre Card Holders e Geografia&#39;)<br>plt.xlabel(&#39;Possui Cartão de Crédito&#39;)<br>plt.ylabel(&#39;Proporção&#39;)<br>plt.xticks([0, 1], [&#39;Não&#39;, &#39;Sim&#39;], rotation=0)<br><br># Adiciona legenda<br>plt.legend(title=&#39;Geografia&#39;)<br><br># Exibe o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/574/1*vb7zx2ByNS6ahJ2ZGH57Xg.png" /></figure><h4><strong>IsActiveMember x Geography</strong></h4><pre># Tabela de contingência entre IsActiveMember e Geography<br>IsActiveMember = pd.crosstab(data[&#39;IsActiveMember&#39;], data[&#39;Geography&#39;])<br><br># Normaliza os valores para gerar proporções<br>IsActiveMember_normalized = IsActiveMember.div(IsActiveMember.sum(1).astype(float), axis=0)<br><br># Configurações do gráfico de barras empilhadas<br>plt.figure(figsize=(8, 8))<br>IsActiveMember_normalized.plot(kind=&#39;bar&#39;, stacked=True, figsize=(8, 6), colormap=&#39;Set3&#39;)<br><br># Adiciona título e rótulos<br>plt.title(&#39;Comparação de Membros Ativos em Diferentes Geografias&#39;)<br>plt.xlabel(&#39;Membro Ativo&#39;)<br>plt.ylabel(&#39;Proporção&#39;)<br>plt.xticks([0, 1], [&#39;Não&#39;, &#39;Sim&#39;], rotation=0)<br><br># Adiciona legenda<br>plt.legend(title=&#39;Geografia&#39;)<br><br># Exibe o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/573/1*ttlGdW2TrUdBrcUnbOAE9w.png" /></figure><p>Nos 2 plots acima, confirmamos a informação de que os dados possuem mais informações sobre franceses do que as 2 outras nacionalidades, tanto para cartão de crédito quanto para usuários ativos.</p><h4><strong>Age x Geography</strong></h4><pre># Tabela de contingência entre Age e Geography<br>Age = pd.crosstab(data[&#39;Age&#39;], data[&#39;Geography&#39;])<br><br># Normaliza os valores para gerar proporções<br>Age_normalized = Age.div(Age.sum(1).astype(float), axis=0)<br><br># Configurações do gráfico de barras empilhadas<br>plt.figure(figsize=(15, 15))<br>Age_normalized.plot(kind=&#39;bar&#39;, stacked=True, figsize=(15, 10), colormap=&#39;Set3&#39;)<br><br># Adiciona título e rótulos<br>plt.title(&#39;Comparação de Idades em Diferentes Geografias&#39;)<br>plt.xlabel(&#39;Idade&#39;)<br>plt.ylabel(&#39;Proporção&#39;)<br><br># Exibe o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/855/1*B_rwj2xX2oF-K2rpzCTKfQ.png" /></figure><p>Aqui conseguimos visualizar a distribuição das idades por país, veja que são raros os casos em que as idades em que não temos a predominância de franceses.</p><h3><strong>02. Pré-Processamento</strong></h3><h4><strong>Excluindo colunas que não serão usadas</strong></h4><p>Sim, poderíamos ter feito isso antes mesmo das primeiras plotagens, mas preferi trazer até a etapa final pois insights podem vir a qualquer momento.</p><pre>data = data.drop([&#39;CustomerId&#39;, &#39;Surname&#39;, &#39;RowNumber&#39;], axis = 1)<br>data</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/887/1*7YIvRXbRjJFLu6ipNDQwSA.png" /></figure><h4><strong>Convertendo dados categóricos para numéricos</strong></h4><p>Primeiramente, vamos converter atributos categóricos em numéricos usando a função OneHotEncoder (ou .get_dummies ()) para viabilizar a utilização desses atributos como entrada para modelos de aprendizado de máquina.</p><p>A escolha pelo OneHotEncoder, em detrimento do LabelEncoder, se deve à natureza dos atributos em questão. No caso de Geografia e Gênero, que possuem apenas algumas categorias (Espanha, França, Alemanha; Masculino, Feminino), e considerando que a ordem dessas categorias não é relevante, o uso da função OneHotEncoder é mais apropriado.</p><p>Caso houvesse um grande número de categorias em cada atributo e optássemos pelo OneHotEncoder, precisaríamos lidar com o desafio da maldição da dimensionalidade de maneira adequada.</p><pre># Codificando one-hot para as colunas &#39;Geography&#39; e &#39;Gender&#39;<br>data = pd.get_dummies(data=data, columns=[&#39;Geography&#39;, &#39;Gender&#39;])<br><br># Exibindo as primeiras cinco linhas do DataFrame resultante<br>data.head()</pre><h4><strong>Ajustando (balanceando) os dados para os modelos</strong></h4><p>Agora podemos avançar para lidar com a variável de destino desbalanceada.</p><p>Vamos utilizar a estratégia de oversampling por meio da classe RandomOverSampler. Com isso, iremos gerar o mesmo número de linhas para o valor 1 da variável de destino “Exited”, garantindo, assim, que tenhamos o mesmo número de linhas para ambos os valores da variável de destino. Se não tratássemos a variável de destino desbalanceada, os modelos de aprendizado de máquina tenderiam a favorecer (seriam enviesados em direção a) a classe 0 em detrimento da classe 1.</p><pre># Biblioteca que trata dados desbalanceados através da técnica de oversampling<br>from imblearn.over_sampling import RandomOverSampler<br>from collections import Counter<br><br># Selecionando as colunas relevantes<br>columns = [&#39;CreditScore&#39;, &#39;Geography_France&#39;, &#39;Geography_Germany&#39;, &#39;Geography_Spain&#39;, &#39;Gender_Female&#39;, &#39;Gender_Male&#39;, &#39;Age&#39;, &#39;Tenure&#39;, &#39;Balance&#39;, &#39;NumOfProducts&#39;, &#39;HasCrCard&#39;, &#39;EstimatedSalary&#39;, &#39;Exited&#39;]<br>columns = [c for c in columns if c not in [&#39;Exited&#39;]]  # Removendo a coluna &#39;Exited&#39; das features<br><br># Separando a variável alvo (y) e as features (x)<br>y = data[&#39;Exited&#39;]  # Variável alvo original<br>x = data[columns]   # Features originais<br><br># Criando uma instância do RandomOverSampler para lidar com o desbalanceamento<br>ros = RandomOverSampler(sampling_strategy=&#39;minority&#39;)<br><br># Aplicando oversampling às features e à variável alvo<br>x_train_balanced, y_train_balanced = ros.fit_resample(x, y)<br><br># Exibindo informações sobre a distribuição da variável alvo antes e depois do balanceamento<br>print(f&quot;Imbalanced target class:\n{Counter(y)}\n\nBalanced target class:\n{Counter(y_train_balanced)}\n&quot;)<br><br># Calculando o número de novos pontos selecionados aleatoriamente durante o oversampling<br>print(x_train_balanced.shape[0] - data.shape[0], &#39;new random picked points&#39;)<br><br># Definindo a cor de fundo do gráfico<br>sns.set(rc={&#39;axes.facecolor&#39;:&#39;#ECECEC&#39;})<br><br># Criando uma figura com tamanho específico<br>plt.figure(figsize=(12,6))<br><br># Definindo o título do gráfico<br>plt.title(&quot;Balanced Exited&quot;, fontsize=15, fontweight=&#39;bold&#39;, ha=&#39;center&#39;)<br><br># Criando um gráfico de contagem (countplot) para a variável alvo balanceada<br>ax = sns.countplot(x=y_train_balanced, data=data, palette=palette)<br><br># Exibindo o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/705/1*WVgirCiaLr1l8zkDjFiryA.png" /></figure><p>Pronto, os dados estão balanceados para que possamos utilizá-los no treinamento dos nosso modelos.</p><h3><strong>03 Modelos</strong></h3><p>É uma prática comum e até mesmo segura diversificar modelos de Machine Learning afim de obter os melhores resultados, e obviamente, utilizarei somente alguns modelos dos mais conhecidos, desde os que menos perfomaram até os de melhores performances.</p><pre># Separando os dados de treino e de teste<br>from sklearn.model_selection import train_test_split<br>from sklearn.preprocessing import StandardScaler<br><br>#preparation of train and test data for ML models<br>x_train,x_test,y_train,y_test = train_test_split(x_train_balanced, y_train_balanced,test_size=0.3, random_state = 1) #70 % of train data, 30 % of test data<br>x_train.shape,x_test.shape,y_train.shape,y_test.shape<br><br># Limiar para remoção de variáveis correlacionadas<br>threshold = 0.9<br><br># Matriz de correlação em valor absoluto<br>corr_matrix = x_train.corr().abs()<br>corr_matrix.head(len(columns)+2)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*irI_qZBeTy7xZbG_FVSIwQ.png" /></figure><pre># Matriz triangular de correlações<br>upper = corr_matrix.where(np.triu(np.ones(corr_matrix.shape), k=1).astype(bool))<br>upper.head(len(columns)+2)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*exQVmMF8TgV95YbXw1bJdA.png" /></figure><p>Criamos uma matriz triangular superior de correlações a partir da matriz de correlação original. Esse processo ajuda a identificar pares de variáveis altamente correlacionadas, sendo útil na pré-processamento, especialmente para evitar multicolinearidade ao selecionar características.</p><pre># Seleciona colunas com correlações acima do limiar<br>drop_cols = [column for column in upper.columns if any(upper[column] &gt; threshold)]<br>print(&#39;Existem %d colunas para remover.&#39; % (len(drop_cols)), &#39;No caso as colunas:&#39;, str(drop_cols))</pre><p><em>Existem 1 colunas para remover. No caso as colunas: [‘Gender_Male’]</em></p><p>Aqui identificamos e listamos as colunas que têm correlações acima do limiar especificado</p><pre># Drop columns with correlations above threshold<br>x_train = x_train.drop(columns = drop_cols)<br>x_test = x_test.drop(columns = drop_cols)<br>print(&#39;Formato de X_train:&#39;, x_train.shape)<br>print(&#39;Formato de X_test:&#39;, x_test.shape)</pre><p><em>Formato de X_train: (11148, 11) <br>Formato de X_test: (4778, 11)</em></p><p>Removemos as colunas identificadas como tendo correlações acima do limiar especificado, tanto do conjunto de treinamento (x_train) quanto do conjunto de teste (x_test). Isso é feito para evitar multicolinearidadee melhorar a qualidade do modelo.</p><h4><strong>KNN (K-Nearest Neighbors)</strong></h4><p>O K-Nearest Neighbors (KNN) é um algoritmo de aprendizado supervisionado que classifica um ponto de dados com base nas classes de seus k vizinhos mais próximos no espaço de características, sendo sensível à escolha do parâmetro k.</p><pre>from sklearn.neighbors import KNeighborsClassifier<br>from sklearn.metrics import confusion_matrix, roc_curve, auc<br><br># Implementação do algoritmo K-NN<br>knnc = KNeighborsClassifier(n_neighbors=5)<br>knnc.fit(x_train, y_train)<br>y_pred_knnc = knnc.predict(x_test)<br><br># Calcula a Matriz de Confusão<br>cf_matrix_knnc = confusion_matrix(y_test, y_pred_knnc)<br><br># Calcula as probabilidades para a classe positiva<br>y_probs_knnc = knnc.predict_proba(x_test)[:, 1]<br><br># Calcula as curvas ROC e AUC<br>fpr, tpr, thresholds = roc_curve(y_test, y_probs_knnc)<br>roc_auc = auc(fpr, tpr)<br><br># Plotando a Matriz de Confusão com paleta de cores amigável para daltônicos<br>fig, axes = plt.subplots(nrows=1, ncols=2, figsize=(12, 5))<br><br># Plotando a Matriz de Confusão<br>sns.heatmap(cf_matrix_knnc/np.sum(cf_matrix_knnc), annot=True, fmt=&#39;.2%&#39;, cmap=&#39;viridis&#39;, ax=axes[0])<br>axes[0].set_title(&#39;K-NN: Matriz de Confusão\n\n&#39;)<br>axes[0].set_xlabel(&#39;\nValores Previstos&#39;)<br>axes[0].set_ylabel(&#39;Valores Reais&#39;)<br>axes[0].xaxis.set_ticklabels([&#39;0&#39;, &#39;1&#39;])<br>axes[0].yaxis.set_ticklabels([&#39;0&#39;, &#39;1&#39;])<br><br># Plotando a Curva ROC e AUC<br>axes[1].plot(fpr, tpr, color=&#39;darkorange&#39;, lw=2, label=&#39;Curva ROC (AUC = {:.2f})&#39;.format(roc_auc))<br>axes[1].plot([0, 1], [0, 1], color=&#39;navy&#39;, lw=2, linestyle=&#39;--&#39;, label=&#39;Aleatório&#39;)<br>axes[1].set_xlim([0.0, 1.0])<br>axes[1].set_ylim([0.0, 1.05])<br>axes[1].set_xlabel(&#39;Taxa de Falso Positivo&#39;)<br>axes[1].set_ylabel(&#39;Taxa de Verdadeiro Positivo&#39;)<br>axes[1].set_title(&#39;Curva ROC e AUC\n\n&#39;)<br>axes[1].legend(loc=&#39;lower right&#39;)<br><br># Exibindo as visualizações<br>plt.tight_layout()<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/981/1*x-9iSlOJ4SixRsT-VhjFzw.png" /></figure><pre># Valores das métricas<br>accuracy = accuracy_score(y_test, y_pred_knnc)<br>precision = precision_score(y_test, y_pred_knnc)<br>recall = recall_score(y_test, y_pred_knnc)<br>f1 = f1_score(y_test, y_pred_knnc)<br><br># Avaliação do K-NN: impressão das métricas<br>print(classification_report(y_test, y_pred_knnc))<br><br># Imprime as métricas individualmente<br>print(&#39;Accuracy Score : &#39; + str(round(accuracy_score(y_test, y_pred_knnc), 3)))<br>print(&#39;Precision Score : &#39; + str(round(precision_score(y_test, y_pred_knnc), 3)))<br>print(&#39;Recall Score : &#39; + str(round(recall_score(y_test, y_pred_knnc), 3)))<br>print(&#39;F-Score : &#39; + str(round(f1_score(y_test, y_pred_knnc), 3)))<br><br># Criando um gráfico de barras para as métricas<br>metrics_names = [&#39;Accuracy&#39;, &#39;Precision&#39;, &#39;Recall&#39;, &#39;F1-Score&#39;]<br>metrics_values = [accuracy, precision, recall, f1]<br><br>plt.bar(metrics_names, metrics_values, color=[&#39;blue&#39;, &#39;green&#39;, &#39;orange&#39;, &#39;red&#39;])<br>plt.title(&#39;K-NN Evaluation Metrics&#39;)<br>plt.xlabel(&#39;Metrics&#39;)<br>plt.ylabel(&#39;Values&#39;)<br>plt.ylim(0, 1)  # Ajuste o limite y conforme necessário (0 a 1 para métricas de proporção)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/419/1*2mqUVWtYzrolAGiEBIu-IA.png" /></figure><h4><strong>Naive Bayes</strong></h4><p>O Naive Bayes é um modelo probabilístico baseado no Teorema de Bayes, assumindo independência condicional entre as features. É eficiente, fácil de implementar e bem-sucedido em problemas com alta dimensionalidade.</p><pre>from sklearn.naive_bayes import GaussianNB<br><br># Implementação do algoritmo Naive Bayes (Gaussian)<br>nb_classifier = GaussianNB()<br>nb_classifier.fit(x_train, y_train)<br>y_pred_nb = nb_classifier.predict(x_test)<br><br># Calcula a Matriz de Confusão<br>cf_matrix_nb = confusion_matrix(y_test, y_pred_nb)<br><br># Plotando a Matriz de Confusão com paleta de cores amigável para daltônicos<br>fig, axes = plt.subplots(nrows=1, ncols=2, figsize=(12, 5))<br><br># Plotando a Matriz de Confusão<br>sns.heatmap(cf_matrix_nb/np.sum(cf_matrix_nb), annot=True, fmt=&#39;.2%&#39;, cmap=&#39;viridis&#39;, ax=axes[0])<br>axes[0].set_title(&#39;Naive Bayes: Matriz de Confusão\n\n&#39;)<br>axes[0].set_xlabel(&#39;\nValores Previstos&#39;)<br>axes[0].set_ylabel(&#39;Valores Reais&#39;)<br>axes[0].xaxis.set_ticklabels([&#39;0&#39;, &#39;1&#39;])<br>axes[0].yaxis.set_ticklabels([&#39;0&#39;, &#39;1&#39;])<br><br># Plotando a Curva ROC e AUC<br>axes[1].plot(fpr, tpr, color=&#39;darkorange&#39;, lw=2, label=&#39;Curva ROC (AUC = {:.2f})&#39;.format(roc_auc))<br>axes[1].plot([0, 1], [0, 1], color=&#39;navy&#39;, lw=2, linestyle=&#39;--&#39;, label=&#39;Aleatório&#39;)<br>axes[1].set_xlim([0.0, 1.0])<br>axes[1].set_ylim([0.0, 1.05])<br>axes[1].set_xlabel(&#39;Taxa de Falso Positivo&#39;)<br>axes[1].set_ylabel(&#39;Taxa de Verdadeiro Positivo&#39;)<br>axes[1].set_title(&#39;Curva ROC e AUC\n\n&#39;)<br>axes[1].legend(loc=&#39;lower right&#39;)<br><br># Exibindo as visualizações<br>plt.tight_layout()<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/982/1*JXLpRxWqbO1v_jMo6HCBxQ.png" /></figure><pre># Valores das métricas<br>accuracy = accuracy_score(y_test, y_pred_nb)<br>precision = precision_score(y_test, y_pred_nb)<br>recall = recall_score(y_test, y_pred_nb)<br>f1 = f1_score(y_test, y_pred_nb)<br><br># Avaliação do K-NN: impressão das métricas<br>print(classification_report(y_test, y_pred_nb))<br><br># Imprime as métricas individualmente<br>print(&#39;Accuracy Score : &#39; + str(round(accuracy_score(y_test, y_pred_nb), 3)))<br>print(&#39;Precision Score : &#39; + str(round(precision_score(y_test, y_pred_nb), 3)))<br>print(&#39;Recall Score : &#39; + str(round(recall_score(y_test, y_pred_nb), 3)))<br>print(&#39;F-Score : &#39; + str(round(f1_score(y_test, y_pred_nb), 3)))<br><br># Criando um gráfico de barras para as métricas<br>metrics_names = [&#39;Accuracy&#39;, &#39;Precision&#39;, &#39;Recall&#39;, &#39;F1-Score&#39;]<br>metrics_values = [accuracy, precision, recall, f1]<br><br>plt.bar(metrics_names, metrics_values, color=[&#39;blue&#39;, &#39;green&#39;, &#39;orange&#39;, &#39;red&#39;])<br>plt.title(&#39;Naive Bayes (Gaussian) Evaluation Metrics&#39;)<br>plt.xlabel(&#39;Metrics&#39;)<br>plt.ylabel(&#39;Values&#39;)<br>plt.ylim(0, 1)  # Ajuste o limite y conforme necessário (0 a 1 para métricas de proporção)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/424/1*Pxj1nitdT98SHX7iYJf9hg.png" /></figure><h4><strong>XGBoost</strong></h4><p>XGBoost (Extreme Gradient Boosting) é um algoritmo de aprendizado de máquina baseado em árvores de decisão que destaca-se por sua eficiência, escalabilidade e capacidade de lidar com conjuntos de dados grandes, tornando-o amplamente utilizado em competições de ciência de dados.</p><pre>from xgboost import XGBClassifier<br><br># Implementação do algoritmo XGBClassifier<br>xgbc = XGBClassifier(use_label_encoder=False)<br>xgbc.fit(x_train, y_train)<br>y_pred_xgbc = xgbc.predict(x_test)<br><br># Avaliação do XGBClassifier: impressão da matriz de confusão<br>cf_matrix_xgbc = confusion_matrix(y_test, y_pred_xgbc)<br>print(cf_matrix_xgbc)<br><br># Plotando a Matriz de Confusão com paleta de cores amigável para daltônicos<br>fig, axes = plt.subplots(nrows=1, ncols=2, figsize=(12, 5))<br><br># Plotando a Matriz de Confusão<br>sns.heatmap(cf_matrix_xgbc/np.sum(cf_matrix_xgbc), annot=True, fmt=&#39;.2%&#39;, cmap=&#39;viridis&#39;, ax=axes[0])<br>axes[0].set_title(&#39;XGBoost Confusion Matrix\n\n&#39;)<br>axes[0].set_xlabel(&#39;\nValores Previstos&#39;)<br>axes[0].set_ylabel(&#39;Valores Reais&#39;)<br>axes[0].xaxis.set_ticklabels([&#39;0&#39;, &#39;1&#39;])<br>axes[0].yaxis.set_ticklabels([&#39;0&#39;, &#39;1&#39;])<br><br># Calculando as probabilidades para a classe positiva<br>y_probs_xgbc = xgbc.predict_proba(x_test)[:, 1]<br><br># Calculando as curvas ROC e AUC<br>fpr, tpr, thresholds = roc_curve(y_test, y_probs_xgbc)<br>roc_auc = auc(fpr, tpr)<br><br># Plotando a Curva ROC e AUC<br>axes[1].plot(fpr, tpr, color=&#39;darkorange&#39;, lw=2, label=&#39;Curva ROC (AUC = {:.2f})&#39;.format(roc_auc))<br>axes[1].plot([0, 1], [0, 1], color=&#39;navy&#39;, lw=2, linestyle=&#39;--&#39;, label=&#39;Aleatório&#39;)<br>axes[1].set_xlim([0.0, 1.0])<br>axes[1].set_ylim([0.0, 1.05])<br>axes[1].set_xlabel(&#39;Taxa de Falso Positivo&#39;)<br>axes[1].set_ylabel(&#39;Taxa de Verdadeiro Positivo&#39;)<br>axes[1].set_title(&#39;Curva ROC e AUC\n\n&#39;)<br>axes[1].legend(loc=&#39;lower right&#39;)<br><br># Exibindo as visualizações<br>plt.tight_layout()<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/986/1*wh_DjmWb1nK-Kgi3KzngZQ.png" /></figure><pre># Valores das métricas<br>accuracy = accuracy_score(y_test, y_pred_xgbc)<br>precision = precision_score(y_test, y_pred_xgbc)<br>recall = recall_score(y_test, y_pred_xgbc)<br>f1 = f1_score(y_test, y_pred_xgbc)<br><br># Avaliação do K-NN: impressão das métricas<br>print(classification_report(y_test, y_pred_xgbc))<br><br># Imprime as métricas individualmente<br>print(&#39;Accuracy Score : &#39; + str(round(accuracy_score(y_test, y_pred_xgbc), 3)))<br>print(&#39;Precision Score : &#39; + str(round(precision_score(y_test, y_pred_xgbc), 3)))<br>print(&#39;Recall Score : &#39; + str(round(recall_score(y_test, y_pred_xgbc), 3)))<br>print(&#39;F-Score : &#39; + str(round(f1_score(y_test, y_pred_xgbc), 3)))<br><br># Criando um gráfico de barras para as métricas<br>metrics_names = [&#39;Accuracy&#39;, &#39;Precision&#39;, &#39;Recall&#39;, &#39;F1-Score&#39;]<br>metrics_values = [accuracy, precision, recall, f1]<br><br>plt.bar(metrics_names, metrics_values, color=[&#39;blue&#39;, &#39;green&#39;, &#39;orange&#39;, &#39;red&#39;])<br>plt.title(&#39;XGBoost: Evaluation Metrics&#39;)<br>plt.xlabel(&#39;Metrics&#39;)<br>plt.ylabel(&#39;Values&#39;)<br>plt.ylim(0, 1)  # Ajuste o limite y conforme necessário (0 a 1 para métricas de proporção)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/420/1*dmkSTwEG3O-MAwIaKdT95A.png" /></figure><h4><strong>Random Forest</strong></h4><p>O Random Forest é um ensemble de árvores de decisão, treinadas em subconjuntos aleatórios dos dados, que combina suas previsões para melhorar a robustez e reduzir o overfitting em problemas de classificação e regressão.</p><pre>from sklearn.ensemble import RandomForestClassifier<br><br># Implementação do algoritmo RandomForestClassifier<br>rfc = RandomForestClassifier()<br>rfc.fit(x_train, y_train)<br>y_pred_rfc = rfc.predict(x_test)<br><br># Avaliação do RandomForestClassifier: impressão da matriz de confusão<br>cf_matrix_rfc = confusion_matrix(y_test, y_pred_rfc)<br>print(cf_matrix_rfc)<br><br># Plotando a Matriz de Confusão com paleta de cores amigável para daltônicos<br>fig, axes = plt.subplots(nrows=1, ncols=2, figsize=(12, 5))<br><br># Plotando a Matriz de Confusão<br>sns.heatmap(cf_matrix_rfc/np.sum(cf_matrix_rfc), annot=True, fmt=&#39;.2%&#39;, cmap=&#39;viridis&#39;, ax=axes[0])<br>axes[0].set_title(&#39;Random Forest Confusion Matrix\n\n&#39;)<br>axes[0].set_xlabel(&#39;\nValores Previstos&#39;)<br>axes[0].set_ylabel(&#39;Valores Reais&#39;)<br>axes[0].xaxis.set_ticklabels([&#39;0&#39;, &#39;1&#39;])<br>axes[0].yaxis.set_ticklabels([&#39;0&#39;, &#39;1&#39;])<br><br># Calculando as probabilidades para a classe positiva<br>y_probs_rfc = rfc.predict_proba(x_test)[:, 1]<br><br># Calculando as curvas ROC e AUC<br>fpr, tpr, thresholds = roc_curve(y_test, y_probs_rfc)<br>roc_auc = auc(fpr, tpr)<br><br># Plotando a Curva ROC e AUC<br>axes[1].plot(fpr, tpr, color=&#39;darkorange&#39;, lw=2, label=&#39;Curva ROC (AUC = {:.2f})&#39;.format(roc_auc))<br>axes[1].plot([0, 1], [0, 1], color=&#39;navy&#39;, lw=2, linestyle=&#39;--&#39;, label=&#39;Aleatório&#39;)<br>axes[1].set_xlim([0.0, 1.0])<br>axes[1].set_ylim([0.0, 1.05])<br>axes[1].set_xlabel(&#39;Taxa de Falso Positivo&#39;)<br>axes[1].set_ylabel(&#39;Taxa de Verdadeiro Positivo&#39;)<br>axes[1].set_title(&#39;Curva ROC e AUC\n\n&#39;)<br>axes[1].legend(loc=&#39;lower right&#39;)<br><br># Exibindo as visualizações<br>plt.tight_layout()<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/981/1*60QGPHzT8wazP5Zp8dU05A.png" /></figure><pre># Valores das métricas<br>accuracy = accuracy_score(y_test, y_pred_rfc)<br>precision = precision_score(y_test, y_pred_rfc)<br>recall = recall_score(y_test, y_pred_rfc)<br>f1 = f1_score(y_test, y_pred_rfc)<br><br># Avaliação do K-NN: impressão das métricas<br>print(classification_report(y_test, y_pred_rfc))<br><br># Imprime as métricas individualmente<br>print(&#39;Accuracy Score : &#39; + str(round(accuracy_score(y_test, y_pred_rfc), 3)))<br>print(&#39;Precision Score : &#39; + str(round(precision_score(y_test, y_pred_rfc), 3)))<br>print(&#39;Recall Score : &#39; + str(round(recall_score(y_test, y_pred_rfc), 3)))<br>print(&#39;F-Score : &#39; + str(round(f1_score(y_test, y_pred_rfc), 3)))<br><br># Criando um gráfico de barras para as métricas<br>metrics_names = [&#39;Accuracy&#39;, &#39;Precision&#39;, &#39;Recall&#39;, &#39;F1-Score&#39;]<br>metrics_values = [accuracy, precision, recall, f1]<br><br>plt.bar(metrics_names, metrics_values, color=[&#39;blue&#39;, &#39;green&#39;, &#39;orange&#39;, &#39;red&#39;])<br>plt.title(&#39;Random Forest: Evaluation Metrics&#39;)<br>plt.xlabel(&#39;Metrics&#39;)<br>plt.ylabel(&#39;Values&#39;)<br>plt.ylim(0, 1)  # Ajuste o limite y conforme necessário (0 a 1 para métricas de proporção)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/415/1*03zdyNNe6lwF8SipFFaO-w.png" /></figure><h3><strong>CONCLUSÃO</strong></h3><pre># Comparando as métricas e identificando o melhor e pior modelo para cada métrica<br>best_accuracy_model = df_metrics.loc[df_metrics[&#39;Accuracy&#39;].idxmax()][&#39;Model&#39;]<br>worst_accuracy_model = df_metrics.loc[df_metrics[&#39;Accuracy&#39;].idxmin()][&#39;Model&#39;]<br><br>best_precision_model = df_metrics.loc[df_metrics[&#39;Precision&#39;].idxmax()][&#39;Model&#39;]<br>worst_precision_model = df_metrics.loc[df_metrics[&#39;Precision&#39;].idxmin()][&#39;Model&#39;]<br><br>best_recall_model = df_metrics.loc[df_metrics[&#39;Recall&#39;].idxmax()][&#39;Model&#39;]<br>worst_recall_model = df_metrics.loc[df_metrics[&#39;Recall&#39;].idxmin()][&#39;Model&#39;]<br><br>best_f1_model = df_metrics.loc[df_metrics[&#39;F1 Score&#39;].idxmax()][&#39;Model&#39;]<br>worst_f1_model = df_metrics.loc[df_metrics[&#39;F1 Score&#39;].idxmin()][&#39;Model&#39;]<br><br># Imprimindo apenas as informações resumidas<br>print(&quot;\nBest Accuracy Model:&quot;, best_accuracy_model)<br>print(&quot;Worst Accuracy Model:&quot;, worst_accuracy_model)<br><br>print(&quot;\nBest Precision Model:&quot;, best_precision_model)<br>print(&quot;Worst Precision Model:&quot;, worst_precision_model)<br><br>print(&quot;\nBest Recall Model:&quot;, best_recall_model)<br>print(&quot;Worst Recall Model:&quot;, worst_recall_model)<br><br>print(&quot;\nBest F1 Score Model:&quot;, best_f1_model)<br>print(&quot;Worst F1 Score Model:&quot;, worst_f1_model)<br><br># Resumo das métricas<br>metrics_summary = df_metrics.set_index(&#39;Model&#39;).transpose()<br>print(&quot;\nMetrics Summary:&quot;)<br>print(metrics_summary)<br><br># Plotando um gráfico de barras para as métricas<br>df_metrics.set_index(&#39;Model&#39;).plot(kind=&#39;bar&#39;, rot=0)<br>plt.title(&#39;Comparison of Evaluation Metrics for Different Models&#39;)<br>plt.xlabel(&#39;Metrics&#39;)<br>plt.ylabel(&#39;Values&#39;)<br>plt.ylim(0, 1)  # Ajuste o limite y conforme necessário (0 a 1 para métricas de proporção)<br>plt.legend(title=&#39;Models&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/538/1*dgEOA4QVT5TX3bUg4W8HMw.png" /></figure><p>Depois de um longo trabalho de análise, tratamento devido aos dados, conseguimos uma boa (e não perfeita) performance no último modelo de Random Forest, com boas métricas e você pode ver pela curva ROC e AUC que logo o modelo se ajustou aos dados.</p><p>Já o K-NN e o Naive Bayes tiveram performances ruins em suas métricas e demoraram para se ajustarem aos dados, mas, é preciso dizer que para esse exemplo específico tivemos esses resultados. Não é uma regra, apenas performaram desta maneira nesse conjunto de dados.</p><p><strong>FIM</strong></p><p>Mais um projeto de boa relevância e de nível intermediário&gt;avançado para treinar diversas técnicas, espero que seja relevante e em caso de dúvidas é só me chamar.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b12a85908c2b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[CLASSIFICANDO ESTRELAS, GALÁXIAS E QUASARES]]></title>
            <link>https://medium.com/@jonatasliberato/classificando-estreas-gal%C3%A1xias-e-quasares-52bbbf0c56a5?source=rss-8d0c66edc75f------2</link>
            <guid isPermaLink="false">https://medium.com/p/52bbbf0c56a5</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[astronomy]]></category>
            <category><![CDATA[astrophysics]]></category>
            <category><![CDATA[mchinelearning]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Jonatas Liberato]]></dc:creator>
            <pubDate>Wed, 07 Feb 2024 14:06:42 GMT</pubDate>
            <atom:updated>2024-02-07T14:40:28.063Z</atom:updated>
            <content:encoded><![CDATA[<p>Projeto com análise de dados, análise gráfica e Machine Learning.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3CsQeiJ5zN48guhU3sktOg.png" /></figure><h4><strong>SOBRE O PROJETO</strong></h4><p>Como citado em outros projetos, a astronomia é uma das grandes paixões da minhas vida, bem como a sua filha a astrofísica.</p><p>Por isso, nada melhor que uma fusão entre o meu amor pela área de dados e o universo. E na busca por projetos aplicáveis, para que eu possa sempre aprender da maneira mais divertida possível, encontrei um dataset muito interessante que é o <em>stellar classification</em> que possibilita a classificação das estrelas com base nas suas características espectrais.</p><p>O método de categorização de estrelas, galáxias e quasares representa uma parte essencial da astronomia. A análise inicial das estrelas e sua distribuição no firmamento contribuiu para o entendimento de que elas formam a nossa própria galáxia.</p><p>À medida que se identificava a separação da galáxia de Andrômeda em relação à nossa, a pesquisa de numerosas outras galáxias tornou-se possível com o desenvolvimento de telescópios mais avançados.</p><p>E este conjunto de dados tem como objetivo classificar estrelas, galáxias e quasares com base em suas características espectrais. Os dados compreendem 100.000 observações espaciais obtidas pelo SDSS (Sloan Digital Sky Survey). Cada observação é caracterizada por 17 atributos e uma classe designativa que a identifica como uma estrela, galáxia ou quasar.</p><p>Além disso, acabei por descobrir uma biblioteca fantástica, chamada <strong>Astropy</strong> com diversas possibilidades de se utilizar graficamente nos projetos.</p><p><strong>Galáxias</strong></p><p>Galáxias são conjuntos massivos de estrelas, gás, poeira cósmica e matéria escura, mantidos unidos pela gravidade. Elas podem assumir diferentes formas, sendo classificadas principalmente como espirais, elípticas e irregulares, dependendo de sua estrutura. No interior de galáxias, encontram-se bilhões ou até trilhões de estrelas, junto com sistemas solares e planetas.</p><p>Além disso, as galáxias podem formar aglomerados, grupos e superaglomerados, representando estruturas de larga escala no cosmos. Ao longo do tempo, as galáxias podem colidir, fundir-se ou evoluir de várias maneiras, influenciando o desenvolvimento do universo. Elas desempenham um papel crucial na cosmologia, fornecendo insights sobre a estrutura do universo e sua evolução ao longo do tempo.</p><p>Além disso, as galáxias podem formar aglomerados, grupos e superaglomerados, representando estruturas de larga escala no cosmos. Ao longo do tempo, as galáxias podem colidir, fundir-se ou evoluir de várias maneiras, influenciando o desenvolvimento do universo. Elas desempenham um papel crucial na cosmologia, fornecendo insights sobre a estrutura do universo e sua evolução ao longo do tempo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/374/1*vQwTb5ccjDwj1gVpvzMIfg.png" /></figure><p><strong>Estrelas</strong></p><p>Estrelas são objetos astronômicos luminosos compostos principalmente de hidrogênio e hélio, gerando luz e calor por meio de reações nucleares em seus núcleos. Originam-se de nuvens de gás e poeira cósmica que colapsam sob sua própria gravidade. A cor e o brilho de uma estrela dependem de sua temperatura, variando de azul para estrelas mais quentes a vermelho para estrelas mais frias.</p><p>As estrelas passam por diferentes estágios ao longo de seu ciclo de vida, que pode incluir a formação de uma anã branca, estrela de nêutrons ou buraco negro.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/373/1*jA4glJaBmM-VHz4dh4ZyJQ.png" /></figure><p><strong>Quasares</strong></p><p>Quasares, ou Quasi-Stellar Radio Sources, são objetos astronômicos extremamente luminosos e distantes. Eles são alimentados por buracos negros supermassivos no centro de galáxias ativas. Emitem radiação intensa em várias faixas do espectro eletromagnético, incluindo rádio, micro-ondas, infravermelho, óptico, ultravioleta e raios-X.</p><p>Apesar de sua distância colossal, os quasares estão entre os objetos mais brilhantes do universo. Estudar quasares fornece informações valiosas sobre o universo primitivo, buracos negros supermassivos e a evolução galáctica.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/374/1*LhP2i0WcIIFPXdO7c-mzKA.png" /></figure><h3><strong>OBJETIVOS</strong></h3><p>Além de incrementar o meu portfólio, desejo aprimorar cada vez mais os meus conhecimentos nas referidas áreas, além disso, praticar as minhas habilidades de storytelling.</p><p>Em meus outros projetos de economia, utilizei de uma escrita mais bem humorada, justamente para testar a minha capacidade de explicar coisas complicadas de maneira simples e porque não, divertida.</p><p>Nesse projeto os aprendizados são:</p><ul><li>Análise de dados</li><li>Normalização</li><li>Balanceamento</li><li>Análise gráfica</li><li>Insights</li><li>Modelos de Machine Learning</li><li>Storytelling</li></ul><h3>DADOS</h3><p>Lista de features</p><ul><li>obj_ID = Identificador do Objeto, valor único que identifica o objeto no catálogo de imagens utilizado pelo CAS</li><li>alfa = ângulo de ascensão reta (durante J2000)</li><li>delta = Ângulo de declinação (durante J2000)</li><li>u = Filtro ultravioleta no sistema fotométrico</li><li>g = Filtro verde no sistema fotométrico</li><li>r = Filtro vermelho no sistema fotométrico</li><li>i = Filtro infravermelho próximo no sistema fotométrico</li><li>z = Filtro infravermelho no sistema fotométrico</li><li>run_ID = Número de execução usado para identificar a verificação específica</li><li>reun_ID = Número de nova execução para indicar como a imagem foi processada</li><li>cam_col = Coluna da câmera que define a linha de varredura na execução</li><li>field_ID = Número do campo para identificar cada campo</li><li>spec_obj_ID = ID exclusivo usado para objetos espectroscópicos ópticos (isso significa que 2 observações diferentes com o mesmo spec_obj_ID devem compartilhar a classe de saída)</li><li>class = classe do objeto (objeto galáxia, estrela ou quasar)</li><li>redshift = valor do redshift devido ao aumento no comprimento de onda</li><li>placa = ID da placa identifica cada placa no SDSS</li><li>MJD = Data Juliana Modificada usada para indicar quando um determinado dado do SDSS foi recebido</li><li>Fiber_ID = ID da fibra que identifica a fibra que direciona a luz para o plano focal em cada observação</li></ul><p>Link para baixar o dataset, [<a href="https://www.kaggle.com/datasets/fedesoriano/stellar-classification-dataset-sdss17/download?datasetVersionNumber=1"><strong>AQUI</strong></a>].</p><h3><strong>01. ANÁLISE EXPLORATÓRIA</strong></h3><p>Nesse script levarei em conta um conhecimento básico de análise de dados por parte do leitor, serão mais códigos com comentários, mas explicações serão realizadas nos tópicos.</p><pre># Bibliotecas<br>import pandas as pd<br>import numpy as np<br>import seaborn as sns<br>import matplotlib.pyplot as plt<br>import warnings<br>warnings.filterwarnings(&#39;ignore&#39;)</pre><p><strong>1. Importanto o dataset (pode demorar devido ao tamanho)</strong></p><pre># Importando o dataset<br>data = pd.read_csv(&#39;archive/star_classification.csv&#39;)<br>data</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/957/1*NGKREcodh_wWRy_OQnioRg.png" /></figure><p><strong>2. Verificando as características dos dados</strong></p><pre># Tipos de dados<br>data.info()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/232/1*fnsJfPL6UWROOHmNcYKD-g.png" /><figcaption>A coluna ‘class’ está no tipo object, que significa que é uma variável categórica. Faremos os devidos procedimentos mais à frente.</figcaption></figure><pre># Variável class<br>data[&#39;class&#39;].value_counts()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/244/1*TUW4lZcj_DYi0UHLDJ6hZg.png" /></figure><p><strong>3. Dados nulos e duplicados</strong></p><p>Valores nulos podem atrapalhar a análise e enviesar nossos modelos classificadores</p><pre># Valores nulos<br>data.isnull().sum()<br><br># Duplicados<br>data.duplicated().sum()</pre><p><em>Foram obtidos 0 resultados</em></p><pre># Estatísticas descritivas<br>data.describe()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rrBXvk2dTMc4zu6u-uJFbQ.png" /><figcaption>Sim, está um pouco confuso para entender possíveis anomalias presentes nos dados, para resolver, usaremos análise gráfica e entenderemos suas relações.</figcaption></figure><p><strong>4. Plotando a distribuição em uma área esférica</strong></p><p>Usaremos uma biblioteca incrível chamada <strong>Astropy</strong>, que engloba uma série de pacotes voltados para a astronomia e a astrofísica.</p><p>Aqui vamos plotar o posicionamento dos objetos no céu através dos ângulos alpha e delta</p><pre># Instalação (retire o # para instalar em sua máquina)<br># !pip install astropy<br><br># Coordenadas<br>coords = SkyCoord(<br>    ra=data[&#39;alpha&#39;], <br>    dec=data[&#39;delta&#39;], <br>    unit=(unit.degree, unit.degree),  # Adicionando a unidade para as coordenadas<br>    frame=&#39;icrs&#39;)<br><br># Esse componente específico, astropy.units, oferece uma abordagem facilitada para incorporar unidades em valores numéricos, realizar operações matemáticas e assegurar a consistência das unidades utilizadas<br><br># Plotagem<br>plt.figure(figsize=(15, 10))<br>ax = plt.subplot(111, projection=&#39;mollweide&#39;)<br>ax.scatter(coords.ra.wrap_at(180 * unit.degree).radian, coords.dec.radian, s=1)<br>ax.grid()<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/833/1*xwfKf6Z_jlSqzySuYfc3IQ.png" /></figure><p><strong>4.1 Plotando um mapa celeste interativo</strong></p><pre>import plotly.graph_objs as px<br><br># Criando um objeto SkyCoord a partir das colunas RA e Dec no DataFrame<br>coords = SkyCoord(<br>    ra=data[&#39;alpha&#39;], <br>    dec=data[&#39;delta&#39;], <br>    unit=(unit.degree, unit.degree),  # Adicionando a unidade para as coordenadas<br>    frame=&#39;icrs&#39;<br>)<br><br># Convertendo as coordenadas para coordenadas galácticas<br>gal_coords = coords.galactic<br><br># Criando um gráfico de dispersão das coordenadas galácticas<br>fig = px.Figure(data=px.Scattergl(<br>    x=gal_coords.l.wrap_at(180*unit.degree).degree,<br>    y=gal_coords.b.degree,<br>    mode=&#39;markers&#39;,<br>    marker=dict(size=2, color=&#39;blue&#39;),<br>    showlegend=False<br>))<br><br># Configurando o título centralizado em negrito e adicionando a anotação do autor<br>fig.update_layout(<br>    title=dict(<br>        text=&#39;Mapa Celestial de Objetos&#39;,<br>        x=0.5,<br>        y=0.9,<br>        xanchor=&#39;center&#39;,<br>        yanchor=&#39;top&#39;,<br>        font=dict(size=20, color=&#39;black&#39;)<br>    ),<br>    xaxis_title=&#39;Longitude (em graus)&#39;,<br>    yaxis_title=&#39;Latitude (em graus)&#39;<br>)<br><br># Adicionando a anotação do autor abaixo do gráfico<br>fig.add_annotation(<br>    text=&quot;Autor Jonatas A. Liberato&quot;,<br>    x=1,<br>    y=-0.15,<br>    xref=&#39;paper&#39;,<br>    yref=&#39;paper&#39;,<br>    showarrow=False,<br>    font=dict(size=12, color=&#39;black&#39;)<br>)<br><br># Exibindo o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*M4RO7MWzEIRUHc0WuJboJA.png" /></figure><p><strong>4.2 Plotando o CMDs</strong></p><p>Aqui faremos uma análise do CMDs, ou Diagramas de Magnitude de Cores, que são ferramentas visuais usadas em astronomia para representar graficamente a relação entre o brilho de objetos celestes em diferentes filtros de luz, essa análise leva em consideração alguns apectos:</p><p><strong>1. Magnitude:</strong></p><p>Na astronomia, a magnitude é uma medida da luminosidade ou brilho de um objeto celeste.</p><p>Cada objeto é observado em diferentes filtros de luz (por exemplo, filtros azuis, verdes, vermelhos).</p><p>A magnitude em cada filtro é uma medida quantitativa do brilho do objeto nesse filtro específico.</p><p><strong>2. Diagrama de Magnitude de Cores (CMD):</strong></p><p>Em um CMD, você representa o brilho (magnitude) do objeto em um filtro contra o brilho em outro filtro (cor).</p><p>A diferença entre as magnitudes em dois filtros adjacentes cria a cor do objeto.</p><p>As cores podem revelar informações sobre a temperatura, metalicidade e idade dos objetos.</p><p><strong>3. Exemplo Prático:</strong></p><p>Vamos dizer que você tem observações de estrelas em um filtro azul (B) e um filtro vermelho (R).</p><p>Você cria um CMD plotando a magnitude em R contra a diferença de magnitude (cor) entre B e R.</p><p>Estrelas mais quentes (como estrelas azuis) terão cores menores, enquanto estrelas mais frias (como estrelas vermelhas) terão cores maiores.</p><p>O padrão resultante no gráfico pode revelar propriedades físicas das estrelas, como temperatura ou idade.</p><p><strong>4. Interpretação:</strong></p><p>Estruturas específicas no CMD, como sequências principais ou ramos de gigantes, podem indicar diferentes fases evolutivas das estrelas.</p><p>A inclinação e a forma dessas sequências podem fornecer informações sobre a composição química das estrelas.</p><pre>import plotly.express as px<br><br># Paleta de cores<br>colors = data[&#39;u&#39;] - data[&#39;g&#39;]<br><br># Magnitude<br>magnitude = data[&#39;r&#39;]<br><br># Configurações do plot<br>fig = px.scatter(<br>    x=colors,<br>    y=magnitude,<br>    color=colors,<br>    opacity=0.7,<br>    color_continuous_scale=&#39;Viridis&#39;,  # Escolha uma paleta de cores contínuas<br>    title=&#39;Diagrama de Magnitude de Cores (CMDs)&#39;,<br>    labels={&#39;color&#39;: &#39;u - g&#39;},<br>    range_color=[colors.min(), colors.max()],  # Ajuste a escala da barra de cores<br>)<br><br># Atualizar layout<br>fig.update_layout(<br>    xaxis_title=&#39;Cor (Ultravioleta - Verde)&#39;,<br>    yaxis_title=&#39;Magnitude Vermelha(r)&#39;,<br>    coloraxis_colorbar=dict(title=&#39;u - g&#39;),  # Adicione um rótulo à barra de cores<br>    title_x=0.5  # Centraliza o título horizontalmente<br>)<br><br># Adicionar anotação<br>fig.add_annotation(<br>    text=&quot;Autor: Jonatas A. Liberato&quot;,<br>    xref=&quot;paper&quot;, <br>    yref=&quot;paper&quot;,<br>    x=1, y=-0.15,<br>    showarrow=False,<br>    font=dict(size=10, color=&quot;black&quot;)<br>)<br><br># Exibir o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VWidbubpXRfyDZxubgUUeQ.png" /><figcaption>Note que a maioria dos dados se concentram entre -5 e 10 e identificamos outliers bem definidos</figcaption></figure><p><strong>4.3 Desvio para o Vermelho (redshift)</strong></p><p>O desvio para o vermelho é um conceito fundamental para os astrônomos. Ele se refere ao alongamento do comprimento de onda da luz, fazendo com que a luz seja percebida como ‘deslocada’ para a parte vermelha do espectro.</p><p>Um histograma de desvio para o vermelho mostra a distribuição de objetos em diferentes valores de desvio para o vermelho, o que pode fornecer insights sobre a estrutura em larga escala do universo. Em termos simples, é uma maneira de os astrônomos entenderem como as galáxias e outros objetos celestes estão distribuídos no espaço, com base na mudança de cor da luz que recebemos deles.</p><pre># Criar um histograma para o desvio para o vermelho<br>fig = px.histogram(x=data[&#39;redshift&#39;], nbins=50, title=&#39;Distribuição de Desvio para o Vermelho&#39;, color_discrete_sequence=[&#39;red&#39;])<br><br># Adicionar anotação<br>fig.add_annotation(<br>    text=&quot;Autor: Jonatas A. Liberato&quot;,<br>    xref=&quot;paper&quot;, <br>    yref=&quot;paper&quot;,<br>    x=1, y=-0.15,<br>    showarrow=False,<br>    font=dict(size=10, color=&quot;black&quot;)<br>)<br><br># Atualizar layout para centralizar o título<br>fig.update_layout(<br>    title_x=0.5  # Centraliza o título horizontalmente<br>)<br><br># Exibir o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RWIVrSqbd2UELbwy0aALwg.png" /></figure><p><strong>4.4 Sloan Digital Sky Survey (SDSS)</strong></p><p>Trata-se de um grande projeto astronômico que tirou fotos detalhadas do céu e coletou informações sobre muitos objetos no espaço e uma parte importante desse projeto é o que chamamos de Observações Espectroscópicas.</p><p>E quando a gente fala sobre observações espectroscópicas, dizemos que os cientistas observam a luz que vem de estrelas, galáxias e outros objetos no espaço e em vez de apenas tirar fotos, eles dividiram a luz em cores diferentes, como um arco-íris, permite obter informações como:</p><p>1. <strong>Descobrir a Velocidade das Coisas:</strong> Eles conseguiram descobrir quão rápido algumas coisas se movem no espaço, olhando para como as cores da luz estão um pouco mudadas (é como ouvir o som de um carro passando rápido).</p><p>2. <strong>Encontrar Galáxias Distantes:</strong> Ao estudar a luz de galáxias distantes, eles podem entender melhor como o universo se parece lá longe e como ele mudou ao longo do tempo.</p><p>3. <strong>Achar Objetos Incrivelmente Brilhantes:</strong> Eles encontraram coisas chamadas quasares, que são objetos super brilhantes e misteriosos lá no fundo do espaço.</p><p>4. <strong>Construir um Mapa do Universo:</strong> Com todas essas informações, os cientistas conseguiram fazer um tipo de mapa tridimensional do universo, mostrando onde estão as galáxias e como elas estão distribuídas.</p><p>Em resumo, as observações espectroscópicas do SDSS ajudaram os cientistas a descobrir muitas coisas emocionantes sobre o espaço e como ele funciona!</p><pre># Criar uma coluna de tamanho ajustado<br>size_col = [s if s &gt;= 0 else 0 for s in data[&#39;redshift&#39;]]<br><br># Criar o gráfico de dispersão<br>fig = px.scatter(data, x= &#39;alpha&#39;, y= &#39;delta&#39;, color= &#39;class&#39;, size= size_col, <br>                 title= &#39;Observações espectroscópicas SDSS&#39;,<br>                 labels={&#39;alpha&#39;: &#39;Ascensão Reta (graus)&#39;, &#39;delta&#39;: &#39;Declinação (graus)&#39;},<br>                 size_max=15 <br>                )<br><br># Adicionar anotação<br>fig.add_annotation(<br>    text=&quot;Autor: Jonatas A. Liberato&quot;, <br>    xref=&quot;paper&quot;, <br>    yref=&quot;paper&quot;,<br>    x=1, y=-0.15,<br>    showarrow=False,<br>    font=dict(size=10, color=&quot;black&quot;)<br>)<br><br># Atualizar layout<br>fig.update_layout(<br>    legend=dict(title=&#39;Classe&#39;),  <br>    coloraxis_colorbar=dict(title=&#39;Redshift&#39;),  <br>    title_x=0.5,  <br>    title_y=0.95, <br>)<br><br># Exibir o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YvKWDMytC3BVl9pXmK9RlQ.png" /></figure><p><strong>5. Relações entre as características</strong></p><p>Aqui traremos gráficos que podem contribuir para a compreensão da distribuição espacial e das propriedades físicas dos objetos astronômicos no conjunto de dados. Eles podem revelar padrões, agrupamentos ou anomalias que podem ser cruciais para estudos mais aprofundados, como a investigação de estruturas cosmológicas, a identificação de grupos de galáxias ou a análise de características específicas de diferentes classes de objetos astronômicos.</p><p><strong>5.1 Declination Angle x Redshift</strong></p><pre># Criar o gráfico de dispersão<br>fig = px.scatter(data, x=&#39;delta&#39;, y=&#39;redshift&#39;, color=&#39;class&#39;, color_discrete_sequence=px.colors.qualitative.Dark2,<br>                 hover_name=&#39;obj_ID&#39;, title=&#39;Ângulo de Declinação x Desvio para o Vermelho&#39;,<br>                 labels={&#39;delta&#39;: &#39;Ângulo de Declinação&#39;, &#39;redshift&#39;: &#39;Desvio para o Vermelho&#39;},<br>                )<br><br># Adicionar anotação<br>fig.add_annotation(<br>    text=&quot;Autor: Jonatas A. Liberato&quot;,<br>    xref=&quot;paper&quot;, <br>    yref=&quot;paper&quot;,<br>    x=1, y=-0.15,<br>    showarrow=False,<br>    font=dict(size=10, color=&quot;black&quot;)<br>)<br><br># Atualizar layout<br>fig.update_layout(<br>    legend=dict(title=&#39;Classe&#39;),<br>    coloraxis_colorbar=dict(title=&#39;Classe&#39;),<br>    title_x=0.5, <br>    title_y=0.95,  <br>)<br><br># Exibir o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UNxIAf8M2-e_n5NkqryjxA.png" /></figure><pre># Criar o gráfico de dispersão<br>fig = px.scatter(data, x=&quot;alpha&quot;, y=&quot;redshift&quot;, color=&quot;class&quot;, title=&quot;Ângulo de Ascensão Reta vs Desvio para o Vermelho&quot;,<br>                 labels={&quot;alpha&quot;: &quot;Ângulo de Ascensão Reta&quot;, &quot;redshift&quot;: &quot;Desvio para o Vermelho&quot;},<br>                 color_discrete_sequence=px.colors.qualitative.Dark24)<br><br># Adicionar anotação<br>fig.add_annotation(<br>    text=&quot;Autor: Jonatas A. Liberato&quot;, <br>    xref=&quot;paper&quot;, <br>    yref=&quot;paper&quot;,<br>    x=1, y=-0.15,<br>    showarrow=False,<br>    font=dict(size=10, color=&quot;black&quot;)<br>)<br><br># Atualizar layout<br>fig.update_layout(<br>    legend=dict(title=&#39;Classe&#39;),<br>    coloraxis_colorbar=dict(title=&#39;Classe&#39;), <br>    title_x=0.5,<br>    title_y=0.95, <br>)<br><br># Exibir o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QTJrNSU1BGIgZmfYvyAQlg.png" /></figure><h3><strong>02 PRÉ-PROCESSAMENTOS</strong></h3><p><strong>1. Tratamento variáveis categóricas</strong></p><p>Variáveis categóricas são tratadas para adaptá-las a modelos e análises, evitando erros, melhorando a performance e permitindo a correta interpretação dos resultados. Com isso conseguimos talvez garantir a eficácia dos modelos e análises estatísticas.</p><pre># Biblioteca<br>from sklearn.preprocessing import LabelEncoder<br><br># Instância<br>le = LabelEncoder()<br>data[&#39;class&#39;] = le.fit_transform(data[&#39;class&#39;])<br><br># Contabilizando<br>data[&#39;class&#39;].value_counts()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/242/1*lfgTks-9kjpOjlSU4VFfiw.png" /><figcaption>Como a variável ‘class’ é categórica, usaremos os LabelEnconding para tranasformar os valores para numéricos, já que a ordem não importa.</figcaption></figure><pre># Pacote para personalizar legendas<br>import matplotlib.patches as mpatches<br><br><br># Quantidades após LabelEncoder<br>class_counts = data[&#39;class&#39;].value_counts()<br><br># Definir paleta de cores<br>colors = sns.color_palette(&#39;dark&#39;, n_colors=len(class_counts))<br><br># Mapear números de classe para rótulos<br>class_labels = {0: &#39;GALAXY&#39;, 1: &#39;STAR&#39;, 2: &#39;QSO&#39;}<br><br># Plotagem<br>plt.figure(figsize=(10, 8))<br>ax = class_counts.plot(kind=&#39;bar&#39;, color=colors)<br>plt.title(&#39;Quantidade de Observações por Classe&#39;, fontsize=14)<br>plt.xlabel(&#39;Classe&#39;, fontsize=12)<br>plt.ylabel(&#39;Contagem&#39;, fontsize=12)<br><br># Adicionar legenda personalizada<br>legend_handles = [mpatches.Patch(color=color, label=label) for color, label in zip(colors, class_labels.values())]<br>plt.legend(handles=legend_handles, title=&#39;Classes&#39;, loc=&#39;upper right&#39;)<br><br># Corrigir rótulos do eixo x<br>plt.xticks(rotation=0, ha=&#39;right&#39;)<br><br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*lpGnp-y_aTJVd3W5MFBVLg.png" /></figure><p><strong>2. Construindo um tabela de correlação para entender os relacionamentos entre as variáveis</strong></p><pre># Calculando a matriz de correlação<br>corr_matriz = data.corr()<br><br># Configurando o gráfico<br>sns.set(style = &#39;whitegrid&#39;)<br><br># Mapa de calor<br>plt.figure(figsize = (15,10))<br>sns.heatmap(corr_matriz, annot = True, cmap = &#39;coolwarm&#39;, fmt = &#39;.2f&#39;, linewidths=.5)<br>plt.title(&#39;Matriz de Correlação&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/681/1*WEoeov2o4UtWpD4jz9Uvxg.png" /></figure><p>Para efeitos de classificação, determinamos que variáveis que se correlacionam positivamente na casa dos 0.15 ou mais serão utilizadas no nosso objetivo.</p><p><strong>3. Verificando dados outliers para evitar enviesamento</strong></p><pre># Biblioteca específica para detecção de outliers<br>from sklearn.neighbors import LocalOutlierFactor<br><br># Instância<br>classifier = LocalOutlierFactor()<br><br># Aplicando ao dataset para ver se o valor é inlier(1) ou outlier(-1)<br>y_pred = classifier.fit_predict(data)<br><br># Scores<br>x_scores = classifier.negative_outlier_factor_<br><br># Datafrae com os scores<br>df_scores = pd.DataFrame()<br><br># Adicionando colune &#39;score&#39; com os socres<br>df_scores[&#39;score&#39;] = x_scores<br><br>df_scores</pre><p><strong>negative_outlier_factor_</strong> fornece uma medida do afastamento de cada instância em relação ao seu entorno(quanto mais baixo o score, mais provável é que a instância seja um outlier)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/148/1*ZfMqBJWtO20Hjz45jsTNSA.png" /></figure><p><strong>4. Aplicando um limite para as instâncias</strong></p><p>Se as instâncias cujos scores são menores que esse threshold são consideradas outliers, e seus índices são armazenados na lista outlier_index</p><pre>limiar = -1.5<br>filtro = df_scores[&#39;score&#39;] &lt; limiar<br>outlier_idx = df_scores[filtro].index.tolist()<br><br>print(f&#39;Temos um total de: {len(outlier_idx)} outliers&#39;)<br><br># Excluindo os outliers do dataset<br>data.drop(outlier_idx, inplace = True)<br>data</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/945/1*oEr_Is4_zDU0kDEtZ0rynw.png" /><figcaption>Temos um total de: 15256 outliers os quais foram excluídos</figcaption></figure><p><strong>5. Tratando dados desbalanceados (oversampling)</strong></p><pre># Pacotes<br>from imblearn.over_sampling import SMOTE<br>from collections import Counter<br><br># Separando os dados de teste e de treino<br>x = data.drop([&#39;class&#39;], axis = 1)<br>y = data[&#39;class&#39;]<br><br># Instância<br>smote = SMOTE(random_state= 42)<br><br># Contando de cada classe <br>print(&#39;Antes do Oversampling:&#39;, Counter(y))<br><br># Aplicando o smote<br>x, y = smote.fit_resample(x,y)<br><br># Depois do Oversampling<br>print(&#39;Dados balanceados&#39;, Counter(y))<br></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/432/1*E9OUFqkIWxWK0vQ8rY3poQ.png" /></figure><p><strong>5.1 Verificando o balanceamento com um plot</strong></p><pre># Quantidades após LabelEncoder<br>class_counts = y.value_counts()<br><br># Definir paleta de cores<br>colors = sns.color_palette(&#39;dark&#39;, n_colors=len(class_counts))<br><br># Mapear números de classe para rótulos<br>class_labels = {0: &#39;GALAXY&#39;, 1: &#39;STAR&#39;, 2: &#39;QSO&#39;}<br><br># Plotagem<br>plt.figure(figsize=(10, 8))<br>ax = class_counts.plot(kind=&#39;bar&#39;, color=colors)<br>plt.title(&#39;Quantidade de Observações por Classe&#39;, fontsize=14)<br>plt.xlabel(&#39;Classe&#39;, fontsize=12)<br>plt.ylabel(&#39;Contagem&#39;, fontsize=12)<br><br># Adicionar legenda personalizada<br>legend_handles = [mpatches.Patch(color=color, label=label) for color, label in zip(colors, class_labels.values())]<br>plt.legend(handles=legend_handles, title=&#39;Classes&#39;, loc=&#39;upper right&#39;)<br><br># Corrigir rótulos do eixo x<br>plt.xticks(rotation=0, ha=&#39;right&#39;)<br><br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/601/1*Rg42lUyneEbVGLQcfWRqYA.png" /></figure><p><strong>6. Ajustando as variáveis estocásticas</strong></p><pre># Pacote<br>from sklearn.preprocessing import StandardScaler<br><br># Instância<br>st_scaler = StandardScaler()<br><br># Calcula a média e o desvio padrão dos dados<br>st_scaler.fit(x)<br><br># Transforma os dados x utilizando a média e o desvio calculados acima<br>x = st_scaler.transform(x)<br>x</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/359/1*opPeyl1Q4GQxgbXu5ZazFA.png" /></figure><h4><strong>Por que fizemos esses passos?</strong></h4><p>As duas operações têm objetivos distintos. O oversampling visa lidar com o desequilíbrio de classe, enquanto a padronização busca garantir que as features estejam na mesma escala, o que pode ser benéfico para certos algoritmos de machine learning. Ambas as operações são partes comuns de um pipeline de pré-processamento de dados em tarefas de machine learning.</p><h3><strong>03 MACHINE LEARNING</strong></h3><pre># Bibliotecas para Machine Learning<br>from sklearn.ensemble import RandomForestClassifier<br>from sklearn.model_selection import train_test_split<br>from sklearn import svm<br>from sklearn.metrics import confusion_matrix, accuracy_score, classification_report<br><br># Separando dados de treino e de teste<br>x_train, x_test, y_train, y_test = train_test_split(x, y, test_size = 0.30, random_state = 42)</pre><p>Separamos dados de treino e teste para avaliar a capacidade de generalização de um modelo.</p><p>Os dados de treino são usados para treinar o modelo, enquanto os dados de teste são reservados para verificar como o modelo se comporta em dados não vistos, ajudando a evitar a superestimação do desempenho e a melhorar a confiabilidade das previsões em situações do mundo real.</p><h4><strong>Classificador 1 — Random Forest</strong></h4><p>O Random Forest é um algoritmo de aprendizado de máquina que constrói várias árvores de decisão usando subconjuntos aleatórios dos dados de treino. Ele é bom porque é robusto, preciso e versátil. Seus ‘defeitos’ envolvem menor interpretabilidade, treinamento mais lento em grandes conjuntos de dados e a necessidade de ajuste de parâmetros.</p><p><strong>1.1 Treinando o Modelo</strong></p><pre># Instanciando um classificador Random Forest<br>rf_clf = RandomForestClassifier()<br><br># Treinando o classificador com os dados de treinamento<br>rf_clf.fit(x_train, y_train)<br><br># Realizando previsões nos dados de teste<br>y_predict = rf_clf.predict(x_test)</pre><p><strong>1.2 Métricas Random Foresst</strong></p><pre>print(f&#39;Acurácia: {accuracy_score(y_test, y_predict)}&#39;)<br>print(f&#39;Matriz de Confusão: {confusion_matrix(y_test, y_predict)}&#39;)<br>print(f&#39;Classification Report: {classification_report(y_test, y_predict)}&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*BZ6-4KMvaw3KS5m5eRKPYg.png" /></figure><p><strong>Sobre as métricas:</strong></p><p>Satisfatoriamente a acurácia do modelo é de <strong>98.29%</strong>, indicando que cerca de 98.29% das previsões são corretas. A matriz de confusão mostra a distribuição de previsões corretas e incorretas para cada classe.</p><p>O relatório de classificação fornece métricas detalhadas para cada classe e métricas agregadas. Em resumo, o modelo possui um desempenho elevado, com alta precisão, recall e f1-score para cada classe, resultando em uma avaliação geral positiva.</p><p><strong>1.3 Matriz de Confusão</strong></p><pre># Obtendo a matriz de confusão<br>conf_matrix = confusion_matrix(y_test, y_predict)<br><br># Plotando a matriz<br>plt.figure(figsize=(8, 6))<br>sns.heatmap(conf_matrix, annot=True, fmt=&#39;d&#39;, cmap=&#39;Greens&#39;, xticklabels=[&#39;0&#39;, &#39;1&#39;], yticklabels=[&#39;0&#39;, &#39;1&#39;])<br>plt.title(&#39;Matriz de Confusão&#39;)<br>plt.xlabel(&#39;Predito&#39;)<br>plt.ylabel(&#39;Real&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/462/1*19eZMDk8f4WRpFHlokGkwQ.png" /></figure><p>Sobre a matriz de confusão:</p><p><strong>Para a Classe 0:</strong></p><ul><li>Verdadeiros Positivos (TP): 14,743</li><li>Falsos Positivos (FP): 272</li><li>Falsos Negativos (FN): 95</li><li>Verdadeiros Negativos (TN): A soma das entradas fora da linha e coluna da Classe 0.</li></ul><p><strong>Para a Classe 1:</strong></p><ul><li>Verdadeiros Positivos (TP): 14,859</li><li>Falsos Positivos (FP): 412</li><li>Falsos Negativos (FN): 1</li><li>Verdadeiros Negativos (TN): A soma das entradas fora da linha e coluna da Classe 1.</li></ul><p><strong>Para a Classe 2:</strong></p><ul><li>Verdadeiros Positivos (TP): 15,242</li><li>Falsos Positivos (FP): 0</li><li>Falsos Negativos (FN): 2</li><li>Verdadeiros Negativos (TN): A soma das entradas fora da linha e coluna da Classe 2.</li></ul><p>Essa matriz de confusão representa tabularmente o desempenho do modelo para cada classe. Ela mostra como as previsões do modelo se comparam aos valores reais para cada classe, permitindo uma análise mais detalhada do seu desempenho em termos de verdadeiros positivos, falsos positivos, falsos negativos e verdadeiros negativos.</p><p><strong>1.4 Curva ROC e AUC</strong></p><p>Desejamos fazer um plot com as curvas ROC e AUC mas temos um problema, estamos lidando com multiclasses, só que a implementação padrão do roc_curve no scikit-learn é destinada a problemas de classificação binária. Para problemas multiclasse, faremos um procedimento com cada classe individualmente usando o “one-vs-all” para calcular as curvas ROC para cada classe em relação às outras.</p><p>Nós usamos as referidas curvas para:</p><p><strong>Curva ROC (Receiver Operating Characteristic):</strong></p><ul><li><strong>O que é:</strong> Gráfico que representa a taxa de verdadeiros positivos em função da taxa de falsos positivos em diferentes pontos de corte para uma classificação binária.</li><li><strong>Interpretação:</strong> Quanto mais próxima a curva estiver do canto superior esquerdo, melhor o desempenho do modelo.</li></ul><p><strong>Área sob a Curva (AUC — Area Under the Curve):</strong></p><ul><li><strong>O que é:</strong> Métrica que representa a área sob a curva ROC.</li><li><strong>Interpretação:</strong> Quanto maior a AUC, melhor o desempenho do modelo em distinguir entre as classes. Um valor de AUC próximo de 1 indica um bom modelo, enquanto 0.5 sugere desempenho aleatório.</li></ul><pre>from sklearn.metrics import roc_curve, auc<br>from sklearn.preprocessing import label_binarize<br>from itertools import cycle<br><br># Converter rótulos para formato binário<br>y_test_bin = label_binarize(y_test, classes=[0, 1, 2])  <br><br># Curvas ROC e AUC para cada classe<br>n_classes = y_test_bin.shape[1]<br><br>fpr = dict()<br>tpr = dict()<br>roc_auc = dict()<br><br>for i in range(n_classes):<br>    y_scores = rf_clf.predict_proba(x_test)[:, i]<br>    fpr[i], tpr[i], _ = roc_curve(y_test_bin[:, i], y_scores)<br>    roc_auc[i] = auc(fpr[i], tpr[i])<br><br># Plot das Curvas ROC<br>plt.figure(figsize=(12, 8))<br>colors = cycle([&#39;aqua&#39;, &#39;darkorange&#39;, &#39;cornflowerblue&#39;]) <br><br>for i, color in zip(range(n_classes), colors):<br>    plt.plot(fpr[i], tpr[i], color=color, lw=2, label=f&#39;Classe {i} (AUC = {roc_auc[i]:.2f})&#39;)<br><br>plt.plot([0, 1], [0, 1], color=&#39;navy&#39;, lw=2, linestyle=&#39;--&#39;)<br>plt.xlabel(&#39;Taxa de Falsos Positivos&#39;)<br>plt.ylabel(&#39;Taxa de Verdadeiros Positivos&#39;)<br>plt.title(&#39;Curvas ROC para classes multiclasse&#39;)<br>plt.legend(loc=&#39;lower right&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/695/1*jYo39fnaCOwXk24e75J0wQ.png" /><figcaption>As curvas ROC e AUC sugerem que o modelo de Random Forest tem um bom desempenho na tarefa de classificação multiclasse, distinguindo rápida e efetivamente entre as diferentes classes</figcaption></figure><h4><strong>Classificador 2 — SVM Classifier</strong></h4><p>O Support Vector Machine (SVM) é mais um algoritmo de aprendizado supervisionado para classificação e regressão. Ele tem como objetivo encontrar um hiperplano ótimo que separe eficientemente as classes no espaço de características. O SVM é conhecido por usar vetores de suporte para maximizar a margem entre as classes, sendo sensível a outliers.</p><p>Pode lidar com dados não lineares através do kernel trick, sendo aplicável em problemas binários, multiclasse e regressão. Suas aplicações incluem visão computacional e reconhecimento de padrões. Os parâmetros essenciais são o custo © e o tipo de kernel, e a interpretação envolve a definição de uma fronteira de decisão com base nos vetores de suporte.</p><p><strong>2.1 Treinando o Modelo</strong></p><p>O parâmetro C no classificador SVM (Support Vector Classification) controla a penalidade por erro de classificação no processo de treinamento:</p><ul><li><strong>C pequeno</strong>: Menos penalidade por erros de classificação, resultando em um modelo mais suave e tolerante a erros.</li><li><strong>C grande</strong>: Mais penalidade por erros, resultando em um modelo mais ajustado aos dados de treinamento, mas potencialmente mais propenso a overfitt</li></ul><pre>from sklearn.svm import SVC<br><br># Instanciando um classificador SVM com controlador de penalidade<br>svm_clf = SVC(kernel=&#39;linear&#39;, C=1.0, probability=True)<br><br># Treinando o classificador com os dados de treinamento<br>svm_clf.fit(x_train, y_train)<br><br># Realizando previsões nos dados de teste<br>y_predict = svm_clf.predict(x_test)</pre><p><strong>2.2 Métricas SVM</strong></p><pre>print(f&#39;Acurácia: {accuracy_score(y_test, y_predict)}&#39;)<br>print(f&#39;Matriz de Confusão: {confusion_matrix(y_test, y_predict)}&#39;)<br>print(f&#39;Classification Report: {classification_report(y_test, y_predict)}&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/513/1*9FiTXj2nDcvPIPuKm_bgZg.png" /></figure><p><strong>Sobre as métricas:</strong></p><p>Também me agrada o resultado obtido com uma acurácia geral de<strong> 96.69%</strong>, indicando eficácia em prever corretamente as classes. A análise da matriz de confusão revelou desempenho sólido para a maioria das classes, com destaque para a Classe 2, onde obteve resultados praticamente perfeitos.</p><p>O Classification Report confirmou bons valores de precisão e recall para a maioria das classes, sugerindo um modelo robusto. Considerando trade-offs entre precisão e recall, o SVM demonstrou ser uma escolha eficaz para a tarefa de classificação multiclasse.</p><p><strong>2.3 Matriz de Confusão</strong></p><pre># Obtendo a matriz de confusão<br>conf_matrix = confusion_matrix(y_test, y_predict)<br><br># Plotando a matriz<br>plt.figure(figsize=(8, 6))<br>sns.heatmap(conf_matrix, annot=True, fmt=&#39;d&#39;, cmap=&#39;Blues&#39;, xticklabels=[&#39;0&#39;, &#39;1&#39;], yticklabels=[&#39;0&#39;, &#39;1&#39;])<br>plt.title(&#39;Matriz de Confusão&#39;)<br>plt.xlabel(&#39;Predito&#39;)<br>plt.ylabel(&#39;Real&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/461/1*Tm4hQfWVQeRuvl5xpYo-wg.png" /></figure><p>Sobre a matriz, concluímos:</p><p><strong>Classe 0:</strong></p><ul><li><strong>Verdadeiros Positivos (VP):</strong> 14,472</li><li><strong>Falsos Positivos (FP):</strong> 398</li><li><strong>Falsos Negativos (FN):</strong> 240</li><li><strong>Interpretação:</strong> O modelo previu corretamente a Classe 0 em 14,472 instâncias, mas errou ao classificar 398 instâncias como pertencentes à Classe 0 quando não eram. Além disso, em 240 instâncias, o modelo falhou em prever que eram da Classe 0.</li></ul><p><strong>Classe 1:</strong></p><ul><li><strong>Verdadeiros Positivos (VP):</strong> 14,399</li><li><strong>Falsos Positivos (FP):</strong> 871</li><li><strong>Falsos Negativos (FN):</strong> 2</li><li><strong>Interpretação:</strong> O modelo teve um bom desempenho na Classe 1, com 14,399 previsões corretas. No entanto, classificou erroneamente 871 instâncias como pertencentes à Classe 1 quando não eram. Apenas 2 instâncias da Classe 1 foram perdidas (falsos negativos).</li></ul><p><strong>Classe 2:</strong></p><ul><li><strong>Verdadeiros Positivos (VP): </strong>15,244</li><li><strong>Falsos Positivos (FP):</strong> 0</li><li><strong>Falsos Negativos (FN): </strong>0</li><li><strong>Interpretação:</strong> O modelo teve um desempenho excelente na Classe 2, prevendo corretamente todas as 15,244 instâncias desta classe. Não houve falsos positivos nem falsos negativos.</li></ul><p><strong>2.4 Curva ROC e AUC</strong></p><pre># Converter rótulos para formato binário<br>y_test_bin = label_binarize(y_test, classes=[0, 1, 2])<br><br># Curvas ROC e AUC para cada classe<br>n_classes = y_test_bin.shape[1]<br><br>fpr = dict()<br>tpr = dict()<br>roc_auc = dict()<br><br>for i in range(n_classes):<br>    y_scores = svm_clf.predict_proba(x_test)[:, i]<br>    fpr[i], tpr[i], _ = roc_curve(y_test_bin[:, i], y_scores)<br>    roc_auc[i] = auc(fpr[i], tpr[i])<br><br># Plote as Curvas ROC<br>plt.figure(figsize=(12, 8))<br>colors = cycle([&#39;red&#39;, &#39;blue&#39;, &#39;green&#39;])<br><br>for i, color in zip(range(n_classes), colors):<br>    plt.plot(fpr[i], tpr[i], color=color, lw=2, label=f&#39;Classe {i} (AUC = {roc_auc[i]:.2f})&#39;)<br><br>plt.plot([0, 1], [0, 1], color=&#39;navy&#39;, lw=2, linestyle=&#39;--&#39;)<br>plt.xlabel(&#39;Taxa de Falsos Positivos&#39;)<br>plt.ylabel(&#39;Taxa de Verdadeiros Positivos&#39;)<br>plt.title(&#39;Curvas ROC para classes multiclasse&#39;)<br>plt.legend(loc=&#39;lower right&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/688/1*zB55VemxzoDHLqfkuuz06Q.png" /><figcaption>Basicamente vemos a mesma eficácia do ajude dos dados, portanto ambos modelos são bem eficazes em suas tarefas.</figcaption></figure><h3><strong>04. FIM</strong></h3><p>Mais uma vez concluo um projeto que me apetece demasiado, pois é possível unir profissão, amor e estudos de maneira totalmente divertida.</p><p>É fato que o faço para deixar meu portfólio de projetos mais robusto, só que o aprendizado obtido ao trazer tais informações a você, tentar lhe explicar bem sucintamente o conteúdo, traz uma paz e a certeza de que não há limites para se explorar as temáticas aqui presentes.</p><p>Espero que lhe seja relevante, grande abraço e obrigado!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=52bbbf0c56a5" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ESTUDO DE CASO: O Fenômeno Inflacionário no Brasil (Parte 3)]]></title>
            <link>https://medium.com/@jonatasliberato/estudo-de-caso-o-fen%C3%B4meno-inflacion%C3%A1rio-no-brasil-parte-3-3c5e35ed9b37?source=rss-8d0c66edc75f------2</link>
            <guid isPermaLink="false">https://medium.com/p/3c5e35ed9b37</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[economia]]></category>
            <category><![CDATA[macroeconomia]]></category>
            <category><![CDATA[inflacao]]></category>
            <dc:creator><![CDATA[Jonatas Liberato]]></dc:creator>
            <pubDate>Fri, 02 Feb 2024 17:55:51 GMT</pubDate>
            <atom:updated>2024-02-02T17:55:51.726Z</atom:updated>
            <content:encoded><![CDATA[<p>Terceira e última parte do estudo sobre inflação com Machine Learning</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*N1n_H_P7wVXy-XU4yT1vJA.png" /></figure><p>Faaaaaaaala camaradas</p><p>Nas partes 1 e 2, (aqui localizada) estudamos o fenômeno inflacionário no Brasil de uma maneira didática, para que qualquer pessoa sendo ela leiga ou não, compreenda sobre esse fenômeno que nos afeta diariamente e como foi a sua trajetória até aqui.</p><p>Nesse estudo, o objetivo sempre foi treinar conhecimentos em:</p><ul><li>Economia</li><li>Programação</li><li>Data Science</li><li>Machine Learning</li><li>Estatística</li><li>Storytelling</li><li>Visualização de dados</li></ul><p>E é o que vamos aplicar nessa 3ª e última (grazadels) parte.</p><h4><strong>Sobre a Parte 3 (final)</strong></h4><p>Chegamos até aqui depois de muuuuito trabalho (totalmente prazeroso).</p><p>Nós coletamos os dados por meio de APIs, fizemos tratamento, plotamos, criamos modelos e fizemos um estudo em temáticas como: Inflação por faixa de Renda, Inflação por grupo de alimentos, Quebras Estruturais, Inflação Serviços x Desemprego, Modelo de previsão, etc.</p><p>E os últimos tópicos para essa 3ª parte são:</p><ol><li><strong>Impactos climáticos sobre a inflação</strong></li><li><strong>Medidas de ancoragem</strong></li><li><strong>Juro Real x Juro Neutro</strong></li><li><strong>Deflação</strong></li><li><strong>Núcleos de Inflação</strong></li></ol><p>E como de costume, sempre explicado de maneira didática com base em dados (obviamente) e em fontes com muito mais credibilidade que esse nobre estudante aspirante a cientista de dados.</p><p>Pois bem, sem enrolação….vamos lá!</p><h3><strong>1.0 Impactos Climáticos</strong></h3><p>O clima como já se sabe (espero que sim), é um fator extremamente relevante sobre os preços de produtos consumidos por todas as famílias brasileiras e em outras localidade do plante terra (há quem diga ser plana). E como as mudanças climáticas podem afetas segmentos da economia e respingar nos indicadores inflacionários:</p><p>1. <strong>Agricultura e Produção de Alimentos:</strong></p><ul><li>Em condições climáticas favoráveis, com chuvas regulares e temperaturas adequadas, a produção agrícola tende a ser positiva.</li><li>Boas safras resultam em aumento na oferta de alimentos, contribuindo para a redução de preços.</li><li>Por outro lado, eventos climáticos desfavoráveis, como secas ou tempestades, podem prejudicar as colheitas, diminuindo a oferta e elevando os preços dos alimentos.</li></ul><p>2. <strong>Energia:</strong></p><ul><li>Mudanças climáticas afetam a geração de energia. Por exemplo, períodos de seca podem reduzir a produção de energia hidrelétrica, resultando em custos mais elevados.</li><li>Eventos climáticos extremos, como furacões ou tempestades, podem danificar infraestruturas de energia, causando interrupções no fornecimento e aumento nos preços.</li></ul><p>3. <strong>Logística e Transporte:</strong></p><ul><li>Condições climáticas adversas, como tempestades de neve ou enchentes, podem impactar o transporte de mercadorias.</li><li>Isso pode acarretar atrasos na entrega de produtos, gerando aumento nos custos logísticos e, eventualmente, nos preços ao consumidor.</li></ul><p>4. <strong>Seguros e Riscos Financeiros:</strong></p><ul><li>Eventos climáticos extremos podem causar danos significativos a propriedades e culturas, resultando em perdas financeiras.</li><li>Empresas e agricultores podem enfrentar elevação nos custos de seguros, podendo repassar esses custos adicionais aos consumidores.</li></ul><p>5. <strong>Demandas de Consumo:</strong></p><ul><li>Mudanças climáticas podem influenciar o comportamento do consumidor. Por exemplo, temperaturas mais altas podem aumentar a demanda por produtos sazonais, impactando seus preços.</li></ul><p>Em resumo, as condições climáticas exercem influência em diversos setores da economia, desde a produção de alimentos até a geração de energia e a logística. Essas influências, por sua vez, podem provocar impactos diretos nos custos de produção e na oferta de bens e serviços, afetando os níveis gerais de preços e, consequentemente, a inflação.</p><h4>EL NIÑO:</h4><p>Nos últimos anos, observou-se um aumento na temperatura das águas do Oceano Pacífico equatorial, alcançando um ponto de anomalia em agosto (NOAA). Esse fenômeno, conhecido como “El Niño” (quente para uma carambola), possui impactos abrangentes em várias regiões do mundo, podendo influenciar a precipitação e a temperatura, fatores cruciais para o plantio e a colheita de diversas culturas.</p><p>Para avaliar os efeitos do El Niño nos preços dos alimentos no Brasil, procedemos à estimativa de um modelo de vetores autoregressivos de ordem p, ou simplesmente VAR(p), com base na referência do BCB (2019).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/279/1*3Ye3Ku1Rds45xlni5L52Aw.png" /></figure><p>onde:</p><ul><li>y_t = (\pi^{AD}, h_t, \pi_t^<em>*, ONI_t^*</em>)</li><li>\pi^{AD} refere-se à taxa de inflação medida pelo IPCA, subgrupo alimentação no domicílio</li><li>h_t = o hiato do produto medido pela função de produção</li><li>\pi_t^* = a inflação externa, medida pelo Índice de Commodities</li><li>ONI_t^* = o Oceanic Niño Index (ONI), transformado como (ONI_t + 0,5)²</li><li>z_t = constantes e dummies sazonais</li></ul><p>Vamos ao código:</p><p>Caso não tenha os pacotes instalados, aqui estão os códigos de instalação para Jupyter Notebook:</p><pre># Pacotes<br><br># !pip install sidrapy<br># !pip install python-bcb<br># !pip install linearmodels<br># !pip install openpyxl<br># !pip install ipeadatapy<br><br># Bibliotecas<br>from bcb import sgs<br>import pandas as pd<br>import numpy as np<br>import sidrapy as sidra<br>import ipeadatapy as ipea<br>from functools import reduce<br>from linearmodels.iv import IV2SLS<br>import statsmodels.formula.api as smf<br>import warnings<br>warnings.filterwarnings(&quot;ignore&quot;)</pre><h4><strong>1.0 IPCA</strong></h4><p>Como de costume, aqui obtemos os dados referentes ao IPCA através do velho SIDRA</p><pre># Obtendo os dados referentes ao IPCA através do velho SIDRA<br>ipca_raw = list(<br>    map(<br>        lambda tabela, variavel : (<br>            sidra.get_table(<br>                table_code = tabela,<br>                territorial_level= &#39;1&#39;,<br>                ibge_territorial_code= &#39;all&#39;,<br>                variable = variavel,<br>                classifications = {<br>                    &#39;315&#39;: &#39;7171&#39;<br>                    },<br>                period = &#39;all&#39;,<br>                header = &#39;n&#39;<br>                )<br>            ),<br>        [&#39;655&#39;, &#39;2938&#39;, &#39;1419&#39;, &#39;7060&#39;],<br>        [&#39;all&#39;, &#39;63&#39;, &#39;63&#39;, &#39;63&#39;]<br>    )<br>)<br>ipca_raw</pre><p>Organizando os dados obtidos, selecionando as colunas que realmente importam</p><pre>ipca = (<br>    pd.concat(<br>        # Concatenamos e atribuímos nomes aos níveis do índice<br>        objs=ipca_raw,<br>        names=[&#39;tabela&#39;, &#39;linha&#39;]<br>    )<br>    .reset_index()<br>    # Filtramos somente pelas colunas de data e valor do IPCA  <br>    .filter(items=[&#39;D2C&#39;, &#39;V&#39;], axis=&#39;columns&#39;)<br>    # Aqui convertemos a data em datetime e IPCA em ponto flutuante (float)<br>    .assign(<br>        data=lambda x: pd.to_datetime(x[&#39;D2C&#39;], format=&#39;%Y%m&#39;),<br>        valor=lambda x: x[&#39;V&#39;].astype(float)<br>    )<br>    .filter(items=[&#39;data&#39;, &#39;valor&#39;], axis=&#39;columns&#39;)<br>    .rename(columns={&#39;data&#39;: &#39;date&#39;, &#39;valor&#39;: &#39;ipca&#39;})<br>)<br>ipca</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/147/1*7Ll1c-tBhjQpI6yE5mlk9w.png" /></figure><h4><strong>1.2 Índice de Commodities x Taxa de Câmbio</strong></h4><p><strong>Interligação entre ambas</strong>:</p><p>A relação entre esse índice e a Média da Taxa de Câmbio de Compra Livre revela como as oscilações nos preços das commodities agropecuárias estão conectadas às variações na taxa de câmbio na qual o dólar americano pode ser adquirido de forma livre. Isso é significativo porque influencia a competitividade das exportações agrícolas brasileiras, já que as flutuações na taxa de câmbio afetam os custos e lucros dos produtores e exportadores.</p><p>Aqui, reunimos dados de:</p><p>- <strong>Índice de Commodities da Agropecuária do Brasil (em dólares americanos)</strong></p><p>Atua como um indicador que mensura as alterações nos preços de alimentos e produtos relacionados à agricultura. Ele reflete se esses preços estão ascendendo ou declinando ao longo do tempo. Esse indicador é valioso para compreender como fatores como o clima, oferta e demanda impactam o custo dos alimentos que consumimos. Se o índice aumenta, pode indicar que os alimentos estão mais caros, enquanto uma diminuição sugere que os alimentos estão mais acessíveis.</p><p>- <strong>Média da Taxa de Câmbio Livre (Compra) de Dólar Americano, em uma base mensal</strong></p><p>Indica a quantidade da moeda local necessária para adquirir um dólar americano. Se a taxa estiver elevada, a moeda local é menos robusta em comparação com o dólar, encarecendo os produtos importados. Se estiver baixa, a moeda local é mais robusta, o que pode resultar em produtos importados mais acessíveis. Essa taxa é influenciada por fatores como taxas de juros, inflação e condições econômicas globais, desempenhando um papel crucial no comércio internacional e nas transações financeiras entre países.</p><pre>ind_dolar_comm = (<br>    sgs.get({<br>        &#39;tc_dolar&#39;: 3697, <br>        &#39;agro_commod&#39;: 29041}, <br>        start = &#39;1998-01-01&#39;)<br>    .agg({<br>        &#39;tc_dolar&#39;: lambda x: np.mean(x),<br>        &#39;agro_commod&#39;: lambda x: np.mean(x)<br>    })<br>    .reset_index()<br>    .dropna()<br>    .rename(columns= {&#39;Date&#39;: &#39;date&#39;})<br>)<br>ind_dolar_comm</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/221/1*OYpYGzBAlr77o_q1jn83uw.png" /></figure><h4>1.3 Hiato do Produto</h4><p>O hiato do produto atua como um indicador essencial na economia, avaliando se ela está operando em um nível “aquecido” ou “resfriado”. O PIB potencial representa o desempenho máximo sem causar inflação. Quando o PIB real ultrapassa esse limite, indica uma economia em ritmo acelerado, podendo resultar em inflação. Se fica aquém do potencial, sinaliza uma economia operando abaixo da capacidade total.</p><p>Ou seja, ele é vital para os economistas verificarem se a economia está equilibrada, evitando excesso (como desemprego) ou pressão (como inflação) e governos usam essas informações para tomar decisões e manter o equilíbrio econômico.</p><pre># Obtendo o Hiato do Produto pelo site do Senado Federal<br>hiato_produto = (<br>    pd.read_excel(&#39;https://www12.senado.leg.br/ifi/dados/arquivos/estimativas-do-hiato-do-produto-ifi/@@download/file/estimativas-do-hiato-do-produto-ifi.xlsx&#39;,<br>    skiprows=1)<br>    # Aqui convertemos a coluna &#39;Trim-Ano&#39; em um índice de período (trimestre) usando pd.PeriodIndex<br>    .assign(date=lambda x: pd.to_datetime(x[&#39;Trim-Ano&#39;], format=&#39;%Y%m&#39;),<br>            # Convertemos a coluna &#39;Hiato&#39; para float e arredondamos para duas casas decimais<br>            hiato=lambda x: x[&#39;Hiato&#39;].astype(float).round(2))<br>    .loc[:, [&#39;date&#39;, &#39;hiato&#39;]]<br>)<br>hiato_produto</pre><h4><strong>1.4 Ocean Nino Index (ONI)</strong></h4><p>Agora, você vai compreender como esse fenômeno impacta os alimentos em milhões de pratos no Brasil.</p><p>O Ocean Niño Index (ONI) avalia as mudanças nas temperaturas da superfície do mar no Oceano Pacífico equatorial central, sendo uma medida crucial para monitorar El Niño e La Niña.</p><ul><li>ONI positivo indica El Niño, com temperaturas do mar acima do normal.</li><li>ONI negativo sugere La Niña, com temperaturas do mar mais frias.</li></ul><p><strong>Resumo:</strong></p><p>Essas variações influenciam o clima global, afetando chuvas, temperaturas e eventos climáticos extremos em várias partes do mundo, sendo uma ferramenta valiosa para prever e compreender os impactos desses fenômenos climáticos.</p><pre># Oceanic Nino Index (do site Climate Prediction Center)<br>oni = pd.read_csv(&#39;https://www.cpc.ncep.noaa.gov/products/analysis_monitoring/ensostuff/detrend.nino34.ascii.txt&#39;, sep = &#39;\s+&#39;)<br># Aqui garantimos que todas as entradas sejam tratadas como valores numéricos <br># O atributo errors=&#39;coerce&#39; faz com que quaisquer valores que não possam ser convertidos para numéricos sejam substituídos por NaN<br>oni = oni.apply(pd.to_numeric, errors = &#39;coerce&#39;)<br>oni.dropna(inplace = True)<br><br>def process_oni_data(df):<br>    # Criando a nova coluna DATE<br>    df[&#39;DATE&#39;] = pd.to_datetime(df[&#39;YR&#39;].astype(str) + &#39;-&#39; + df[&#39;MON&#39;].astype(str).str.zfill(2) + &#39;-01&#39;)<br>    <br>    # Excluindo as colunas YR e MON<br>    df = df.drop([&#39;YR&#39;, &#39;MON&#39;], axis=1)<br>    <br>    # Organizando as colunas<br>    df = df[[&#39;DATE&#39;, &#39;ANOM&#39;]]<br>    <br>    # Renomeando as colunas<br>    df = df.rename(columns={&#39;DATE&#39;: &#39;date&#39;, &#39;ANOM&#39;: &#39;nino&#39;})<br>    <br>    return df<br><br>oni = process_oni_data(oni)<br>oni</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/144/1*T2M7uk3KRoU05_mMUOH_qA.png" /></figure><p>Aqui temos que fazer um tratamento dos dados obtidos para que possamos utilizá-los no modelo que são:</p><ol><li>Renomear as colunas ‘YR’ e ‘MON’ para ‘Year’ e ‘Month’, respectivamente</li><li>Calcular a média móvel de 3 meses (rolling mean) da anomalia (ANOM), criando uma nova coluna chamada ‘oni’</li><li>Criar colunas ‘Quarter’ e ‘date_quarter’ com base nas colunas ‘Year’ e ‘Month’</li><li>Agrupar os dados por trimestre (date_quarter) e calcular a média da coluna ‘oni’ para cada trimestre</li><li>Criar uma nova coluna chamada ‘nino’ ao DataFrame e nessa coluna inserir o valor 1 se o valor da coluna ‘oni’ for maior que 0.5 e 0 caso contrário</li></ol><h4><strong>1.5 Unindo os Dataframes</strong></h4><p>A união faz a força!</p><pre># Criamos um dataframe (df_juncao) com todos os outros criados anteriormente<br>df_juncao = [ipca, ind_dolar_comm, hiato_produto, oni]<br><br># Usamos as funções &#39;reduce&#39; e &#39;merge&#39; para combinar os DataFrames com base na coluna &#39;date_quarter&#39;, usando uma junção à esquerda (how=&#39;left&#39;)<br># Em seguida, removemos as linhas com valores ausentes<br>df_consolidado = reduce(lambda left, right: pd.merge(left, right, on = &#39;date&#39;, how = &#39;left&#39;), df_juncao).dropna()<br><br># Criamos duas colunas ao DataFrame resultante, que representam o deslocamento de uma unidade temporal para trás das colunas &#39;tc_dolar&#39; e &#39;agro_commod&#39;<br>df_consolidado[&#39;tc_dolar_desloc&#39;] = df_consolidado[&#39;tc_dolar&#39;].shift(1)<br>df_consolidado[&#39;agro_commod_desloc&#39;] = df_consolidado[&#39;agro_commod&#39;].shift(1)<br>df_consolidado</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/511/1*yywDdhBVXR-tYeI8MvbKXQ.png" /></figure><h4>Observações:</h4><p>Você notou que foram criadas novas colunas, não vistas anteriormente:</p><ul><li><strong>tc_dolar:</strong></li></ul><p>Contém a diferença percentual (ou variação) do índice relacionado ao dólar. Essa coluna provavelmente indica como o valor do dólar em relação à moeda local está mudando ao longo do tempo. Se estiver positiva, sugere uma valorização do dólar em relação à moeda local; se estiver negativa, sugere uma desvalorização.</p><ul><li><strong>agro_commod:</strong></li></ul><p>Parece ser a diferença percentual (ou variação) de um índice relacionado ao setor agropecuário. Essa coluna provavelmente reflete as mudanças no desempenho ou condições do setor agropecuário ao longo do tempo. Se estiver positiva, sugere um aumento, e se estiver negativa, sugere uma diminuição nas condições ou desempenho do setor.</p><ul><li><strong>tc_dolar_desloc:</strong></li></ul><p>Contém os valores da coluna tc_dolar deslocados para cima por um período. Em outras palavras, cada valor em tc_dolar é o valor correspondente na coluna tc_dolar do período anterior.</p><ul><li><strong>agro_commod_desloc:</strong></li></ul><p>Contém os valores da coluna agro_commod deslocados para cima por um período. Cada valor em agro_commod é o valor correspondente na coluna agro_commod do período anterior.</p><h4><strong>1.6 Plot</strong></h4><pre>import seaborn as sns<br>import matplotlib.pyplot as plt<br><br># Criando uma nova coluna &#39;ano&#39; a partir da coluna &#39;date&#39;<br>df_consolidado[&#39;ano&#39;] = df_consolidado[&#39;date&#39;].dt.year<br><br># Organizando os dados por ano<br>df_consolidado_por_ano = df_consolidado.groupby(&#39;ano&#39;).mean(numeric_only=True)<br><br># Configurando o estilo dos plots usando seaborn<br>sns.set_theme(style=&#39;darkgrid&#39;)<br><br># Criando subplots com gráficos de linha<br>fig, axes = plt.subplots(nrows=2, ncols=3, figsize=(15, 8))<br><br># Plotando o IPCA<br>df_consolidado_por_ano[&#39;ipca&#39;].plot(ax=axes[0, 0], marker=&#39;o&#39;, linestyle=&#39;-&#39;, color=&#39;b&#39;)<br>axes[0, 0].set_title(&#39;IPCA&#39;)<br><br># Plotando a Taxa de Câmbio (Dólar USD)<br>df_consolidado_por_ano[&#39;tc_dolar&#39;].plot(ax=axes[0, 1], marker=&#39;o&#39;, linestyle=&#39;-&#39;, color=&#39;g&#39;)<br>axes[0, 1].set_title(&#39;Taxa de Câmbio (Dólar USD)&#39;)<br><br># Plotando o Índice de Commodities Agropecuárias<br>df_consolidado_por_ano[&#39;agro_commod&#39;].plot(ax=axes[0, 2], marker=&#39;o&#39;, linestyle=&#39;-&#39;, color=&#39;r&#39;)<br>axes[0, 2].set_title(&#39;Índice de Commodities Agropecuárias&#39;)<br><br># Plotando o Hiato do Produto<br>df_consolidado_por_ano[&#39;hiato&#39;].plot(ax=axes[1, 0], marker=&#39;o&#39;, linestyle=&#39;-&#39;, color=&#39;purple&#39;)<br>axes[1, 0].set_title(&#39;Hiato do Produto&#39;)<br><br># Adicionando o gráfico do ONI (Oceanic Niño Index)<br>df_consolidado_por_ano[&#39;nino&#39;].plot(ax=axes[1, 1], marker=&#39;o&#39;, linestyle=&#39;-&#39;, color=&#39;orange&#39;)<br>axes[1, 1].set_title(&#39;ONI (Oceanic Niño Index)&#39;)<br><br># Ajustando o layout<br>plt.tight_layout()<br><br># Exibindo os plots<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SqjNPndHWMfk954IYk64Pw.png" /></figure><h4><strong>1.8 Conclusão</strong></h4><p>Esses resultados indicam uma interconexão complexa entre fatores econômicos e climáticos, ressaltando a importância de considerar ambos os aspectos ao formular políticas e estratégias. Correlações específicas e padrões temporais podem ser explorados mais a fundo para compreender melhor as dinâmicas subjacentes e antecipar possíveis impactos.</p><h3><strong>2.0 Medidas de Ancoragem</strong></h3><p>A temática “expectativas ancoradas” no contexto econômico, significa que as projeções para a inflação permanecem próximas à meta, mesmo diante de eventos inesperados. Essa ancoragem facilita a ação do Banco Central ao lidar com pressões inflacionárias, tornando as intervenções menos custosas (pelo menos é o que se espera de BACEN independente).</p><p>Aqui faremos uma verificação da ancoragem de expectativas para diferentes horizontes, usando o Boletim Focus para extrair previsões de diversos indicadores, incluindo o IPCA, a principal medida de inflação no Brasil.</p><p>Expectativas ancoradas implicam que os valores projetados estejam próximos da meta de inflação ou permaneçam relativamente constantes ao longo do tempo, especialmente para o ano corrente, que influencia os horizontes futuros. No entanto, mudanças brutas (noffa) nas expectativas de IPCA indicam surpresas inflacionárias, resultando na perda da ancoragem.</p><p>Para medir a sensibilidade a surpresas inflacionárias, é necessário avaliar como variações nas expectativas para o ano atual impactam as projeções de prazos mais longos. Em um cenário de expectativas bem ancoradas, espera-se uma baixa relação entre as projeções de inflação de curto prazo e as de longo prazo, pois as primeiras refletiriam surpresas inflacionárias.</p><p>É aí que a abençoada Econometria entra, nos permitindo calcular essa sensibilidade com a ajuda do coeficiente \beta, de acordo com a equação abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/286/1*SmxICMEHIW3SVCEBGfWCzg.png" /></figure><p>onde h = 1, … , 4 é referente ao horizonte (anos) que constitui cada expectativa.</p><p>Isso indica que, quanto maior o coeficiente \beta menos ancoradas as expectativas e maior a resposta das expectativas de longo prazo a surpresas inflacionárias. O objetivo principal é evolução deste coeficiente ao longo do tempo, para obtermos as estimativas a partir de janelas móveis de 60 meses.</p><pre>from bcb import Expectativas<br>import pandas as pd<br>import numpy as np<br>import statsmodels.api as sm<br>from statsmodels.regression.rolling import RollingStore</pre><h4>2.1 Coletando os dados</h4><pre># Inicialização do objeto Expectativas<br>em = Expectativas()<br><br># Obtenção do endpoint para Expectativas Mercado Anuais<br>exp_ipca_endpoint = em.get_endpoint(&#39;ExpectativasMercadoAnuais&#39;)<br><br># Coleta da expectativa média do IPCA - taxa anual (Expectativas)<br>exp_ipca_raw = (<br>    exp_ipca_endpoint.query()<br>    # Aplicação de filtros<br>    .filter(<br>        exp_ipca_endpoint.baseCalculo == 0,<br>        exp_ipca_endpoint.Indicador == &#39;IPCA&#39;,<br>        exp_ipca_endpoint.Data &gt;= &#39;2002-01-01&#39;<br>    )<br>    # Execução da consulta e obtenção dos dados<br>    .collect()<br>)<br>exp_ipca_raw</pre><h4><strong>2.2 Filtragem e definição de horizontes</strong></h4><pre># Processamento adicional dos dados brutos da expectativa média do IPCA - taxa anual<br>exp_ipca_h = (<br>    exp_ipca_raw<br>    # Seleção de colunas relevantes<br>    .loc[:, [&#39;Data&#39;, &#39;DataReferencia&#39;, &#39;Mediana&#39;]]<br>    .assign(<br>        Data=lambda x: pd.to_datetime(x.Data),  # Conversão da coluna Data para o formato datetime<br>        h=lambda x: np.select([  # Criação dos horizontes com base na data de referência<br>            x[&#39;Data&#39;].dt.year == pd.to_numeric(x[&#39;DataReferencia&#39;]),<br>            x[&#39;Data&#39;].dt.year == pd.to_numeric(x[&#39;DataReferencia&#39;]) - 1,<br>            x[&#39;Data&#39;].dt.year == pd.to_numeric(x[&#39;DataReferencia&#39;]) - 2,<br>            x[&#39;Data&#39;].dt.year == pd.to_numeric(x[&#39;DataReferencia&#39;]) - 3,<br>            x[&#39;Data&#39;].dt.year == pd.to_numeric(x[&#39;DataReferencia&#39;]) - 4<br>        ],<br>        # Horizontes de 0 a 4<br>        [&#39;h0&#39;, &#39;h1&#39;, &#39;h2&#39;, &#39;h3&#39;, &#39;h4&#39;]),<br>        Year=lambda x: x[&#39;Data&#39;].dt.year,  # Extração do ano<br>        Month=lambda x: x[&#39;Data&#39;].dt.month  # Extração do mês<br>    )<br>    .loc[lambda x: x[&#39;h&#39;] != &#39;0&#39;]  # Filtragem dos dados onde a coluna &#39;h&#39; não é igual a &#39;0&#39;<br>)<br>exp_ipca_h</pre><h4><strong>2.3 Calculando a média do mês</strong></h4><pre># Agrupa, resume e transforma o DataFrame exp_ipca_h<br>expec_ipca = (<br>    exp_ipca_h<br>    # Agrupa por ano, mês e data de referência<br>    .groupby([&#39;Year&#39;, &#39;Month&#39;, &#39;DataReferencia&#39;, &#39;h&#39;])<br>    .agg({&#39;Mediana&#39;: &#39;mean&#39;})  # Cálculo da média<br>    .reset_index()  # Reinicialização do índice<br>    .rename(columns={&#39;median&#39;: &#39;value&#39;})<br>    .assign(data=lambda x: pd.to_datetime(x[[&#39;Year&#39;, &#39;Month&#39;]].assign(Day=1)))  # Criação de uma coluna de data a partir das colunas de ano e mês<br>    .loc[:, [&#39;data&#39;, &#39;h&#39;, &#39;Mediana&#39;]]  # Seleção das colunas relevantes<br>)<br>expec_ipca</pre><h4><strong>2.5 Cálculo da diferença (delta) entre o tempo t e t-1 para as expectativas do IPCA</strong></h4><pre>exp_ipca_diff = (<br>    expec_ipca<br>    # Transforma as observações de horizonte em colunas<br>    .pivot(index=&#39;data&#39;, columns=&#39;h&#39;, values=&#39;Mediana&#39;)  # Correção: &#39;Mediana&#39; para &#39;value&#39;<br>    .diff()  # Calcula a diferença (delta)<br>    .dropna()  # Remove os valores NaN<br>)<br>exp_ipca_diff</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/337/1*WHVr1nKhyNQW9q556yaGjg.png" /></figure><h4><strong>2.6 Criando o modelo</strong></h4><p>Usamos a função RollingOLS do statsmodels para obter o coeficiente B(símbolo) em janelas deslizantes de 60 meses</p><pre># Definição das variáveis dependentes e independentes<br>x = exp_ipca_diff[&#39;h0&#39;]  # Variável independente<br>y_cols = [&#39;h1&#39;, &#39;h2&#39;, &#39;h3&#39;, &#39;h4&#39;]  # Variáveis dependentes<br><br>from statsmodels.regression.rolling import RollingOLS<br><br># Tamanho da janela para as regressões<br>k = 60<br><br># Lista para armazenar os resultados das regressões<br>results = []<br><br># Ajustando os modelos de regressão<br>for col in y_cols:<br>    # Formulação da regressão<br>    formula = f&quot;{col} ~h0&quot;<br><br>    # Modelo RollingOLS<br>    model_rolling = RollingOLS.from_formula(<br>        formula=formula,<br>        data=exp_ipca_diff,<br>        window=k<br>    )<br><br>    # Cálculo das regressões em janelas deslizantes<br>    rolling_res = model_rolling.fit()<br><br>    # Armazenamento dos resultados das regressões<br>    results.append(rolling_res.params)<br><br># Agrupa os resultados das regressões em um DataFrame<br>results_df = pd.concat(results, axis=0, keys=y_cols)<br><br># Captura do coeficiente beta das regressões<br>beta = (<br>    results_df<br>    .reset_index()<br>    .rename(columns={&#39;level_0&#39;: &#39;variables&#39;, &#39;h0&#39;: &#39;beta&#39;})<br>    .dropna()<br>    .loc[:, [&#39;data&#39;, &#39;variables&#39;, &#39;beta&#39;]]<br>    .reset_index(drop=True)<br>)<br><br>beta</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/203/1*e5AJ4PM1YKRaYrFM0UDfNA.png" /></figure><h4><strong>2.7 Plotando</strong></h4><p>Usaremos a biblioteca Plotnine baseada na gramática de gráficos do R (ggplot2). E os motivos? É porque ela oferece uma abordagem declarativa para a criação de gráficos, nos permitindo construir visualizações complexas com código conciso onde as bibliotecas nativas do Python não nos permiten.</p><p>Você vai entender ao final quando separarmos os períodos de presidência no BACEN.</p><pre># !pip install plotnine <br>from plotnine import *<br><br># Criamos dicionário de cores<br>colors = {<br>    &#39;blue&#39;: &#39;#282f6b&#39;,<br>    &#39;yellow&#39;: &#39;#eace3f&#39;,<br>    &#39;red&#39;: &#39;#b22200&#39;,<br>    &#39;gray&#39;: &#39;#666666&#39; <br>}<br><br># Criação do gráfico utilizando ggplot<br>(<br>ggplot(beta, aes(x=&#39;data&#39;, y=&#39;beta&#39;, color=&#39;variables&#39;)) +  # Mapeamento de variáveis para eixo x, y e cor<br>geom_line(size=0.7) +  # Adição da camada de linha com espessura 0.7<br>scale_colour_manual(values=list(colors.values())) +  # Personalização das cores manualmente<br>scale_x_date(date_breaks=&quot;1 year&quot;, date_labels=&quot;%Y&quot;) +  # Configuração do eixo x para exibir intervalos anuais<br>geom_vline(xintercept=[&#39;2010-12-31&#39;, &#39;2016-06-09&#39;, &#39;2019-02-28&#39;], linetype=&#39;dotted&#39;, size=[1, 1, 1]) +  # Adição de linhas verticais pontilhadas<br>annotate(<br>    geom=&#39;text&#39;,<br>    x=&#39;2008-02-09&#39;,<br>    y=-0.05,<br>    label=&#39;Henrique \n Meirelles&#39;,<br>    size=10) +  # Adição de texto explicativo na posição especificada<br>annotate(<br>    geom=&#39;text&#39;,<br>    x=&#39;2013-06-09&#39;,<br>    y=-0.05,<br>    label=&#39;Alexandre \n Tombini&#39;,<br>    size=10) +  # Adição de texto explicativo na posição especificada<br>annotate(<br>    geom=&#39;text&#39;,<br>    x=&#39;2018-01-01&#39;,<br>    y=-0.05,<br>    label=&#39;Ilan \n Goldfajn&#39;,<br>    size=10) +  # Adição de texto explicativo na posição especificada<br>annotate(<br>    geom=&#39;text&#39;,<br>    x=&#39;2020-06-01&#39;,<br>    y=-0.05,<br>    label=&#39;Roberto \n Campos&#39;,<br>    size=10) +  # Adição de texto explicativo na posição especificada<br>labs(<br>    title=f&quot;Desancoragem das Expectativas de Inflação (IPCA) \n Janela Móvel de {k} meses&quot;,  # Adição de título ao gráfico<br>    color=&#39;&#39;,<br>    x=&#39;&#39;,<br>    y=&#39;&#39;,<br>    caption=&#39;Elaborado por Jonatas A. Liberato&#39;) +  # Adição de legenda<br>theme_minimal() +  # Aplicação de tema minimalista<br>theme(figure_size=(14, 6))  # Configuração do tamanho da figura<br>)<br></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/969/1*-igykFEe9qXU5lRBGxb4qQ.png" /></figure><h4><strong>2. 8 Conclusão</strong></h4><p>A análise do gráfico revela alguns pontos importantes. Destaca-se a estabilidade do coeficiente durante o mandato de Ilan Goldfajn à frente da autoridade monetária. Além disso, apesar de um pico no final de 2019, não ocorreu uma desancoragem significativa das expectativas de inflação durante o período de Campos Neto. Desde o final do mandato de Tombini, o coeficiente tem mantido um controle razoável.</p><p>A observação original do FMI sobre a suscetibilidade das expectativas de curto prazo a ruídos conjunturais é corroborada pelo gráfico, mostrando uma relativa estabilidade nas expectativas para t+2 e t+3. Qualquer quebra nessa estabilidade implicaria desafios para a própria ideia da meta de inflação, considerando a dificuldade em fazer previsões precisas para prazos superiores a 12 meses.</p><p>Já no periodo Campos Neto, houve muito ruído devido à chegada da Pandemia em 2020, depois que foi adotada a independência do BACEN em 2021, tivemos uma certa etabilidade.</p><h3><strong>3.0 Juro Real x Juro Neutro</strong></h3><p>A questão mais polêmica de todos os tempos (exagerando).</p><p>Aqui destacamos a relevância do juro real e da taxa de juros neutra na orientação da política monetária pelo Banco Central. Na abordagem contemporânea, a política é considerada <strong>expansiva</strong> quando o <em>*juro real*</em> está <em>*abaixo da taxa neutra*</em> e <strong>contracionista</strong> quando está acima.</p><p>A taxa neutra representa a e<strong>stabilidade da inflação </strong>ao longo do tempo, sendo uma variável não observável e sujeita a estimativas.</p><p>É aí que a responsabilidade do Banco Central vem à tona. Pois deve se utilizar de ferramentas afim de manter o juro real próximo à taxa neutra para atingir o objetivo de controle da inflação.</p><h4><strong>Conceitos</strong></h4><p><strong>Juro Real:</strong></p><p>É a taxa de juros que leva em conta os efeitos inflacionários, um exemplo:</p><p>Se um banco oferece 5% de juros e a inflação é de 3%, o juro real seria de 2%.</p><p><strong>Como obtemos:</strong></p><p>Em conceito mais técnico, o juro real é o <strong>juro real ex-ante</strong>, que pode ser obtido a partir do juro do <strong>swap DI 360</strong> deflacionado pela <em>expectativa de inflação para os próximos 12 meses</em></p><p><strong>Por que é importante:</strong></p><p>Ajuda nos ajuda a entender o ganho ou a perda real do dinheiro, considerando o aumento ou queda dos preços.</p><p>—</p><p><strong>Juro Neutro:</strong></p><p>É a taxa de juros que não tem o poder de ‘acelerar ou frear’ a economia, que corresponde a um equilíbrio. Por exemplo: &lt;br&gt;</p><p>Se a taxa d juros em em torno de 6% e a economia está em expansão, dizemos que a taxa neutra é esses 6%.</p><p><strong>Como obtemos:</strong></p><p>Segue as diretrizes definidas no <em>*Relatório de Inflação*</em>, dada pela <em>*Selic esperada para t+3 (3 anos à frente)*</em> e <em>*deflacionada pela inflação esperada para t+3*</em>.</p><p><strong>Por que é importante:</strong></p><p>Nos permite avaliar se a taxa de juros está estimulando demais a economia local(ocasionando o riso de inflação) ou a desestimulando (recessão).</p><h4><strong>3.1 Funções para ajuste de datas</strong></h4><p>A função `subtrai_data` cria uma espécie de “máquina do tempo”, subtraindo 10 anos da data atual e retornando o resultado como uma string no formato “YYYY-MM-DD”. Enquanto isso, a função `data_refer` calcula a data de referência, adicionando 3 anos à data de observação fornecida, retornando esses anos como uma lista de strings.</p><pre>from bcb import Expectativas<br>from datetime import datetime<br>from datetime import timedelta<br><br># Função que subtrai 10 anos da data atual<br>def subtrai_data(days):<br>    # Obtém a data atual, subtraindo 10 anos<br>    sub_year_days = pd.to_datetime(datetime.today().strftime(&#39;%Y-%m-%d&#39;)) - timedelta(days=10 * 365)<br>    # Formata a data para o padrão &quot;YYYY-MM-DD&quot;<br>    sub_year_days = sub_year_days.strftime(&quot;%Y-%m-%d&quot;)<br>    return sub_year_days<br><br><br># Função para calcular uma data de referência 3 anos à frente da data de entrada<br>def data_refer(date):<br>    # Obtém o ano da data de entrada e adiciona 3 anos<br>    years = pd.DatetimeIndex(date).year.values + 3<br>    # Converte para uma lista de strings<br>    years = [str(i) for i in years]<br>    return years</pre><h4><strong>3.2 Conexão à API do BACEN</strong></h4><p>Aqui nos conectamos a uma API de Expectativas de Mercado Anuais usando a biblioteca `python-bcb` que coleta informações sobre as expectativas do Índice Nacional de Preços ao Consumidor Amplo (IPCA) para os últimos 10 anos. São aplicados filtros específicos, como indicador “IPCA”, data superior a 10 anos atrás, e base de cálculo igual a zero.</p><p>Os dados brutos (`ipca_raw`) são então filtrados novamente para incluir apenas as observações cuja data de referência seja 3 anos à frente da data de observação (`data_refer`). As colunas são renomeadas para você, pessoa querida, melhor entender e algumas colunas são removidas para simplificar a estrutura (`ipca`).</p><pre># Conecta com a API das Expectativas de Mercado Anuais<br>em = Expectativas()<br>exp_merc = em.get_endpoint(&#39;ExpectativasMercadoAnuais&#39;)<br><br># Coleta dados brutos sobre as expectativas de IPCA anuais<br>ipca_raw = (<br>    exp_merc.query()<br>    .filter(exp_merc.Indicador == &quot;IPCA&quot;)<br>    .filter(exp_merc.Data &gt;= subtrai_data(10 * 365))  # Filtra dados dos últimos 10 anos<br>    .filter(exp_merc.baseCalculo == 0)<br>    .select(exp_merc.Data, exp_merc.Mediana, exp_merc.Minimo, exp_merc.Maximo, exp_merc.DataReferencia)<br>    .collect()<br>)<br><br># Filtra os dados para a data de referência 3 anos à frente da data de observação<br>ipca = ipca_raw[(<br>    ipca_raw<br>    .DataReferencia == data_refer(ipca_raw[&#39;Data&#39;])<br>)]<br><br># Renomeia colunas e ajusta o DataFrame final<br>ipca = ipca.rename(columns={&#39;Data&#39;: &#39;date&#39;,<br>                            &#39;Mediana&#39;: &#39;ipca_e&#39;,<br>                            &#39;Minimo&#39;: &#39;ipca_e_min&#39;,<br>                            &#39;Maximo&#39;: &#39;ipca_e_max&#39;}).drop([&#39;DataReferencia&#39;], axis=1)</pre><p>Aqui seguimos uma abordagem semelhante àquela aplicada ao IPCA, mas agora foca nas expectativas da Taxa Selic. Ele coleta dados brutos (`selic_raw`) da API, filtrando as expectativas da Selic para os últimos 10 anos, aplicando os mesmos critérios de indicador, data e base de cálculo.</p><p>Os dados brutos são então filtrados novamente para incluir apenas as observações cuja data de referência seja 3 anos à frente da data de observação. As colunas são renomeadas para melhor compreensão e algumas são removidas para simplificar a estrutura (`selic`).</p><h4><strong>3.3 Obtenção dos Dados e organização</strong></h4><pre># Coleta dados brutos sobre as expectativas da taxa Selic anuais<br>selic_raw = (<br>    exp_merc.query()<br>    .filter(exp_merc.Indicador == &quot;Selic&quot;)<br>    .filter(exp_merc.Data &gt;= subtrai_data(10 * 365))  # Filtra dados dos últimos 10 anos<br>    .filter(exp_merc.baseCalculo == 0)<br>    .select(exp_merc.Data, exp_merc.Mediana, exp_merc.Minimo, exp_merc.Maximo, exp_merc.DataReferencia)<br>    .collect()<br>)<br><br># Filtra os dados para a data de referência 3 anos à frente da data de observação<br>selic = selic_raw[(<br>    selic_raw<br>    .DataReferencia == data_refer(selic_raw[&#39;Data&#39;])<br>)]<br><br># Renomeia colunas e ajusta o DataFrame final para dados da taxa Selic<br>selic = selic.rename(columns={&#39;Data&#39;: &#39;date&#39;,<br>                              &#39;Mediana&#39;: &#39;selic_e&#39;,<br>                              &#39;Minimo&#39;: &#39;selic_e_min&#39;,<br>                              &#39;Maximo&#39;: &#39;selic_e_max&#39;}).drop([&#39;DataReferencia&#39;], axis=1)</pre><p>Criamos um DataFrame chamado `df_unificado` ao combinar (merge) os dados do IPCA (`ipca`) e da Taxa Selic (`selic`). A junção é realizada utilizando a coluna ‘date’ como chave de ligação, considerando apenas as observações presentes em ambas as tabelas (inner join). Essa fusão permite ter em um único DataFrame as informações tanto sobre as expectativas do IPCA quanto da Taxa Selic, compartilhando a mesma coluna de data (‘date’).</p><pre># Combinação (merge) dos DataFrames de IPCA e Selic para criar o DataFrame df_unificado<br>df_unificado = pd.merge(left=ipca,<br>                        right=selic,<br>                        how=&#39;inner&#39;,<br>                        on=&#39;date&#39;)</pre><h4><strong>3.4 Função de Fisher</strong></h4><p>Em economia, a “função de Fisher” refere-se a duas ideias principais associadas ao economista Irving Fisher:</p><p>1. <strong>Equação de Fisher para a Taxa de Juros Nominal e Real:</strong></p><p>- Fisher propôs uma equação que relaciona a taxa de juros nominal, a taxa de inflação e a taxa de juros real. A equação é geralmente expressa como \(1 + i = (1 + r) \times (1 + \pi)\), onde:</p><ul><li>\(i\) é a taxa de juros nominal,</li><li>\(r\) é a taxa de juros real (ajustada pela inflação),</li><li>\(\pi\) é a taxa de inflação.</li></ul><p>2. <strong>Fórmula de Fisher para o Ajuste Monetário:</strong></p><ul><li>func_fisher também desenvolveu a “fórmula de Fisher” para ajuste monetário. Ela é usada para calcular a quantidade de dinheiro real após levar em consideração a inflação. A fórmula é \(M \times V = P \times Q\), onde:</li><li>\(M\) é a oferta de dinheiro,</li><li>\(V\) é a velocidade do dinheiro (frequência com que o dinheiro muda de mãos),</li><li>\(P\) é o nível de preços,</li><li>\(Q\) é a quantidade de bens e serviços.</li></ul><p>A função de Fisher é crucial para entender as relações entre taxas de juros nominais, taxas de inflação e taxas de juros reais, desempenhando um papel significativo na teoria econômica monetária e na análise das condições financeiras de uma economia.</p><pre># Função para calcular a taxa de juros neutra usando a fórmula de Fisher<br>def func_fisher(juros, inflacao):<br>    # Fórmula de Fisher para calcular a taxa de juros neutra<br>    juros_neutro = ((((1 + (juros / 100)) / (1 + inflacao / 100))) - 1) * 100<br>    return juros_neutro</pre><h4><strong>3.5 Taxa de Juros Neutros</strong></h4><p>Neste trecho do código, o objetivo é calcular e adicionar três novas colunas representando o juro neutro em diferentes cenários (mediano, mínimo e máximo). Isso é feito utilizando a função `fisher` para ajustar a Taxa Selic pela expectativa do IPCA.</p><p>Além disso, há a reorganização do DataFrame para facilitar análises futuras, incluindo a definição da coluna de data como índice e o reamostramento para média mensal. Esse processo visa suavizar os dados e permitir uma compreensão mais clara das tendências mensais no juro neutro em relação às expectativas de IPCA e Selic.</p><pre># Calcula as taxas de juros neutras e adiciona ao DataFrame df_unificado<br>df_unificado = df_unificado.assign(neutro=lambda x: func_fisher(x.selic_e, x.ipca_e),<br>                                   neutro_min=lambda x: func_fisher(x.selic_e_min, x.ipca_e_min),<br>                                   neutro_max=lambda x: func_fisher(x.selic_e_max, x.ipca_e_max))<br><br># Define o índice como data, converte para o formato de período diário e realiza a média mensal<br>df_unificado = df_unificado.set_index(pd.to_datetime(df_unificado[&#39;date&#39;]).dt.to_period(&#39;D&#39;)).drop([&#39;date&#39;], axis=1)<br>df_unificado = df_unificado.resample(&#39;M&#39;).mean()</pre><h4><strong>3.6 Taxa Referencial</strong></h4><p>Aqui coletamos os dados sobre a Taxa Referencial relacionada a swaps DI pré-fixados com vencimento em até 360 dias, obtidos da série temporal ‘BMF12_SWAPDI36012’. Renomeamos a coluna para ‘swaps’ e, em seguida, o índice do DataFrame é ajustado para representar períodos mensais.</p><p>O objetivo principal é obter informações sobre as taxas de juros referentes a esses swaps DI pré-fixados para análises subsequentes. A formatação do índice para representar períodos mensais simplifica a compreensão das tendências ao longo do tempo.</p><pre># Coleta dados sobre a taxa referencial - swaps - DI pré-360 dias<br>swaps = (<br>    ip.timeseries(&#39;BMF12_SWAPDI36012&#39;)<br>    .rename(columns={&#39;VALUE ((% a.a.))&#39;: &#39;swaps&#39;})[[&#39;swaps&#39;]]<br>)<br><br># Define o índice como período mensal<br>swaps = swaps.set_index(swaps.index.to_period(&#39;M&#39;))</pre><h4><strong>3.7 Expectativas</strong></h4><p>Ajustamos os dados relacionados à expectativa de inflação para um período de 12 meses. Convertemos data onvertida para o formato de datetime, e o DataFrame é indexado por essa coluna transformada em um período diário. A coluna referente à mediana da expectativa de inflação ‘Mediana’ é renomeada para `’ipca_exp_12m’`. A seleção é feita para incluir apenas a coluna renomeada, resultando em um novo DataFrame contendo as expectativas de inflação para 12 meses. Por fim, utilizamos o método `resample`, os dados são mensalizados através da média dos valores, agregando as informações para representar a média mensal das expectativas de inflação.</p><pre># Obtém as expectativas de inflação para 12 meses<br>ipca_expec = em.get_endpoint(&#39;ExpectativasMercadoInflacao12Meses&#39;)<br><br># Coleta dados brutos sobre as expectativas de IPCA suavizadas para 12 meses<br>ipca_exp_12meses_raw = (<br>    ipca_expec.query()<br>    .filter(ipca_expec.Suavizada == &#39;S&#39;, ipca_expec.baseCalculo == 0, ipca_expec.Indicador == &#39;IPCA&#39;)<br>    .collect()<br>)<br><br># Ajusta o DataFrame com data como índice e renomeia a coluna<br>ipca_exp_12meses = (<br>    ipca_exp_12meses_raw<br>    .set_index(pd.to_datetime(ipca_exp_12meses_raw[&#39;Data&#39;]).dt.to_period(&#39;D&#39;))<br>    .rename(columns={&#39;Mediana&#39;: &#39;ipca_exp_12m&#39;})<br>    [[&#39;ipca_exp_12m&#39;]]<br>)<br><br># Mensaliza os dados com base na média dos valores<br>ipca_exp_12meses = ipca_exp_12meses.resample(&#39;M&#39;).mean()</pre><p>O trecho de código junta as expectativas de inflação para 12 meses com os dados dos swaps DI pré-fixados. Em seguida, calculamos a taxa de juros real usando a função `fisher`, ajustando as taxas de swaps pela expectativa de inflação. O objetivo é combinar informações sobre inflação e taxas de juros para análises subsequentes, fornecendo uma visão mais abrangente das condições do mercado financeiro.</p><p>Aqui usamos o termo ex_ante, então cabe uma breve explicação típica de economês:</p><p>1. <strong>Ex Ante:</strong></p><ul><li><em>“Significado:*</em> Em latim, “<em>ex ante</em>” significa “antes do evento” ou “antes do fato”.</li><li><em>*Explicação:*</em> Quando falamos em termos ex ante, estamos nos referindo a análises, decisões ou previsões feitas antes de um evento ocorrer. É como se fosse uma visão prévia ou uma avaliação antecipada baseada em informações disponíveis até aquele momento.</li><li><em>*Exemplo:*</em> Antes de investir dinheiro em ações, alguém pode fazer uma análise ex ante considerando fatores como o desempenho passado da empresa, as condições do mercado e as previsões econômicas.</li></ul><p>2. <strong>Ex Post:</strong></p><ul><li><em>*Significado:*</em> Em latim, “ex post” significa “depois do evento” ou “depois do fato”.</li><li><em>*Explicação:*</em> Quando nos referimos a algo ex post, estamos falando sobre análises, avaliações ou decisões feitas após a ocorrência de um evento. Nesse caso, já se tem conhecimento dos resultados e das condições reais que se desdobraram.</li><li><em>*Exemplo:*</em> Após investir em ações, uma pessoa pode fazer uma análise ex post para avaliar como as ações se saíram, comparando os resultados reais com as expectativas iniciais.</li></ul><p>Em resumo, “ex ante” refere-se ao que é feito antes de um evento acontecer, enquanto “ex post” refere-se ao que é feito após o evento ter ocorrido. Ambos os termos são frequentemente utilizados em diversas áreas, como finanças, economia e planejamento, para descrever diferentes abordagens de análise temporal.</p><h4><strong>3.8 Criando o DataFrame</strong></h4><pre># Combina os DataFrames ipca_exp_12meses e swaps para criar o DataFrame ex_ante<br>ex_ante = ipca_exp_12meses.join(swaps)<br><br># Adiciona a coluna juro_real usando a função fisher<br>ex_ante = ex_ante.assign(juro_real=lambda x: func_fisher(x.swaps, x.ipca_exp_12m))</pre><p>O código cria um DataFrame `df_juros` ao unir (`join`) os dados de `df_unificado` e `ex_ante`. Nós selecionamos as colunas de interesse para isso e as renomeamos; Depois, ajustamos o índice do DataFrame para representar carimbos temporais mensais. O objetivo é consolidar as informações sobre juros reais e juros neutros para análises posteriores, proporcionando uma visão mais abrangente das condições do mercado financeiro.</p><pre># Combina os DataFrames df_unificado e ex_ante para criar o DataFrame df_juros<br>df_juros = (<br>    df_unificado<br>    .join(ex_ante)<br>    [[&#39;juro_real&#39;, &#39;neutro&#39;]]<br>    .rename(columns={&#39;juro_real&#39;: &#39;Juro Real&#39;,<br>                     &#39;neutro&#39;: &#39;Juro Neutro&#39;})<br>)<br><br># Converte o índice para o formato de carimbo de data-tempo com frequência mensal<br>df_juros.index = df_juros.index.to_timestamp(freq=&#39;M&#39;)</pre><p>Transformamos `df_juros` em um formato longo, criando um novo DataFrame chamado `df_juros_long`com o uso da função `melt` e mantemos a coluna de data (‘date’) como índice, enquanto as colunas ‘Juro Real’ e ‘Juro Neutro’ são transformadas em uma variável chamada ‘variable’, e os valores correspondentes são agrupados em uma coluna chamada ‘values’. Essa reestruturação facilita a visualização e análise dos dados em certos contextos.</p><pre># Transforma o DataFrame df_juros de formato largo para longo usando a função melt<br>df_juros_long = pd.melt(df_juros.reset_index(),<br>                        id_vars=&#39;date&#39;,<br>                        value_vars=[&#39;Juro Real&#39;, &#39;Juro Neutro&#39;],<br>                        var_name=&#39;variable&#39;,<br>                        value_name=&#39;values&#39;)</pre><h4><strong>3.9 Plotando</strong></h4><p>Hora do plot!</p><p>Definimos dicionários de cores e temas para criar um gráfico de linhas comparando as variáveis ‘Juro Real’ e ‘Juro Neutro’ com o objetivo de visualizar e comparar as tendências entre as duas variáveis de juros.</p><pre># Configurações de estilo para o gráfico<br>theme = {&#39;figure.figsize&#39;: (15, 10),<br>         &#39;axes.facecolor&#39;: &#39;white&#39;,<br>         &quot;axes.spines.right&quot;: False,<br>         &quot;axes.spines.top&quot;: False}<br><br># Cores para as linhas no gráfico<br>colors = [&#39;#b22200&#39;, &#39;#282f6b&#39;]<br><br># Aplica as configurações de estilo usando o seaborn<br>sns.set_theme(style=&#39;white&#39;,<br>              palette=colors,<br>              rc=theme)<br><br># Cria um gráfico de linha usando seaborn<br>sns.lineplot(x=&#39;date&#39;, y=&#39;values&#39;,<br>             data=df_juros_long,<br>             hue=&#39;variable&#39;,<br>             linewidth=2).set(xlabel=&quot;&quot;,<br>                              ylabel=&quot;%a.a&quot;,<br>                              title=&quot;Juro Real Ex-Ante x Juro Neutro&quot;)<br><br># Adiciona uma anotação para indicar a fonte dos dados<br>plt.annotate(&#39;Fonte: Ipeadata | Autor: Jonatas A. Liberato&#39;,<br>             xy=(1.0, -0.06),<br>             xycoords=&#39;axes fraction&#39;,<br>             ha=&#39;right&#39;,<br>             va=&quot;center&quot;,<br>             fontsize=10)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/735/1*kHGa6e58GLIXf2jQL5z0fA.png" /></figure><h4><strong>3.10 Conclusão</strong></h4><p>A partir de 2017 tivemos uma derrocada do juro real, chegando a patamares que foram muito discutidos por economistas perante ao nível Brasil em comparação aos pares. Queda essa revertida A partir de 2021 quando o BACEN se utilizou dessa ferramenta para elevar a taxa de juros com o objetivo de controlar a oferta monetária.</p><h3><strong>4.0 Deflação</strong></h3><p>Na primeira parte desse estudo, falamos brevemente sobre “Deflação”, que é como se a gente tivesse um “preço reverso” nas coisas. Imagine que, em vez de as coisas ficarem mais caras ao longo do tempo (que é o que geralmente acontece), elas fiquem mais baratas. Isso é a deflação.</p><p>Então, se você tivesse R$ 100 hoje, com a deflação, você poderia comprar mais coisas no futuro do que poderia comprar hoje com a mesma quantia. Parece bom, né? Mas, na verdade, a deflação constante pode ser um problema para a economia.</p><p>Quando as coisas ficam mais baratas, as empresas podem ganhar menos dinheiro, e as pessoas podem adiar as compras, pensando que os preços vão baixar ainda mais. Isso pode fazer com que a economia desacelere, as empresas contratem menos pessoas e, em geral, as coisas podem ficar um pouco complicadas.</p><p>Então, embora seja legal poder comprar mais com o mesmo dinheiro, a deflação constante pode trazer alguns desafios para a economia. O equilíbrio é importante!</p><p>E para entendermos melhor esse fenômeno, utilizaremos o mesmo mês em anos diferentes e vamos explorar essa anomalia, construindo um gráfico que represente a inflação nos meses de setembro ao longo de vários anos.</p><h4><strong>4.1 Obtendo tratando os dados</strong></h4><pre># Obtendo os dados referentes ao IPCA através do velho SIDRA<br>ipca_raw = list(<br>    map(<br>        lambda tabela, variavel : (<br>            sidra.get_table(<br>                table_code = tabela,<br>                territorial_level= &#39;1&#39;,<br>                ibge_territorial_code= &#39;all&#39;,<br>                variable = variavel,<br>                classifications = {<br>                    &#39;315&#39;: &#39;7171&#39;<br>                    },<br>                period = &#39;all&#39;,<br>                header = &#39;n&#39;<br>                )<br>            ),<br>        [&#39;655&#39;, &#39;2938&#39;, &#39;1419&#39;, &#39;7060&#39;],<br>        [&#39;all&#39;, &#39;63&#39;, &#39;63&#39;, &#39;63&#39;]<br>    )<br>)<br><br># Concatenando e atribuindo nomes aos níveis do índice<br>ipca_set = (<br>    pd.concat(<br>        objs=ipca_raw,<br>        names=[&#39;tabela&#39;, &#39;linha&#39;]<br>    )<br>    .reset_index()<br>    # Filtrando somente pelas colunas de data e valor do IPCA  <br>    .filter(items=[&#39;D2C&#39;, &#39;V&#39;], axis=&#39;columns&#39;)<br>    # Convertendo a data em datetime e IPCA em ponto flutuante (float)<br>    .assign(<br>        data=lambda x: pd.to_datetime(x[&#39;D2C&#39;], format=&#39;%Y%m&#39;),<br>        valor=lambda x: x[&#39;V&#39;].astype(float)<br>    )<br>    .filter(items=[&#39;data&#39;, &#39;valor&#39;], axis=&#39;columns&#39;)<br>    .rename(columns={&#39;data&#39;: &#39;date&#39;, &#39;valor&#39;: &#39;ipca&#39;})<br>)<br><br># Selecionando apenas os meses de setembro<br>ipca_set_september = ipca_set[ipca_set[&#39;date&#39;].dt.month == 9]<br><br># Exibindo o DataFrame resultante<br>ipca_set_september<br></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/128/1*emq2scJFoS4mdqKgetBNAg.png" /></figure><h4><strong>4.2 Plot nosso de cada dia</strong></h4><pre>import pandas as pd<br>import plotly.express as px<br><br># Adiciona uma coluna &#39;color&#39; com base na condição &#39;ipca&#39; &lt; 0<br>ipca_set_september[&#39;color&#39;] = ipca_set_september[&#39;ipca&#39;] &lt; 0<br><br># Criando um gráfico de barras usando Plotly Express<br>fig = px.bar(ipca_set_september, x=&#39;date&#39;, y=&#39;ipca&#39;,<br>             title=&#39;Inflação medida pelo IPCA em setembro&#39;,<br>             labels={&#39;ipca&#39;: &#39;% a.m.&#39;, &#39;date&#39;: &#39;&#39;},<br>             text=&#39;ipca&#39;,<br>             color=&#39;color&#39;,  # Usa a coluna &#39;color&#39; para a cor<br>             color_discrete_map={True: &#39;red&#39;, False: &#39;darkblue&#39;},  # Mapeia cores para valores específicos<br>             )<br><br># Personalizando o layout<br>fig.update_layout(xaxis=dict(tickmode=&#39;array&#39;, tickvals=list(ipca_set_september[&#39;date&#39;]),<br>                              ticktext=ipca_set_september[&#39;date&#39;].dt.strftime(&#39;%b/%Y&#39;).tolist(),<br>                              tickangle=45, dtick=&#39;M1&#39;),<br>                  showlegend=False,<br>                  annotations=[dict(text=&#39;Fonte: analisemacro.com.br&#39;, showarrow=False,<br>                                    xref=&#39;paper&#39;, yref=&#39;paper&#39;, x=1, y=-0.1, xanchor=&#39;right&#39;, yanchor=&#39;bottom&#39;)],<br>                  height=600, width=1200)<br><br># Exibindo o gráfico<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/830/1*xyLpXrh6wMZTMN6gv1qYzQ.png" /><figcaption>Observa-se que houveram 11 dos 23 anos da amostra em que o fenômeno foi identificado, o que torna-se preocupante devido aos efeitos da irmã da Inflação.</figcaption></figure><h4><strong>4.4 Plot para investigar as tendências por ano</strong></h4><pre>ipca_full = (<br>    pd.concat(<br>        # Concatenamos e atribuímos nomes aos níveis do índice<br>        objs=ipca_raw,<br>        names=[&#39;tabela&#39;, &#39;linha&#39;]<br>    )<br>    .reset_index()<br>    # Filtramos somente pelas colunas de data e valor do IPCA  <br>    .filter(items=[&#39;D2C&#39;, &#39;V&#39;], axis=&#39;columns&#39;)<br>    # Aqui convertemos a data em datetime e IPCA em ponto flutuante (float)<br>    .assign(<br>        data=lambda x: pd.to_datetime(x[&#39;D2C&#39;], format=&#39;%Y%m&#39;),<br>        valor=lambda x: x[&#39;V&#39;].astype(float)<br>    )<br>    .filter(items=[&#39;data&#39;, &#39;valor&#39;], axis=&#39;columns&#39;)<br>    .rename(columns={&#39;data&#39;: &#39;date&#39;, &#39;valor&#39;: &#39;ipca&#39;})<br>)<br><br>import seaborn as sns<br>import matplotlib.pyplot as plt<br><br># Lista de anos desejados<br>anos_desejados = [2000, 2005, 2010, 2015, 2020, 2023]<br><br># Subplots para cada ano<br>fig, axs = plt.subplots(nrows=len(anos_desejados), figsize=(10, 4 * len(anos_desejados)))<br><br># Paleta de cores diferente para cada ano (usando &#39;viridis&#39;)<br>paleta_cores = sns.color_palette(&#39;viridis&#39;, len(anos_desejados))<br><br># Iteração sobre os anos desejados<br>for i, (ano, cor) in enumerate(zip(anos_desejados, paleta_cores)):<br>    # Filtra os dados para o ano específico<br>    ipca_mensal_ano = ipca_full[<br>        (ipca_full[&#39;date&#39;] &gt;= f&#39;{ano}-01-01&#39;) &amp; (ipca_full[&#39;date&#39;] &lt; f&#39;{ano + 1}-01-01&#39;)<br>    ]<br><br>    # Gráfico de sub-séries<br>    sns.lineplot(x=&#39;date&#39;, y=&#39;ipca&#39;, data=ipca_mensal_ano, marker=&#39;o&#39;, color=cor, ax=axs[i])<br><br>    # Observação para o mês de julho<br>    julho = ipca_mensal_ano[ipca_mensal_ano[&#39;date&#39;].dt.month == 7]<br>    axs[i].annotate(<br>        f&quot;Julho: {julho[&#39;ipca&#39;].values[0]:.2f}%&quot;,<br>        xy=(julho[&#39;date&#39;].values[0], julho[&#39;ipca&#39;].values[0]),<br>        xytext=(10, 10),<br>        textcoords=&#39;offset points&#39;,<br>        arrowprops=dict(facecolor=&#39;black&#39;, arrowstyle=&#39;wedge,tail_width=0.7&#39;, lw=1),<br>    )<br><br>    # Layout<br>    axs[i].set_xlabel(&#39;&#39;)<br>    axs[i].set_ylabel(&#39;% a.m.&#39;)<br>    axs[i].set_title(f&#39;Sazonalidade da inflação medida pelo IPCA em {ano}&#39;)<br>    axs[i].annotate(<br>        &#39;Fonte: SIDRA | Autor: Jonatas A. Liberato&#39;,<br>        xy=(1.0, -0.15),<br>        xycoords=&#39;axes fraction&#39;,<br>        ha=&#39;right&#39;,<br>        va=&#39;center&#39;,<br>        fontsize=10,<br>    )<br><br># Ajusta o layout<br>plt.tight_layout()<br><br># Exibe os gráficos<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/275/1*5z5NaIUQY6wTF5oo8p_Isw.png" /></figure><h4><strong>4.4 Conclusão</strong></h4><p>Tivemos diversos períodos de deflação nas últimas décadas e o último gráfico mostra que em somente em 2000 não tivemos uma aceleração da inflação após a metade do ano, uma tendência verificadas em alguns estudos sobre o tema.</p><h3><strong>5.0 Núcleos de Inflação</strong></h3><p>O núcleo de inflação, também conhecido como inflação subjacente, é uma métrica que busca identificar a tendência dos preços, excluindo distúrbios provenientes de choques temporários. Essa medida visa detectar mudanças fundamentais nos preços, como pressões de demanda, choques permanentes ou alterações nas expectativas de inflação.</p><p>Ela é essencial para orientar a política monetária, o núcleo ajuda as autoridades a identificar choques que afetam a inflação, excluindo choques temporários de oferta. Existem várias metodologias para calcular o núcleo, incluindo a exclusão de componentes voláteis, como alimentos e energia, e o uso de estimadores de influência limitada, como mediana ponderada e média aparada.</p><p>Abordagens mais recentes envolvem técnicas econométricas, como filtros de suavização e modelos auto-regressivos estruturais. O núcleo é crucial em ambientes de metas de inflação, auxiliando na estabilidade de preços como principal objetivo da política monetária.</p><h4><strong>5.1 Funções para tratamento dos dados</strong></h4><pre># Função para obter o código da série através da API do Bacen<br>def codigo_bc(codigo):<br>    # Constrói a URL para consulta da série temporal<br>    url = f&#39;http://api.bcb.gov.br/dados/serie/bcdata.sgs.{codigo}/dados?formato=json&#39;<br>    # Faz uma requisição à API do Bacen<br>    response = requests.get(url)<br>    # Converte a resposta para formato JSON<br>    json_data = response.json()<br>    # Converte os dados JSON em um DataFrame pandas<br>    df = pd.DataFrame(json_data)<br>    # Converte a coluna &#39;data&#39; para o formato de data<br>    df[&#39;data&#39;] = pd.to_datetime(df[&#39;data&#39;], format=&#39;%d/%m/%Y&#39;)<br>    # Renomeia as colunas para &#39;data&#39; e &#39;valor&#39;<br>    df.columns = [&#39;data&#39;, &#39;valor&#39;]<br>    return df<br><br># Função que obter uma série anual do IPCA<br>def ipca_anualizado(ipca_raw):<br>    # Verifica se as colunas &#39;data&#39; e &#39;valor&#39; existem no DataFrame<br>    if &#39;data&#39; in ipca_raw.columns and &#39;valor&#39; in ipca_raw.columns:<br>        # Armazena as datas em uma variável<br>        dates = ipca_raw[&#39;data&#39;]<br>        # Mantém apenas a coluna &#39;valor&#39;<br>        ipca_raw = ipca_raw[&#39;valor&#39;]<br>    else:<br>        # Se não existirem, define &#39;dates&#39; como None<br>        dates = None<br><br>    # Converte os valores para formato numérico<br>    ipca_raw = pd.to_numeric(ipca_raw)<br>    # Realiza o cálculo da variação anualizada<br>    ipca_raw = (ipca_raw / 100 + 1)<br>    ipca_raw = ipca_raw ** 12<br>    ipca_raw = (ipca_raw - 1) * 100<br><br>    # Cria um novo DataFrame com &#39;data&#39; e &#39;valor&#39;<br>    df = pd.DataFrame({&#39;data&#39;: dates, &#39;valor&#39;: ipca_raw})<br>    return df<br><br># Ajustando as datas de acordo com o critério<br>def data_ajustada(data, ipca_raw):<br>    # Filtra os dados para incluir apenas datas após a data fornecida<br>    ipca_raw = ipca_raw[ipca_raw[&#39;data&#39;] &gt;= data]<br>    return ipca_raw<br><br># Função que cria um conjunto de plots com cada grupo<br>def grafico_subplot(ax, nome, ipca_raw, cor):<br>    ax.plot(ipca_raw[&#39;data&#39;], ipca_raw[&#39;valor&#39;], label=nome, color=cor)<br>    ax.set_xlabel(&#39;Data&#39;)<br>    ax.set_ylabel(&#39;Variação anualizada %&#39;)<br>    ax.set_title(nome)<br>    ax.legend()</pre><p><strong>5.2 Coleta dos dados</strong></p><pre># Obtendo os dados<br>series = [<br>    codigo_bc(433),  # IPCA<br>    codigo_bc(11427),  # IPCA-MS<br>    codigo_bc(16121),  # IPCA-MA<br>    codigo_bc(27838),  # IPCA-EX0<br>    codigo_bc(27839),  # IPCA-EX1<br>    codigo_bc(11426),  # IPCA-DP<br>    codigo_bc(4466),   # IPCA-EX2<br>    codigo_bc(16122)   # IPCA-EX3<br>]<br><br>data_inicio = pd.to_datetime(&#39;2016-01-01&#39;)<br><br># Ajustando as datas e calculando a variação anualizada<br>series_d = [ipca_anualizado(data_ajustada(data_inicio, serie)) for serie in series]<br><br># Criando subplots<br>fig, axs = plt.subplots(nrows=4, ncols=2, figsize=(16, 16))<br>fig.suptitle(&#39;Variação Anualizada do IPCA e Núcleos&#39;, fontsize=16)<br><br># Cores para cada série<br>cores = [&#39;blue&#39;, &#39;orange&#39;, &#39;green&#39;, &#39;red&#39;, &#39;purple&#39;, &#39;brown&#39;, &#39;pink&#39;, &#39;gray&#39;]<br><br># Gerando os subplots<br>for ax, nome, serie, cor in zip(axs.flatten(), [&quot;IPCA&quot;, &quot;IPCA-MS&quot;, &quot;IPCA-MA&quot;, &quot;IPCA-EX0&quot;, &quot;IPCA-EX1&quot;, &quot;IPCA-DP&quot;, &quot;IPCA-EX2&quot;, &quot;IPCA-EX3&quot;], series_d, cores):<br>    grafico_subplot(ax, nome, serie, cor)<br><br># Ajustando o layout<br>plt.tight_layout(rect=[0, 0.03, 1, 0.95])<br><br># Exibindo o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/537/1*Grs61kTyU4aysUAuUSPS2Q.png" /></figure><p>Sim, eu sei que ficou confuso para você, para mim, para eles. Então que tal colcarmos essa variação em um só plot?</p><pre># Criando um único subplot<br>fig, ax = plt.subplots(figsize=(10, 6))<br>fig.suptitle(&#39;Variação Anualizada do IPCA e Núcleos&#39;, fontsize=16)<br><br># Gerando o único subplot<br>for nome, serie, cor in zip([&quot;IPCA&quot;, &quot;IPCA-MS&quot;, &quot;IPCA-MA&quot;, &quot;IPCA-EX0&quot;, &quot;IPCA-EX1&quot;, &quot;IPCA-DP&quot;, &quot;IPCA-EX2&quot;, &quot;IPCA-EX3&quot;], series_d, cores):<br>    grafico_subplot(ax, nome, serie, cor)<br><br># Movendo a legenda para o canto superior direito e ajustando a posição vertical<br>ax.legend(loc=&#39;upper right&#39;, bbox_to_anchor=(1.0, 1.03))<br><br># Ajustando o layout<br>plt.tight_layout(rect=[0, 0.03, 1, 0.95])<br><br># Exibindo o gráfico<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/573/1*L1NPL2WzbEUb-jjpdM6V4g.png" /></figure><h4><strong>5.2 Conclusão</strong></h4><p>Nota-se que os núcleos tendem a se comportar de maneira parecida, mas é importante perceber que já sim variações entre os mesmos, como o próprio IPCA que tem maior volatilidade.</p><h3><strong>FIM</strong></h3><h4><strong>Agradecimentos e Próximos estudos</strong></h4><p>Finalizamos esse estudo com análise de fatores “externos” influenciam o grau inflacionário, como expectativas e até mesmo o El Niño.</p><p>Existem inúmeras outras análises inflacionárias que eu desejaria trazer a vocês, como Inflação Implícita, Convergência de expectativas e outros modelos como o SARIMA para previsibilidade, mas infelizmente esse estudo já ficou extenso demais.</p><p>Espero que esse seja relevante para você de alguma forma, pois o meu objetivo principal é treinar aprendizados e nada melhor que isso, ensinando.</p><p>Caso queira baixar os códigos e ver os outros projetos, aqui está o <a href="https://github.com/jonatasjal"><strong>link </strong></a>do meu Github.</p><p>Muito obrigado, queridos padauans!</p><ul><li><strong>Próximos estudos:</strong></li></ul><p>Além disso, aguardem que os próximos estudos serão:</p><ol><li>Dívida pública brasileira</li><li>Saúde econômica americana</li><li>Mitos sobre a Crise 1929</li><li>Estudo sobre preços de combustíveis</li><li>e….vou pensar!</li></ol><ul><li><strong>Leituras recomendadas:</strong></li></ul><ol><li><a href="https://amzn.to/3Tbf93K">Macroeconomia Capa — Olivier Blanchard</a></li><li><a href="https://amzn.to/46MRUjL">Microeconomia — Hal Varian</a></li><li><a href="https://amzn.to/47J8FxC">A Moeda e a Lei — Gustavo Franco</a></li><li><a href="https://amzn.to/46JqlHX">Por que o Brasil Cresce Pouco? — Marcos Mendes</a></li><li><a href="https://amzn.to/3Rv5pzY">Finanças públicas — Felipe Salto e Mansueto</a></li><li><a href="https://amzn.to/4a5WH2z">Quantitative Trading Strategies Using Python — Peng Liu</a></li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3c5e35ed9b37" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>