<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by gabrielpastega on Medium]]></title>
        <description><![CDATA[Stories by gabrielpastega on Medium]]></description>
        <link>https://medium.com/@gabrielpbreis?source=rss-620af36ceece------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*d5DchMaMZYDkxXPhMsVSUQ.jpeg</url>
            <title>Stories by gabrielpastega on Medium</title>
            <link>https://medium.com/@gabrielpbreis?source=rss-620af36ceece------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 23:08:08 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@gabrielpbreis/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Como Acessar a API do Spotify com Python]]></title>
            <link>https://medium.com/@gabrielpbreis/como-acessar-a-api-do-spotify-com-python-fb9415f29bda?source=rss-620af36ceece------2</link>
            <guid isPermaLink="false">https://medium.com/p/fb9415f29bda</guid>
            <category><![CDATA[sql]]></category>
            <category><![CDATA[api]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-analysis]]></category>
            <dc:creator><![CDATA[gabrielpastega]]></dc:creator>
            <pubDate>Thu, 26 Oct 2023 21:09:11 GMT</pubDate>
            <atom:updated>2024-03-02T22:18:43.465Z</atom:updated>
            <content:encoded><![CDATA[<blockquote>Este artigo serve como uma maneira prática de entender e utilizar facilmente a API do Spotify. Ao seguir os passos, você aprenderá como autenticar suas solicitações, fazer chamadas à API, coletar dados brutos e transformá-los, tudo usando Python.</blockquote><blockquote>Nas seções seguintes, o processo será dividido em etapas simples e acionáveis. Ao final, você obterá uma compreensão abrangente da API do Spotify e a confiança para explorar outras APIs a fim de criar aplicativos variados e poderosos. Vamos começar agora!</blockquote><blockquote>PS: Sugere-se observar o notebook enquanto lê o artigo, pois há vários testes e passo a passos. Para acessar o notebook <a href="https://github.com/gabrielpastega/spotify_api_request">clique aqui</a>.</blockquote><h3>CRIAÇÃO DO APP E TOKEN DE ACESSO</h3><p>Primeiramente, deve-se acessar a <a href="https://developer.spotify.com/documentation/web-api">documentação</a> e seguir os passos para <a href="https://developer.spotify.com/documentation/web-api/tutorials/getting-started">criar um app Web API</a> para obter as chaves que permitirão o seu usuário obter o token de acesso à API.</p><p>Após criar o seu app e verificar suas chaves (Client ID e Client Secret) nas configurações de seu app, pode-se avançar para a seção de <a href="https://developer.spotify.com/documentation/web-api/tutorials/client-credentials-flow">credenciais do cliente</a>. Nesta seção, há a seguinte imagem abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/0*lA0ldmsM_h-V2PWw" /><figcaption>Imagem 1: Diagrama de requisição à API</figcaption></figure><p>Observa-se que através do app faz-se a requisição do token de acesso com o uso das variaveis client_id, client_secret e grant_type. Uma vez que obtém-se na resposta o token, o utiliza para requisitar os dados da API que retorna um objeto JSON. Pode-se desenvolver uma função em Python adaptando a que existe na documentação (em JavaScript) para facilitar o processo, gerando o seguinte código:</p><pre>def get_token(client_id, client_secret):<br>    &quot;&quot;&quot;<br>    Obtém um token de acesso à API do Spotify usando credenciais de cliente e verifica seu tipo de token.<br><br>    Args:<br>        client_id (str): Chave ID do cliente da API do Spotify.<br>        client_secret (str): Chave Segredo do cliente da API do Spotify.<br><br>    Returns:<br>        str: Código de acesso obtido da API do Spotify.<br>        str: Tipo de token do código de acesso (ou None se falhar ao recuperar).<br>        str: Tempo de disponibilidade do token em segundos.<br>    &quot;&quot;&quot;<br>    base64_auth = base64.b64encode(f&quot;{client_id}:{client_secret}&quot;.encode()).decode()<br><br>    auth_options = {<br>        &#39;url&#39;: &#39;https://accounts.spotify.com/api/token&#39;,<br>        &#39;headers&#39;: {<br>            &#39;Authorization&#39;: &#39;Basic &#39; + base64_auth, <br>            &#39;Content-Type&#39; : &#39;application/x-www-form-urlencoded&#39;<br>        },<br>        &#39;data&#39;: {<br>            &#39;grant_type&#39;: &#39;client_credentials&#39;<br>        }<br>    }<br><br>    response = requests.post(auth_options[&#39;url&#39;], headers=auth_options[&#39;headers&#39;], data=auth_options[&#39;data&#39;])<br><br>    if response.status_code == 200:<br>        r = response.json()<br>        token = r[&#39;access_token&#39;]<br>        token_type = r[&#39;token_type&#39;]<br>        token_duration = r[&#39;expires_in&#39;]<br>        print(f&#39;Token de Acesso requisitado com successo!&#39;)<br>        print(f&#39;Tipo do Token: {token_type}&#39;)<br>        print(f&#39;Disponibilidade do Token: {token_duration} segundos&#39;)<br>    else:<br>        print(&#39;Não foi possível obter o token de acesso&#39;)<br>    <br>    return f&#39;{token_type} {token}&#39;</pre><p>Com o token de acesso obtido com sucesso, pode-se avançar para a requisição de dados à API.</p><h3>ACESSO A API E DADOS DA RESPOSTA</h3><p>Antes de prosseguir, é necessário consultar a documentação para identificar os endpoints corretos dos dados que pretendemos acessar. Para este projeto, nosso foco está nos gêneros e suas respectivas faixas. Neste caso, a escolha mais adequada é a <a href="https://developer.spotify.com/documentation/web-api/reference/search">Search for Item Reference</a>. Esta url e seus endpoints permite filtrar por gênero e possibilita solicitações de informações relacionadas a álbuns, artistas, playlists, faixas, shows, episódios ou audiobooks.</p><p>Observa-se na documentação que o <a href="https://developer.spotify.com/documentation/web-api/reference/search">Search for Item Reference</a> possui uma URL base que é <a href="https://api.spotify.com/v1/search">https://api.spotify.com/v1/search</a> e que contém vários parâmetros para requisição com dois obrigatórios, aqui um breve resumo de cada:</p><ul><li>q [<strong>obrigatório</strong>]: Sua consulta de pesquisa, podendo ser refinada por meio de filtros como álbum, artista, faixa, ano, gênero, entre outros. Cada filtro se aplica a tipos de resultados específicos.</li><li>type [<strong>obrigatório</strong>]: Lista de tipos de itens para pesquisa, como álbum, artista, playlist, faixa, entre outros. Resultados incluem correspondências de todos os tipos especificados.</li><li>market: Código do país (<em>ISO 3166–1 alpha-2</em>) para especificar o mercado de disponibilidade do conteúdo. Se um token de usuário for fornecido, o país associado à conta do usuário tem prioridade.</li><li>limit: Número máximo de resultados para cada tipo de item. Valor Padrão: 20, Faixa: 0–50.</li><li>offset: Índice do primeiro resultado a ser retornado. Usado com limit para paginar pelos resultados da pesquisa. Valor Padrão: 0, Faixa: 0–1000.</li><li>include_external: Se include_external=audio é especificado, indica que o cliente pode reproduzir conteúdo de áudio hospedado externamente e marca o conteúdo como reproduzível na resposta. Por padrão, conteúdo hospedado externamente é marcado como não reproduzível na resposta. Valor Permitido: “audio”.</li></ul><p>Apenas o parâmetro include_external não será utilizado, nossa url padrão para as requisições será:</p><p><a href="https://api.spotify.com/v1/search?q=genre:%7B%7D&amp;type=track&amp;market=%7B%7D&amp;limit=%7B%7D&amp;offset="><em>https://api.spotify.com/v1/search?q=genre:{}&amp;type=track&amp;market={}&amp;limit={}&amp;offset=</em></a><em>{}</em></p><p>De acordo com o diagrama (Imagem 1), após a obtenção do token de acesso, as respostas desejadas da API podem ser coletadas. Para isso, a função abaixo foi gerada.</p><pre>def api_call(url, access_token):<br>    &quot;&quot;&quot;<br>    Chama a API do Spotify usando um endpoint de URL e um token de acesso para recuperar dados no formato JSON.<br><br>    Args:<br>        url (str): Endpoint de URL para acessar dados de faixas disponíveis.<br>            URL padrão fornecida - https://api.spotify.com/v1/search?q=genre:{genre}&amp;type=track&amp;market={market}&amp;limit={limit}&amp;offset={offset}<br>        <br>        access_token (str): Token de acesso à API do Spotify fornecido com o uso da função get_token.<br><br>    Returns:<br>        dict: Objeto JSON com a resposta da API.<br>    &quot;&quot;&quot;<br>    response = requests.get(url, headers={&#39;Authorization&#39;: access_token})<br>    api_response = response.json()<br>    <br>    return api_response</pre><p>Nossa requisição retorna um arquivo JSON, podemos observar suas chaves para verificar como os dados estão distribuídos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/383/0*F8Wido3lcXss7FSL" /><figcaption>Imagem 2: Chaves da resposta da API</figcaption></figure><p>Analisando a chave ‘tracks’ e encontram-se diversas outras chaves, cada uma com diferentes valores de dados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/584/0*4idhoh215_4BXn-1" /><figcaption>Imagem 3: Chaves dentro da chave tracks</figcaption></figure><p>Ao consultar a <a href="https://developer.spotify.com/documentation/web-api/reference/search">documentação</a> , esclarece-se que a chave ‘items’ contém os dados relacionados às faixas. Dentre as informações que podem ser extraídas, as mais relevantes são as seguintes:</p><ul><li>Track ID</li><li>Track Name</li><li>Track Duration</li><li>Artist Name</li><li>Album Name</li><li>Album Release Date</li><li>Popularity</li></ul><p>Com as informações determinadas, procede-se para a parte de coleta de dados.</p><h3>COLETA DE DADOS</h3><p>Para iniciar a coleta, precisamos verificar como acessar cada valor das chaves que detectamos anteriormente e para exemplificar pode-se consolidar em um dataframe.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/910/0*uu8-vUN1oWrRncEv" /><figcaption>Imagem 5: Visualizar os dados retornados da API</figcaption></figure><p>Agora é necessário criar uma função que colete esses dados e os adicione a um DataFrame. Dado que os dados virão de faixas diferentes, é necessário criar um método genérico para que o código possa iterar de maneira correta. Para isso, é essencial entender como a URL acessada durante as requisições à API é construída, para garantir que os parâmetros sejam fornecidos na ordem correta. Segue abaixo a função gerada:</p><pre>def tracks_dataset(genres, markets, limit, offset, pages, access_token):<br>    &quot;&quot;&quot;<br>    Recupera dados de faixas da API do Spotify com base nos gêneros e mercados especificados, parâmetros de paginação e token de acesso.<br><br>    Args:<br>        genres (list): Uma lista de nomes de gêneros para os quais as faixas precisam ser obtidas da API do Spotify.<br>        markets (list): Uma lista de códigos de país para os mercados disponíveis no Spotify (valor de acordo com o código de país ISO 3166-1 alpha-2).<br>        limit (int): O número máximo de faixas a serem obtidas por requisição à API.<br>        offset (int): O offset inicial para paginação para obter faixas da API.<br>        pages (int): O número de páginas da API a serem buscadas para cada gênero.<br>        access_token (str): O token de acesso necessário para autenticação com a API do Spotify.<br><br>    Returns:<br>        pandas.DataFrame: Um DataFrame do pandas contendo as informações das faixas extraídas, incluindo ID da faixa,<br>        nome da faixa, duração, nome do artista, nome do álbum, data de lançamento do álbum, popularidade e gênero.<br><br>    Funcionalidades:<br>        - Itera pelos gêneros e páginas de paginação especificados para obter dados de faixas da API do Spotify.<br>        - Extrai informações relevantes da resposta da API.<br>        - Combina os dados extraídos em um DataFrame do pandas e retorna o DataFrame ao chamador.<br><br>    Observações:<br>        - A função faz várias chamadas à API com base nos gêneros e na paginação, processando os dados em um DataFrame.<br>        - Usa o formato de URL do endpoint da API fornecido com espaços reservados para gênero, limite e offset.<br>        - Assume a existência de uma função &#39;api_call&#39; para fazer requisições à API.<br>        - Requer o manuseio adequado do token de acesso usando a função &#39;get_token&#39; ou um mecanismo semelhante.<br>    &quot;&quot;&quot;<br><br>    offset_counter = offset<br>    track_df = []<br>    <br>    for market in markets:<br>        for genre in genres:  <br>            for page in range(pages):    <br>                url = f&#39;https://api.spotify.com/v1/search?q=genre:{genre}&amp;type=track&amp;market={market}&amp;limit={limit}&amp;offset={offset}&#39;<br>                api_response = api_call(url, access_token)<br>                num_items = len(api_response[&#39;tracks&#39;][&#39;items&#39;])<br><br>                if num_items == 0:<br>                    break<br><br>                for i in range(num_items):<br>                    track_id = api_response[&#39;tracks&#39;][&#39;items&#39;][i][&#39;id&#39;]<br>                    track_name = api_response[&#39;tracks&#39;][&#39;items&#39;][i][&#39;name&#39;]<br>                    track_duration_ms = api_response[&#39;tracks&#39;][&#39;items&#39;][i][&#39;duration_ms&#39;]<br>                    artist_name = api_response[&#39;tracks&#39;][&#39;items&#39;][i][&#39;artists&#39;][0][&#39;name&#39;]<br>                    album_name = api_response[&#39;tracks&#39;][&#39;items&#39;][i][&#39;album&#39;][&#39;name&#39;]<br>                    album_release_date = api_response[&#39;tracks&#39;][&#39;items&#39;][i][&#39;album&#39;][&#39;release_date&#39;]<br>                    popularity = api_response[&#39;tracks&#39;][&#39;items&#39;][i][&#39;popularity&#39;]<br>                    genre = genre<br>                    market = market<br><br>                    track_df.append({<br>                        &#39;track_id&#39;: track_id,<br>                        &#39;track_name&#39;: track_name,<br>                        &#39;track_duration_ms&#39;: track_duration_ms,<br>                        &#39;artist_name&#39;: artist_name,<br>                        &#39;album_name&#39;: album_name,<br>                        &#39;album_release_date&#39;: album_release_date,<br>                        &#39;popularity&#39;: popularity,<br>                        &#39;genre&#39;: genre,<br>                        &#39;market&#39;: market<br>                    })<br><br>                offset += limit<br><br>                if num_items &lt; limit:<br>                    break<br><br>            offset = offset_counter<br><br>        tracks_dataset = pd.DataFrame(track_df)    <br>        return tracks_dataset</pre><p>A função projetada tem como objetivo recuperar dados específicos de faixas da API do Spotify. Para isso, ela aceita uma lista de gêneros musicais, códigos de países para mercados disponíveis, um limite para o número máximo de faixas por requisição, um offset inicial para paginação, o número de páginas de API a serem buscadas para cada gênero e um token de acesso para autenticação. A função utiliza o método de paginação para obter uma quantidade específica de faixas por página, respeitando o limite máximo.</p><p>Ordem de Iteração:</p><ol><li>Mercados: Itera-se sobre os mercados disponíveis.</li><li>Gêneros: A função itera sobre a lista de gêneros especificados.</li><li>Páginas: Para cada gênero, a função então itera sobre o número de páginas definido para esse gênero.</li><li>API Calls: Em cada iteração, a função faz chamadas à API do Spotify usando os gêneros e a página atual. Ela usa os parâmetros de limite e offset para garantir a obtenção de dados de faixas específicas.</li><li>Extração de Dados: A função extrai as informações relevantes da resposta da API para cada faixa e adiciona à uma uma lista vazia vários dicionários com os dados.</li><li>Construção do DataFrame: Após todas as iterações um DataFrame do pandas é construído com na base na lista, contendo detalhes como ID da faixa, nome da faixa, duração, nome do artista, nome do álbum, data de lançamento do álbum, popularidade e gênero.</li></ol><p>Essa estrutura permite uma coleta de dados eficaz e organizada, garantindo que dados precisos e relevantes sejam adquiridos e posteriormente utilizados para análises ou outras aplicações.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*wy2ysgfo89RwMm9T" /><figcaption>Imagem 6: Dataset gerado pela função tracks_dataset</figcaption></figure><h3>EXPORTANDO PARA CSV E SQLITE</h3><p>Para futuras manipulações, análises e prática em SQL, Python e visualização de dados, é recomendável converter o conjunto de dados em um arquivo CSV ou SQLite, dependendo dos objetivos.</p><p>A transformação do dataset para um arquivo CSV foi realizada de maneira direta, já que o pandas foi usado tanto para o dataframe quanto para a exportação. No entanto, nem sempre esse processo é tão simples, e podem surgir desafios ao lidar com diferentes formatos de dados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/352/0*2s6rZcDrdn-Dn-nS" /><figcaption>Imagem 7: Exportar para CSV</figcaption></figure><p>O processo de exportação para o SQLite é mais específico, deve-se indicar quais os tipos de dados das colunas em Python para informar o equivalente em SQL. Após criar a tabela com a estrutura adequada e estabelecer uma conexão com o banco de dados SQLite, os dados são inseridos com base nas especificações das colunas. Uma vez completada a inserção, a conexão é fechada, assegurando a organização e integridade dos dados na base de dados SQLite.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/689/0*1eZZbtctqWT2Fc8k" /><figcaption>Imagem 8: Exportar para SQLite</figcaption></figure><h3>CONSIDERAÇÕES FINAIS</h3><p>O foco principal deste artigo foi explorar o acesso à de APIs com Python, entender seu funcionamento e replicar esse conhecimento para outras APIs. A escolha da API do Spotify foi determinada pela sua documentação clara, embora nem todas as APIs ofereçam o mesmo suporte. No entanto, a habilidade de extrair dados e determinar sua estruturação pode ser aplicada em diversos contextos, proporcionando uma base para a exploração de outras APIs com confiança.</p><p>Espero que esse conteúdo possa ajudar a quem quer desbravar APIs para análises e coleta de dados, fico a disposição caso haja dúvidas ou correções necessárias neste artigo.</p><blockquote>Link para o repositório deste artigo: <a href="https://github.com/gabrielpastega/spotify_api_request">https://github.com/gabrielpastega/spotify_api_request</a></blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fb9415f29bda" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Outliers: Como definir, detectar e tratar — Parte 3]]></title>
            <link>https://medium.com/@gabrielpbreis/outliers-como-definir-detectar-e-tratar-parte-3-7bdd7443fe6d?source=rss-620af36ceece------2</link>
            <guid isPermaLink="false">https://medium.com/p/7bdd7443fe6d</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[statistics]]></category>
            <dc:creator><![CDATA[gabrielpastega]]></dc:creator>
            <pubDate>Tue, 11 Apr 2023 14:16:23 GMT</pubDate>
            <atom:updated>2023-05-16T21:36:47.268Z</atom:updated>
            <content:encoded><![CDATA[<h3>Outliers: Como definir, detectar e tratar — Parte 3</h3><h4><strong>Quatro maneiras de como tratar Outliers</strong></h4><p>Com nossos outliers detectados (<a href="https://medium.com/@gabrielpbreis/outliers-como-definir-detectar-e-tratar-parte-2-5240149f8f98">parte 2 do artigo</a>), entramos na parte de tratamento dos mesmos e há muitas técnicas e abordagens diferentes para tratar outliers. Neste artigo, vamos explorar as quatro técnicas mais populares.</p><h3>1. Identificar e remover outliers (Trimming)</h3><p>Esta é uma das maneiras mais simples de tratar outliers. Identifique os valores que se desviam significativamente do resto dos dados e remova-os do conjunto de dados. No entanto, isso pode levar à perda de informações valiosas e não é uma abordagem muito recomendada em pequenos datasets.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*70x8ip4lX5lfSUJl" /><figcaption>Imagem 16: A esquerda os dados sem tratamento e a direita removidos os outliers extremos após detecção com o método IQR</figcaption></figure><h3>2. Transformar os dados</h3><p>A transformação dos dados pode ser útil para tratar outliers, especialmente se os dados seguirem uma distribuição assimétrica. Algumas técnicas comuns de transformação incluem logaritmo, raiz quadrada, exponencial, entre outras.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*O8H4A6ASx-YQVAdj" /><figcaption>Imagem 17: A esquerda os dados sem tratamento e a direita transformados utilizando logaritmo</figcaption></figure><h3>3. Agrupar os dados</h3><p>Se os outliers representam erros de medição ou erros de entrada de dados, pode ser útil agrupar os dados em intervalos mais amplos. Isso pode ajudar a reduzir a influência dos outliers nos resultados finais.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*cmEZmYgiJjlqiX6L" /><figcaption>Imagem 18: A esquerda os dados até o valor de 19490 e a direita valores acima de 19490</figcaption></figure><h3>4. Percentile based flooring and capping</h3><p>Essa técnica utiliza os percentis para definir limites inferiores (flooring) e superiores (capping) para os dados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/852/0*avAk3qWDNRz1kVPD" /><figcaption>Imagem 19: Código para gerar um novo dataset aplicando Percentile based flooring and capping</figcaption></figure><h3>Considerações Finais</h3><p>Identificar e tratar outliers é uma parte essencial do processo de análise de dados e criação de modelos de machine learning. Para realizar essas tarefas com sucesso, é necessário ter uma compreensão sólida das técnicas de análise e abordar o assunto com cuidado e atenção. Com uma abordagem sistemática e paciente, é possível minimizar o impacto dos outliers e obter resultados mais precisos e confiáveis.</p><p>Espero que esse conteúdo possa ajudar a melhorar análises e modelos de machine learning, fico a disposição caso haja dúvidas ou correções necessárias neste projeto.</p><p><strong><em>Link para a primeira parte deste artigo</em></strong>: <a href="https://medium.com/@gabrielpbreis/outliers-como-definir-detectar-e-tratar-parte-1-50bf8e5e229a">https://medium.com/@gabrielpbreis/outliers-como-definir-detectar-e-tratar-parte-1-50bf8e5e229a</a></p><p><strong><em>Link para a segunda parte deste artigo</em></strong>: <a href="https://medium.com/@gabrielpbreis/outliers-como-definir-detectar-e-tratar-parte-2-5240149f8f98">https://medium.com/@gabrielpbreis/outliers-como-definir-detectar-e-tratar-parte-2-5240149f8f98</a></p><p><strong><em>Link para o projeto deste artigo</em></strong>: <a href="https://github.com/gabrielpastega/used-german-cars-price-prediction">https://github.com/gabrielpastega/used-german-cars-price-prediction</a></p><blockquote><strong><em>Referências para as 3 partes do artigo</em></strong>:</blockquote><blockquote>Z-Score — Acervo Lima<br><a href="https://acervolima.com/z-score-em-estatisticas/">https://acervolima.com/z-score-em-estatisticas/</a></blockquote><blockquote>Clustering with DBSCAN — StatQuest</blockquote><blockquote><a href="https://www.youtube.com/watch?v=RDZUdRSDOok">https://www.youtube.com/watch?v=RDZUdRSDOok</a></blockquote><blockquote>How to remove Outliers For Machine Learning — Analytics Vidhya <a href="https://medium.com/analytics-vidhya/how-to-remove-outliers-for-machine-learning-24620c4657e8">https://medium.com/analytics-vidhya/how-to-remove-outliers-for-machine-learning-24620c4657e8</a></blockquote><blockquote>A complete guide for detecting and dealing with Outliers — Regenerative Today<br><a href="https://regenerativetoday.com/a-complete-guide-for-detecting-and-dealing-with-outliers/">https://regenerativetoday.com/a-complete-guide-for-detecting-and-dealing-with-outliers/</a></blockquote><blockquote>Cleaning Up Data From Outliers — PluralSight</blockquote><blockquote><a href="https://www.pluralsight.com/guides/cleaning-up-data-from-outliers">https://www.pluralsight.com/guides/cleaning-up-data-from-outliers</a></blockquote><blockquote>5 Ways to detect outliers (…) — Towards Data Science</blockquote><blockquote><a href="https://towardsdatascience.com/5-ways-to-detect-outliers-that-every-data-scientist-should-know-python-code-70a54335a623">https://towardsdatascience.com/5-ways-to-detect-outliers-that-every-data-scientist-should-know-python-code-70a54335a623</a></blockquote><blockquote>Robust Scaler — Proclus Academy</blockquote><blockquote><a href="https://proclusacademy.com/blog/robust-scaler-outliers/">https://proclusacademy.com/blog/robust-scaler-outliers/</a></blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7bdd7443fe6d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Outliers: Como definir, detectar e tratar — Parte 2]]></title>
            <link>https://medium.com/@gabrielpbreis/outliers-como-definir-detectar-e-tratar-parte-2-5240149f8f98?source=rss-620af36ceece------2</link>
            <guid isPermaLink="false">https://medium.com/p/5240149f8f98</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[statistics]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[data-analysis]]></category>
            <dc:creator><![CDATA[gabrielpastega]]></dc:creator>
            <pubDate>Tue, 11 Apr 2023 13:44:54 GMT</pubDate>
            <atom:updated>2023-05-16T21:34:41.578Z</atom:updated>
            <content:encoded><![CDATA[<h3>Outliers: Como definir, detectar e tratar — Parte 2</h3><h4>Sete Métodos para detectar Outliers</h4><p>Após entendermos o que são outliers (<a href="https://medium.com/@gabrielpbreis/outliers-como-definir-detectar-e-tratar-parte-1-50bf8e5e229a">parte 1 do artigo</a>), podemos seguir e tentar diversas abordagens para detectar os possíveis outliers presentes em nosso dataset.</p><h3><strong>1. Gráfico Boxplot</strong></h3><p>O boxplot é uma ferramenta gráfica que representa a distribuição dos dados por meio de quartis e outliers. Os valores abaixo do primeiro quartil ou acima do terceiro quartil são considerados outliers e são representados como pontos fora do limite superior e inferior do boxplot.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/580/0*cgdEaROQP_n1jes-" /><figcaption>Imagem 3: Gráfico Boxplot da coluna <em>price</em> com valores abaixo de 83.887</figcaption></figure><p>Para gerar o gráfico boxplot você pode utilizar as bibliotecas Matplotlib com a função <em>matplotlib.pyplot.boxplot()</em>, Seaborn com a função <em>seaborn.boxplot()</em> e Pandas com a função <em>pandas.DataFrame.boxplot()</em>. Essas são apenas algumas das bibliotecas mais populares para plotar boxplots em Python, mas existem diversas outras disponíveis.</p><h3>2. O Método de distância interquartil (IQR)</h3><p>É uma técnica estatística usada para identificar outliers em um conjunto de dados. Ele se baseia nos quartis do conjunto de dados e no intervalo interquartil (IQR), que é definido como a diferença entre o terceiro quartil (Q3) e o primeiro quartil (Q1).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*sUfMzxmE70twfUJR" /><figcaption>Imagem 4: Representação gráfica do método IQR em relação à distribuição normal</figcaption></figure><p>Os outliers são definidos como valores que estão abaixo do limite inferior (Q1–1,5 * IQR) ou acima do limite superior (Q3 + 1,5 * IQR).</p><p>O método de distância interquartil é simples e robusto, pois não é influenciado por valores extremos ou assimetrias na distribuição dos dados. Ele é amplamente utilizado em análises estatísticas e em machine learning para identificar valores anômalos que possam prejudicar a qualidade do modelo. Em Python, podemos calcular os quartis e o IQR utilizando a biblioteca NumPy, e identificar os outliers conforme o código abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/592/0*gfxJAD241bns3ytB" /><figcaption>Imagem 5: Construção do método IQR utilizando a biblioteca NumPy</figcaption></figure><h3>3. Método do Desvio Padrão</h3><p>É uma técnica utilizada para identificar outliers em um conjunto de dados. Essa técnica é baseada no cálculo da média e do desvio padrão dos dados, e considera como outlier qualquer valor que esteja a uma certa distância (em desvios padrão) da média.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/593/0*SvTdvACq-dYGleMb" /><figcaption>Imagem 6: Construção do método de Desvio Padrão com a biblioteca NumPY</figcaption></figure><h3>4. Teste de Z-Score</h3><p>O teste Z-score é uma técnica estatística para identificar outliers com base na distribuição dos dados. Ele calcula o desvio padrão de cada ponto de dados em relação à média dos dados e expressa essa diferença em unidades de desvio padrão.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/782/0*BY1I1-iOWQHyAza-" /><figcaption>Imagem 7: Representação gráfica do Z-Score</figcaption></figure><p>Os valores Z com um valor absoluto superior a 3 são considerados outliers. Isso ocorre porque um valor Z de 3 indica que o ponto de dados está a três desvios padrão da média, o que é muito improvável em uma distribuição normal. Para ver os valores de referência <a href="https://www.ztable.net/">clique aqui</a>.</p><p>Para realizar a detecção, você pode utilizar a biblioteca Scipy conforme o exemplo abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/579/0*pXPK7uDLSJ4kaJOR" /><figcaption>Imagem 8: Cálculo do Z-Score utilizando a biblioteca Scipy</figcaption></figure><p>Ou pode realizar a construção da fórmula manualmente:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/583/0*Egw90rRS7oWXZMRW" /><figcaption>Imagem 9: Cálculo do Z-Score utilizando a biblioteca NumPy</figcaption></figure><h3>5. Isolation Forest:</h3><p>O algoritmo de Isolation Forest identifica anomalias em um conjunto de dados através de uma série de árvores de decisão aleatórias, cada uma com um subconjunto aleatório dos dados. A ideia é que, se um ponto é uma anomalia, ele deve ser mais fácil de isolar do que os pontos normais.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/981/0*y9aM0ofokmFsm-Ln" /><figcaption>Imagem 10: Representação Gráfica de como funciona o método de Isolation Forest</figcaption></figure><p>O processo de isolamento começa dividindo o conjunto de dados em duas partes aleatórias usando um valor de recurso aleatório como ponto de corte. Esse processo é repetido até que cada ponto esteja em seu próprio ramo da árvore ou atinja um limite máximo de profundidade. Os pontos que são isolados em menos etapas são considerados mais anômalos.</p><p>O algoritmo então combina as pontuações de anomalia de cada árvore de decisão para obter uma pontuação geral de anomalia para cada ponto. Pontuações mais altas indicam maior probabilidade de ser uma anomalia.</p><p>O Isolation Forest está disponível em diversas bibliotecas de machine learning em Python, como Scikit-learn e PyOD.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/582/0*IvJWxIZWVvqWb_Tn" /><figcaption>Imagem 11: Código utilizando a biblioteca Scikit-learn para aplicar o método de Isolation Forest</figcaption></figure><h3>6. DBSCAN (Density-Based Spatial Clustering of Applications with Noise)</h3><p>É um método de clustering em que os pontos são agrupados com base em sua densidade, e pontos que ficam isolados em regiões com baixa densidade são rotulados como ruído ou outliers. O método é útil para conjuntos de dados com distribuições não lineares e não gaussianas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/850/0*N18ozdvi1LqkcR-8" /><figcaption>Imagem 12: Representação gráfica do método DBSCAN</figcaption></figure><p>A ideia básica do DBSCAN é que um ponto é considerado central se ele tem um número mínimo de pontos dentro de uma determinada distância (o “raio” do cluster), e pontos que estão dentro desse raio são considerados parte do mesmo cluster. Os pontos que estão longe de todos os outros pontos são considerados ruído ou outliers.</p><p>O DBSCAN tem dois parâmetros principais: o raio do cluster (eps) e o número mínimo de pontos necessários para formar um cluster (min_samples). É possível ajustar esses parâmetros para controlar a sensibilidade do método à densidade dos pontos.</p><p>Para utilizar o DBSCAN para identificar outliers, podemos ajustar o modelo aos dados e rotular os pontos como ruído ou não. Em seguida, os pontos rotulados como ruído podem ser considerados outliers.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/586/0*abm4q2PwPbVE8ET1" /><figcaption>Imagem 13: Criação do código com DBSCAN utilizando a biblioteca Scikit-Learn</figcaption></figure><h3>7. Local Outlier Factor:</h3><p>É um algoritmo de detecção de outliers baseado em densidade que pode ser usado para identificar pontos que são considerados “anômalos” em relação ao resto do conjunto de dados. O algoritmo atribui um score LOF para cada ponto, onde valores mais altos indicam maior probabilidade de ser um outlier.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/0*5z0CtaKooeNjgAMc" /><figcaption>Imagem 14: Representação gráfica do método LOF</figcaption></figure><p>O LOF funciona calculando a densidade local de cada ponto em relação aos seus k vizinhos mais próximos e comparando essa densidade com a densidade local dos vizinhos. Um ponto que tem uma densidade local significativamente menor do que a de seus vizinhos é considerado um outlier. O LOF mede a diferença de densidade de um ponto em relação aos seus vizinhos, normalizado pelo número de vizinhos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/537/0*DbRaQdeXarvCm2wg" /><figcaption>Imagem 15: Código do método LOF utilizando a biblioteca Scikit-learn</figcaption></figure><p>No próximo artigo veremos maneiras para tratar os outliers identificados e verificar suas mudanças em nosso dataset.</p><p><strong><em>Link para a terceira parte deste artigo</em></strong>: <a href="https://medium.com/@gabrielpbreis/outliers-como-definir-detectar-e-tratar-parte-3-7bdd7443fe6d">https://medium.com/@gabrielpbreis/outliers-como-definir-detectar-e-tratar-parte-3-7bdd7443fe6d</a></p><p><strong><em>Link para o projeto deste artigo</em></strong>: <a href="https://github.com/gabrielpastega/used-german-cars-price-prediction">https://github.com/gabrielpastega/used-german-cars-price-prediction</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5240149f8f98" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Outliers: Como definir, detectar e tratar — Parte 1]]></title>
            <link>https://medium.com/@gabrielpbreis/outliers-como-definir-detectar-e-tratar-parte-1-50bf8e5e229a?source=rss-620af36ceece------2</link>
            <guid isPermaLink="false">https://medium.com/p/50bf8e5e229a</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[statistics]]></category>
            <dc:creator><![CDATA[gabrielpastega]]></dc:creator>
            <pubDate>Tue, 11 Apr 2023 13:24:46 GMT</pubDate>
            <atom:updated>2023-04-11T13:45:43.386Z</atom:updated>
            <content:encoded><![CDATA[<h3>Outliers: Como definir, detectar e tratar — Parte 1</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*-gRxhGSZw3Uas2kl" /></figure><p>O uso de algoritmos de machine learning torna-se mais comum em diversas áreas, como finanças, saúde e marketing. Porém, uma questão que frequentemente surge é como lidar com outliers (valores extremos, discrepantes) que distorcem os resultados e podem comprometer a eficácia do modelo.</p><p>Durante o desenvolvimento de um projeto machine learning para predição de preços verifiquei que o conjunto de dados que utilizava possuía diversos outliers. Desta forma decidi investigar e verificar qual a melhor maneira de lidar neste modelo e em projetos futuros.</p><p>Durante este artigo, utilizaremos a coluna <em>price</em> do dataset Germany Cars Dataset disponível no Kaggle (<a href="https://www.kaggle.com/datasets/ander289386/cars-germany">veja aqui)</a>.</p><h3>O que são Outliers?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/570/0*1PNM7twCEZ9na0z6" /><figcaption>Imagem 1: Gráfico Scatterplot da coluna <em>price</em> com outliers destacados</figcaption></figure><p>Do ponto de vista estatístico, pode-se definir que outliers são observações que se afastam significativamente da tendência geral ou padrão de um conjunto de dados. Essas observações podem ser valores muito altos ou baixos em relação à média, desvio padrão ou outras medidas de centralidade e dispersão dos dados.</p><p>Utilizando a função <em>describe</em> da biblioteca Pandas em um DataFrame, é possível verificar rapidamente se ocorre este distanciamento conforme destacado na imagem abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/300/0*h77Eytb0JnmyrnL1" /><figcaption>Imagem 2: Tabela com valores obtidos utilizando a função describe da biblioteca Pandas</figcaption></figure><p>Pode-se notar que nas colunas <em>mileage</em>, <em>price</em> e <em>hp</em> o valor máximo (<em>max</em> na tabela) em relação ao terceiro quartil (representado como <em>75%</em> na tabela) possuem uma grande diferença quando comparados a diferença entre o terceiro quartil e o segundo quartil (<em>50%</em> na tabela, também chamado de mediana). Este é um indicativo da presença de outliers dentro do conjunto de dados.</p><h3>Como ocorrem os outliers?</h3><p>Os outliers podem ocorrer por diversas razões e em diferentes contextos. Alguns dos principais motivos que podem levar à presença de outliers em um conjunto de dados incluem:</p><ol><li>Erros de medição: valores incorretos ou fora do intervalo de medição podem ser registrados por erro humano ou do equipamento.</li><li>Amostragem inadequada: quando a amostra coletada não representa adequadamente a população ou quando se extrai de diversas fontes, podem surgir valores que não refletem a distribuição geral.</li><li>Fenômenos raros: eventos raros, extremos ou inesperados podem ocorrer em algumas observações, resultando em valores discrepantes.</li><li>Viés de seleção: a seleção de casos destoantes ou não representativos pode levar à presença de outliers.</li><li>Processos naturais: em alguns processos naturais, como terremotos, chuvas intensas, incêndios, entre outros, podem ocorrer valores extremos que não podem ser previstos ou controlados.</li><li>Fraude: em alguns casos, os outliers podem ser o resultado de fraude ou manipulação de dados.</li></ol><p>Em resumo, outliers podem ocorrer por diversos fatores e devem ser analisados cuidadosamente para determinar sua origem e impacto nos resultados do modelo.</p><p>Na segunda parte discutiremos maneiras para detectar os outliers existentes dentro de nosso conjunto de dados.</p><p><strong><em>Link para a segunda parte deste artigo</em></strong>: <a href="https://medium.com/@gabrielpbreis/outliers-como-definir-detectar-e-tratar-parte-2-5240149f8f98">https://medium.com/@gabrielpbreis/outliers-como-definir-detectar-e-tratar-parte-2-5240149f8f98</a></p><p><strong><em>Link para o projeto deste artigo</em></strong>: <a href="https://github.com/gabrielpastega/used-german-cars-price-prediction">https://github.com/gabrielpastega/used-german-cars-price-prediction</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=50bf8e5e229a" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>