<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Dalton Costa on Medium]]></title>
        <description><![CDATA[Stories by Dalton Costa on Medium]]></description>
        <link>https://medium.com/@dalton.bc96?source=rss-231f39aa4f68------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/2*q2BRjsmadnyIVl0XJLYPGQ.jpeg</url>
            <title>Stories by Dalton Costa on Medium</title>
            <link>https://medium.com/@dalton.bc96?source=rss-231f39aa4f68------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 07:51:21 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@dalton.bc96/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Um guia de como criar um dicionário de dados para a sua pesquisa]]></title>
            <link>https://medium.com/datapsico/dicionario-de-dados-ac3ce726c34b?source=rss-231f39aa4f68------2</link>
            <guid isPermaLink="false">https://medium.com/p/ac3ce726c34b</guid>
            <category><![CDATA[dicionário-de-dados]]></category>
            <category><![CDATA[psicodata]]></category>
            <category><![CDATA[dicionário]]></category>
            <category><![CDATA[banco-de-dados]]></category>
            <category><![CDATA[pesquisa]]></category>
            <dc:creator><![CDATA[Dalton Costa]]></dc:creator>
            <pubDate>Fri, 29 Oct 2021 17:55:41 GMT</pubDate>
            <atom:updated>2021-10-29T17:55:41.560Z</atom:updated>
            <content:encoded><![CDATA[<p>No meu último texto aprendemos <a href="https://medium.com/psicodata/organizando-banco-de-dados-uma-introducao-ao-conceito-de-tidy-data-1296815aa100">como organizar um banco de dados seguindo o método do <em>Tidy Data</em></a>. Nesse post vamos seguir aprendendo como organizar melhor nossos dados e obtermos análises melhores.</p><blockquote>Já aconteceu com você de receber um banco de dados de um colega, ou até mesmo com os seus bancos de dados, e você se perguntou: o que significa essa variável? Essa é uma variável categórica ou numérica? Essa situação é muito comum e nos faz perder um certo tempo tentando entender o que aquele dado significa.</blockquote><p>Para evitar esse tipo de situação e para facilitar a vida de todas as pessoas envolvidas no projeto, convido a você a partir de hoje a sempre criar um <strong>dicionário de dados</strong> para os seus bancos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/799/1*bS8cZUPhdKI6454pXhBrlQ.png" /></figure><h3><strong>O que é um dicionário de dados?</strong></h3><p>Um dicionário de dado armazena e comunica informações sobre um banco de dados. É considerado uma lista de dados com os principais termos e métricas do banco de dados que está vinculado. Esse material também pode ser entendido como um glossário dos seus dados. Embora pareça simples, ele é crucial para alinhar o funcionamento da equipe que irá trabalhar com os dados e manter todas as informações padronizadas. O conteúdo do dicionário de dados pode variar, mas normalmente inclui alguns itens como:</p><p>● Nomes e definições das variáveis;</p><p>● Propriedades detalhadas dos dados (tipo de dados, tamanho, se há valores nulos);</p><p>● Sequência das perguntas ou da coleta das variáveis;</p><p>● Dados de referência (para fazer classificações e domínios descritivos);</p><p>● Codificação para dados ausentes.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/953/1*K28B9y_12z1SNoFyHXnZRw.png" /><figcaption>Figura 1. Exemplo de uma dicionário de dados. Criado pelo autor.</figcaption></figure><h3><strong>Informações relevantes em um dicionário de dados</strong></h3><h4><strong>Variável</strong></h4><p>Um dos primeiros passos na confecção de uma pesquisa ou levantamento de dados é definir o que será avaliado, ou seja, quais são as variáveis que irão ajudar a responder a minha pergunta principal. Ao determinar quais são as variáveis que irão compor o seu banco de dados, você já pode iniciar a confecção do seu dicionário de variáveis.</p><h4><strong>Nome da Variável</strong></h4><p>O nome da variável representa o rótulo* (ou label) que você quer atribuir a sua variável e que representará a variável no banco de dados. <strong>Ao contrário do item anterior, nesse item você deve colocar um nome simples, sem acentuação, caracteres especiais e sem espaços entre palavras.</strong></p><p>Por exemplo, imagine que você irá utilizar uma escala psicométrica e cada item dessa escala (E) será uma variável. No nome da variável você pode colocar um código simples que presente a variável, como: E1 e E2.</p><h4><strong>Tipo de Variável</strong></h4><p>Saber o tipo de variável que contém no banco é fundamental para analisar os dados. Muitas vezes é necessário recalcular uma variável para deixá-la no formato ideal, esse cenário poderia ser evitado com um bom planejamento da coleta de dados e a utilização de dicionários de dados.</p><p>Uma variável pode ser numérica ou categórica. Em especial nas variáveis categóricas, é importante especificar as categorias e se essas categorias possuem uma ordem de importância ou não. Então, sinalize sempre no tipo de variável se ela é numérica ou categórica, especifique ainda se as categorias possuem uma ordem de importância ou hierárquica (como, escolaridade ou grau de uma doença). Também há variáveis do tipo tempo (ou time), que representa alguma informação de tempo, como: segundos, minutos, horas, datas. Nesses casos, seria importante discriminar qual das medidas de tempo estão representadas na variável.</p><h4><strong>Descrição</strong></h4><p>O espaço para descrição é destinado para incluir maiores detalhes sobre determinada variável. Uma descrição detalhada é encorajada para que todos possam entender o que realmente aquela variável representa, qual a razão dela está ali e como deve ser tratada durante as análises.</p><p>Você pode acrescentar também detalhes de como e quando essa variável foi coletada ou em que momentos ela não será coletada. Com essas informações em mãos, você pode, por exemplo, ter maiores detalhes sobre possíveis <em>missings</em> no seu banco de dados.</p><p>Ao mesmo tempo, evite descrições desnecessárias e circulares, como por exemplo: “a idade do paciente representa quanto tempo o paciente está vivo”. Diga informações diretas e relevantes, como: “a idade fornecida pelo paciente em anos”. Dessa forma, você sabe que a ideia foi fornecida diretamente os dados da variável em questão foi fornecido pelo paciente e está em anos.</p><h4><strong>Valores Permitidos</strong></h4><p>No campo de valores permitidos você deve fornecer todos os valores que são possíveis de serem coletados. Para as variáveis numéricas indique o valor mínimo e máximo que podem ser informados no seu banco. Já para as variáveis categóricas informe o número da categoria, bem como o rótulo associada a ela.</p><p>Por exemplo, se a variável gênero tiver codificações de 1 e 2, indique no dicionário o que significa esses valores respectivamente (1 = masculino e 2 = feminino).</p><h4><strong>Possui Valores Nulos</strong></h4><p>Durante o processo de análise de dados os valores faltantes (<a href="https://medium.com/psicodata/valores-missing-parte-1-4382bb026660"><em>missings</em></a>) sempre são um problema. Há momentos em que não é possível coletar determinada variável e os dados daquele caso ficarão em branco ou vazio. Isso é perfeitamente possível no mundo real, mas é um problema durante o processo de análise de dados. Portanto, ao fazer o exercício da construção de um dicionário de variáveis você pode evitar dados nulos ou <em>missings</em>. Mas se não há saída, sinalize no seu dicionário de dados que aquela variável pode ter valores nulos ou faltantes.</p><h4><strong>Anotações</strong></h4><p>Ao final do seu dicionário de dados você pode criar um campo de anotações. Coloque nesse campo demais informações que não foram até então declaradas. Como, por exemplo, a referência que você utilizou para criar as categorias de uma variável ou o estudo que tem uma variável parecida e que fomenta a discussão dos seus resultados.</p><h3><strong>Considerações Finais</strong></h3><p>Vimos nesse artigo a importância de se criar dicionários de dados desde o início do planejamento da sua pesquisa. Ao criar um dicionário de dados você facilitará a comunicação entre membros da equipe e evitará erros comuns da coleta de dados. Você estará ainda melhorando a qualidade dos seus dados, bem como obtendo resultados mais fidedignos na sua análise de dados.</p><p>Você pode criar um dicionário de dados utilizando o <em>Excel</em>, <em>Spreadsheet</em> ou o <em>Word</em>. O dicionário de dados deve ser um documento simples e democrático, que facilitará o seu trabalho e dos seus colegas.</p><p>E o que você achou da ideia de criar dicionário de dados? Compartilha esse artigo com os seus contatos e espalhe a ideia de construir diconário de dados!</p><p>Espero que tenha gostado e qualquer dúvida, comentário ou observação são muito bem-vindos! Fique à vontade para se manifestar e vamos aprender juntos! Se preferir, você pode me contatar pelo dalton.bc96@gmail.com</p><p>Obrigado pela leitura!</p><h3>Referências</h3><ul><li><a href="https://www.usgs.gov/products/data-and-tools/data-management/data-dictionaries">Data Dictionaries</a></li><li><a href="https://help.osf.io/hc/en-us/articles/360019739054-How-to-Make-a-Data-Dictionary">How to Make a Data Dictionary</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ac3ce726c34b" width="1" height="1" alt=""><hr><p><a href="https://medium.com/datapsico/dicionario-de-dados-ac3ce726c34b">Um guia de como criar um dicionário de dados para a sua pesquisa</a> was originally published in <a href="https://medium.com/datapsico">Datapsico</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Organizando banco de dados: uma introdução ao conceito de Tidy Data]]></title>
            <link>https://medium.com/datapsico/organizando-banco-de-dados-uma-introducao-ao-conceito-de-tidy-data-1296815aa100?source=rss-231f39aa4f68------2</link>
            <guid isPermaLink="false">https://medium.com/p/1296815aa100</guid>
            <category><![CDATA[pesquisa]]></category>
            <category><![CDATA[tidy-data]]></category>
            <category><![CDATA[psicologia]]></category>
            <category><![CDATA[banco-de-dados]]></category>
            <category><![CDATA[psicodata]]></category>
            <dc:creator><![CDATA[Dalton Costa]]></dc:creator>
            <pubDate>Fri, 20 Aug 2021 18:30:29 GMT</pubDate>
            <atom:updated>2021-08-20T18:30:29.357Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OZ9Sai5KIp1SYj2AFxubGQ.jpeg" /><figcaption><a href="https://stocksnap.io/photo/guy-man-SWRREC0K3A">Photo</a> by <a href="https://stocksnap.io/author/1949">Startup Stock Photos</a> on <a href="https://stocksnap.io/">StockSnap</a></figcaption></figure><p>É comum ouvir na área de ciência de dados que mais da metade do tempo é gasto com limpeza dos dados. Como você já sabe, se o banco de dados não está limpo e organizado de nada adianta uma boa análise.</p><p>Seguindo o fluxograma proposto por <a href="https://r4ds.had.co.nz/">Wickham &amp; Grolemund (2017)</a> podemos observar que a exploração dos dados segue um constante ciclo de transformação e visualização. Mas destaco o segundo passo, “Tidy”, o que será isso?! Se você quer aprender como montar um banco de dados corretamente e conhecer um pouco mais sobre o conceito de Tidy Data, esse é o artigo certo para você.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/517/0*0m6cXHJvH_gcjDXs.png" /><figcaption>Processo de exploração de dados. Criado por <a href="https://r4ds.had.co.nz/">Wickham &amp; Grolemund (2017)</a></figcaption></figure><p>Nesse artigo vamos abordar de forma bem resumida o que é Tidy Data. Você pode consultar uma definição mais completa consultando o artigo do <a href="http://vita.had.co.nz/papers/tidy-data.pdf">Hadley Wickham</a>, que foi quem formulou esse conceito.</p><h3>O que é o Tidy Data?</h3><p>No artigo é definido como:</p><blockquote>Tidy datasets provide a standardized way to link the <strong>structure</strong> of a dataset (its physical layout) with its <strong>semantics</strong> (its meaning).</blockquote><blockquote>(Tradução: Conjuntos de dados organizados que fornecem uma forma padronizada de ligar a <strong>estrutura</strong> de um conjunto de dados (a sua estrutura física) com a sua <strong>semântica</strong> (o seu significado).</blockquote><p>Para entender essa definição, você deve primeiro entender o que significa estrutura e semântica.</p><ul><li><strong>Estrutura </strong>é a forma e o formato dos seus dados. Em estatísticas, a maioria dos conjuntos de dados são tabelas de dados retangulares (data frames) e são formados por linhas e colunas.</li><li><strong>Semântica</strong> é o significado do conjunto de dados. Os conjuntos de dados são uma coleção de valores, quantitativos ou qualitativos . Esses valores são organizados de 2 maneiras — variável e observação. Uma <strong>variável</strong> contém todos os valores que medem o mesmo atributo (variável) subjacente (como altura, temperatura, duração) entre unidades. Uma <strong>observação </strong>contém todos os valores medidos em uma mesma unidade (como uma pessoa, ou um dia, ou uma raça) através de atributos.</li></ul><h3>As 3 regras do Tidy Data</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*VqFwE_jeg8-FKhZR.png" /><figcaption>Imagem retirada do livro “<a href="https://r4ds.had.co.nz/tidy-data.html#fig:tidy-structure">R for Data Science</a>”.</figcaption></figure><ul><li>Cada variável é uma coluna</li><li>Cada observação é uma fila</li><li>Cada tipo de unidade observacional é uma tabela</li></ul><p>A imagem acima é uma boa representação da estrutura Tidy Data. O <em>data frame</em> apresentado na imagem pode parecer apenas com tabelas que você costuma ver todo o dia, mas você precisa entender que os dados não chega até você nesse formato naturalmente, por vezes os dados são colhidos e armazenados separadamente, e o seu trabalho é juntá-los em uma única tabela.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/407/1*FklTzuZh_orqJCdHcWQ38Q.png" /><figcaption>Exemplo de banco de dados no formato Tidy Data.</figcaption></figure><p>A melhor forma de se entender o porquê é importante ter os dados arrumados é observando dados bagunçados e como eles podem ser problemáticos.</p><h3>5 sinais de que seu banco de dados está bagunçado</h3><p>Agora que você sabe como é um dado organizado (seguindo o método Tidy Data), para entender o que é um dado bagunçado é fácil! Seria qualquer dado que não segue a estrutura de dados citada acima.</p><p>O artigo do<a href="http://vita.had.co.nz/papers/tidy-data.pdf"> Hadley Wickham</a> cita 5 erros comuns na hora de construir e organizar um banco de dados:</p><h4>1 — Os cabeçalhos das colunas são valores, não nomes de variáveis.</h4><p>Veja esse exemplo que mostra a relação entre renda e religião:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*lgvQS5AdReVulTuE.png" /></figure><p>Observe que, apesar de ser bagunçado, esse arranjo pode ser útil em alguns casos, mas não está dentro do padrão Tidy Data e pode causar confusão na hora de manipular os dados.</p><p>Veja a versão correta de tabular esses dados, seguindo o padrão Tidy Data:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/291/1*jwvS44WgtSiIplILAFYCbQ.png" /></figure><h4>2 — Várias variáveis ​​são armazenadas em uma coluna</h4><p>Agora vamos explorar o conjunto de dados de tuberculose da Organização Mundial da Saúde. Os registros mostram a contagem de casos de tuberculose por país, ano e grupo demográfico.</p><p>Os grupos demográficos são divididos por sexo (m, f) e idade (0–14, 15–24, 25–34, 35–44, 45–54, 55–64, 65+, desconhecido). Veja como os dados foram tabulados:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*MGs8RJb1Y5B3qmXB.png" /></figure><p>A tabela acima coloca em uma mesma coluna os valores relativos a sexo e à idade. A coluna m014, por exemplo, é relativa a todos os homens de até 14 anos. A coluna f2534 é relativa a todas as mulheres de 35 a 44 anos. O ideal é que cada variável possua sua própria coluna. Veja como deveria ser organizado esses dados pelo padrão Tidy Data:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/288/1*2sCI2OqD9Zb6k97YBv912A.png" /></figure><h4>3 — As variáveis ​​são armazenadas em linhas e colunas</h4><p>Observe o banco abaixo que possui variáveis ​​em colunas individuais (id, ano, mês), espalhadas por colunas (dia, d1 — d31) e por linhas (tmin, tmax) (temperatura mínima e máxima):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/526/1*CNVyThU6p_54xtyQFBVpaQ.png" /></figure><p>Como você deve ter percebido esse conjunto de dados está confuso. As variáveis ​​são armazenadas em linhas (tmin, tmax) e colunas (dias). Veja como deveria ser organizado esses dados seguindo o padrão Tidy Data:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/576/1*KwooKEJfL4Xobe59tp1JJA.png" /></figure><h4>4 — Vários tipos de unidades de observação são armazenados na mesma tabela</h4><p>O conjunto de dados que iremos analisar agora mostra os maiores sucessos da Billboard em 2000. Este conjunto de dados registra a data em que uma música entrou pela primeira vez no Top 100 da Billboard. Possui variáveis ​​para artista, faixa, data inserida, data de pico, gênero, tempo, classificação e semana.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*B3bNt_x3cCCd9qgG.png" /></figure><p>Este conjunto de dados contém observações sobre dois tipos de unidades de observação: a música e sua classificação em cada semana. Como consequência disso, o artista e o tempo se repetem para todas as músicas de cada semana. Além disso, o número de semanas pode ser infinito.</p><p>Nesse caso, para seguir o padrão do Tidy Data, é necessário dividir esses dados em 2 bancos diferentes (o conjunto de dados da música e o conjunto de dados da classificação). Veja como ficaria:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/675/1*LJyASfO-_e_eCh5Vl0zmtw.png" /></figure><p>Veja que nesse caso foi criado uma id para cada música e essa mesma id foi utilizada para identificar no conjunto de dados classificação.</p><h4>5 — Uma única unidade de observação é armazenada em várias tabelas</h4><p>Vamos observar agora a mesma estrutura de dados em diferentes bancos. Isso é comum por exemplo quando se tem o mesmo levantamento de dados anualmente e os dados são registrados em arquivos separados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/541/1*49v0fdDb2zgGfucu5gcwkQ.png" /></figure><p>Nesses casos é simples, basta juntar os dados em um único arquivo e manter a mesma estrutura dos dados. Veja como fica esse banco de dados seguindo o padrão Tidy Data:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/276/1*LTPslkLo6psYfK7dXRYqFA.png" /></figure><h3>Por que o Tidy Data é importante?</h3><p>A importância de ter dados organizados é simples de entender. Com uma estrutura padronizada para os seus dados, você gasta menos tempo na limpeza e organização de dados e mais tempo para se concentrar em responder ao problema em questão.</p><p>Também é uma boa prática ter seus dados neste formato, o que os torna reproduzíveis e fáceis de serem entendidos por outras pessoas.</p><p>Outra razão é que o conceito de Tidy Data é compatível com as ferramentas tradicionais de análise de dados, como R e Python. Exemplos de pacotes que facilitam a organização dos dados no R é <a href="https://www.tidyverse.org/packages/">tidyverse</a> e em Python o <a href="https://pandas.pydata.org/docs/">Pandas</a>.</p><p>Aqui no PsicoData já falamos <a href="https://medium.com/psicodata/transformando-colunas-em-linhas-com-tidyr-a649f287a238">como utilizar o tidyr para organizar os seus dados</a>. Confira esse tutorial escrito pelo <a href="https://medium.com/u/c39371fd031c">Gabriel Rodrigues</a>!</p><h3>Considerações Finais</h3><p>Nesse artigo aprendemos sobre o conceito de Tidy Data e o quanto ele pode facilitar a vida do cientista de dados. Quando temos nossos dados organizados, consequentemente, teremos análises precisas e um melhor entendimento dos dados.</p><p>Vimos também os 5 erros mais comuns na hora de organizar e construir um banco de dados. Pode parecer simples, mas é muito comum encontrarmos bancos de dados que precisam ser ajustados e que consomem muitas horas de trabalho.</p><p>E o que você achou do conceito de Tidy Data? Compartilha esse artigo com os seus contatos e espalhe a ideia de construir banco de dados mais organizados!</p><p>Espero que tenha gostado e qualquer dúvida, comentário ou observação são muito bem-vindos! Fique à vontade para se manifestar e vamos aprender juntos! Se preferir, você pode me contatar pelo dalton.bc96@gmail.com</p><p>Obrigado pela leitura!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1296815aa100" width="1" height="1" alt=""><hr><p><a href="https://medium.com/datapsico/organizando-banco-de-dados-uma-introducao-ao-conceito-de-tidy-data-1296815aa100">Organizando banco de dados: uma introdução ao conceito de Tidy Data</a> was originally published in <a href="https://medium.com/datapsico">Datapsico</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Analisando conversas de Whatsapp no R: conhecendo o poder da comunicação digital]]></title>
            <link>https://medium.com/datapsico/analisando-conversas-de-whatsapp-no-r-c3-a7-c3-a3o-digital-2243104f0a05?source=rss-231f39aa4f68------2</link>
            <guid isPermaLink="false">https://medium.com/p/2243104f0a05</guid>
            <category><![CDATA[r]]></category>
            <category><![CDATA[namorados]]></category>
            <category><![CDATA[psicodata]]></category>
            <category><![CDATA[análise-de-texto]]></category>
            <category><![CDATA[whatsapp]]></category>
            <dc:creator><![CDATA[Dalton Costa]]></dc:creator>
            <pubDate>Sat, 12 Jun 2021 15:59:52 GMT</pubDate>
            <atom:updated>2021-06-29T14:12:38.152Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/626/0*dvpXd9vthhA3gbEv.jpg" /></figure><p>Dizem por aí que a comunicação é o segredo para se manter qualquer relacionamento. Particularmente, eu concordo com essa afirmação. Sem comunicação saudável, qualquer relacionamento está praticamente morto. Estamos vivendo um momento em que os relacionamentos e a comunicação passam pelos dispositivos eletrônicos, como o WhatsApp. As primeiras mensagens, momentos marcantes, discussões e diversões estão todos registrados. Que tal visitar essa história por meio da análise de dados? Afinal, estamos no dia mais amoroso do ano, o dia dos namorados ❤</p><blockquote>Esse artigo é dedicado a todas as pessoas que possuem alguém especial e quer conhecer um pouco mais sobre a comunicação nessa relação.</blockquote><p>Nesse artigo, analisaremos as mensagens do WhatsApp e você pode utilizar os seus próprios dados para testar. Você pode analisar conversas com o seu(ua) namorado(a), pais ou amigos. Usaremos a linguagem R nessa análise e diversos pacotes para deixar nossos gráficos incríveis.</p><p>O código completo desse artigo pode ser consultado nesse <a href="https://github.com/daltonbc96/whatsappAnalysis"><strong>link</strong></a>.</p><h3><strong>Faça sua análise utilizando o Shiny</strong></h3><p>Se você está muito ansioso e não quer implementar o código agora, você pode usar o Shiny app desenvolvido.</p><p>Para acessar o shiny acesse o link: <a href="https://daltonbc.shinyapps.io/whatsapp/">https://daltonbc.shinyapps.io/whatsapp/</a></p><p>Você precisa inserir seus de mensagens do whatsapp* e você pode consegui-los seguindo os passos abaixo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vmH8ijQG-1c5MP9DFqez4w.gif" /></figure><blockquote>* O Shiny app foi desenvolvido para ser apenas um visualizador de dados. No momento que você fecha a página ou recarrega a página os seus dados são apagados. Se você não se sente confortável em utilizar o app, você pode executar o código descrito abaixo para analisar localmente no seu computador.</blockquote><h3><strong>Baixando conversas do WhatsApp</strong></h3><p>Para baixar a conversa basta <strong>clicar nos três pontos no canto superior direito, em seguida clique em “mais” e “exportar conversa”</strong>. Escolha um aplicativo que te permita ter acesso ao arquivo gerado (dica: utilize o e-mail ou até mesmo o WhatsApp). Será gerado um arquivo do tipo <strong>.txt</strong> e é com ele que vamos trabalhar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Kz6w8rTLHZ3pmVJD7N54TQ.png" /></figure><p>Com os dados em mãos você pode inseri-lo no aplicativo. No canto superior esquerdo clique no campo escrito “selecione um arquivo”, então irá abrir uma janela para você selecionar o seu arquivo com final .txt.</p><p>Se você prefere executar o código na sua máquina, vou te ensinar a partir de agora!</p><h3>Analisando os dados</h3><p>Com os dados em mãos, você pode iniciar o processo de análise!</p><p>Você irá precisar dos seguintes pacotes:</p><pre>library(&quot;rwhatsapp&quot;)<br>library(&quot;dplyr&quot;)<br>library(&quot;ggplot2&quot;)<br>library(&quot;ggimage&quot;)<br>library(&quot;plotly&quot;)<br>library(&quot;wordcloud&quot;)<br>library(&quot;reshape2&quot;)<br>library(&quot;tm&quot;)<br>library(&quot;tidytext&quot;)<br>library(&quot;tidyr&quot;)<br>library(&quot;lubridate&quot;)<br>library(&quot;ggthemes&quot;)<br>library(&quot;hms&quot;)</pre><pre>#configure e certifique-se que o seu sistema R está em pt-br<br>#esse procedimento é importante para as datasSys.setlocale(&quot;LC_TIME&quot;, &quot;Portuguese&quot;)<br>Sys.getlocale(&quot;LC_TIME&quot;)</pre><h4>Carregando os dados</h4><p>O primeiro passo é carregar os dados no R e realizar alguns ajustes nos dados. A boa notícia é que existe um pacote que processa de forma automática dados vindos do WhatsApp. O nome do pacote é “rwhatsapp”. Portanto, o primeiro passo é carregar os dados (arquivo .txt) com a função “rwa_read()” do pacote “rwhatsapp”. Veja no código abaixo as demais configurações.</p><pre>chat &lt;- rwa_read(&#39;chat.txt&#39;) %&gt;% <br>  filter(!is.na(author)) %&gt;% <br>  filter(text != &#39;&lt;Arquivo de mídia oculto&gt;&#39;)%&gt;% <br>  mutate(<br>    date = ymd(date(time)),<br>    hours = as_hms(time),<br>    text = gsub(&#39;[[:punct:] ]+&#39;,&#39; &#39;,text ),<br>    text = iconv(text, from = &#39;UTF-8&#39;, to = &#39;ASCII//TRANSLIT&#39;),<br>    text = lapply(text, tolower),<br>    text = gsub(&#39;[[:punct:] ]+&#39;,&#39; &#39;,text ),<br>    text = trimws(gsub(&quot;\\w*[0-9]+\\w*\\s*&quot;, &quot;&quot;, text)),<br>    text = gsub(&#39;([[:alpha:]])\\1+&#39;, &#39;\\1&#39;, text )<br>  )</pre><blockquote>Nessa etapa, primeiro carregamos os dados e em seguida filtramos/removemos os casos que não possuem autor e que tivessem a mensagem ‘&lt;Arquivo de mídia oculto&gt;’. Essa mensagem pode variar de acordo com o seu aparelho e linguagem, alguns podem ser a mensagem “image omitted”. No restante, configuramos as variáveis de “data” e “hora”. E por fim, na variável “text”, passamos todas as palavras para minúscula, removemos acentos, pontuações, números e palavras com sequência de letras repetidas, como “kkkkkkkk”.</blockquote><h4>Dados descritivos</h4><p>Você pode verificar informações exatas com base nas datas das conversas, como: primeiro e último dia, dias corridos e ativos e o número de semanas.</p><pre>#Primeiro dia<br>min(chat$date)</pre><pre>#Último dia<br>max(chat$date)</pre><pre>#Dias ativos<br>length(unique(chat$date))</pre><pre>#Diferença do último para o primeiro dia<br>max(chat$date) - min(chat$date)</pre><pre>#Número de semanas <br>as.numeric(min(chat$date) %--% max(chat$date), &quot;weeks&quot;)</pre><h3>Número de mensagens ao longo do tempo</h3><p>O nosso primeiro gráfico irá apresentar o número de mensagens trocadas ao longo do tempo. Para isso, vamos contar quantas mensagens foram trocadas em cada dia. Observe que foi criado um gráfico do tipo série temporal e para facilitar sua visualização, atribuímos o gráfico criado ao pacote “plotly” utilizando a função “ggplotly()”. Essa função permite que você possa interagir com o gráfico.</p><p>Note, também, que foi incluído no gráfico uma linha azul, que representa a média smoothed average (<a href="https://pt.wikipedia.org/wiki/M%C3%A9dia_m%C3%B3vel"><em>média móvel</em></a>). Essa medida auxilia o leitor no processo de leitura de gráficos e evita <em>overplotting (</em>quando os dados de um gráfico se sobrepõem, tornando difícil ver pontos de dados individuais).</p><pre>fig &lt;-chat %&gt;%<br>  mutate(day = date) %&gt;%<br>  count(day) %&gt;%<br>  ggplot(aes(x = day, y = n)) +<br>  geom_line(aes(x = day, y = n), color=&quot;#F8766D&quot;) + <br>  geom_smooth(aes(x = day, y = n, col = &quot;Average&quot;), se = FALSE,  color = &quot;#00BFC4&quot;) +<br>  ylab(&quot;Quantidade de Mensagens&quot;) + xlab(&quot;Data da Conversa&quot;) +<br>  ggtitle(&quot;Número de mensagens do Whatsapp enviadas por dia&quot;)+<br>  theme_hc()</pre><pre>ggplotly(fig)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vCiVKRpA8dT95Sbq9CCzYg.png" /></figure><blockquote>Nesse gráfico podemos observar que, ao longo do tempo, a conversa começa a apresentar certa estabilidade na frequência de mensagens. É possível observar no gráfico que há picos, declínios e espaçamentos em diferentes períodos, o que pode evidenciar fenômenos dessa relação, como: brigas, maior aproximação, viagens.</blockquote><h3>Média de mensagens por dia da semana</h3><p>O objetivo do próximo gráfico é investigar qual o dia da semana apresenta a maior média de mensagens enviadas. Ou seja, qual dia da semana os usuários mais se falam em média.</p><p>A primeira etapa é contabilizar o número de semanas (variável “weeks”). Em seguida, vamos criar um subset chamado “wd”, que conterá a média de mensagens por dia da semana. Veja o código abaixo:</p><pre>weeks &lt;- as.numeric(min(chat$date) %--% max(chat$date) , &quot;weeks&quot;)</pre><pre>wd &lt;- chat %&gt;%<br>  mutate(day = weekdays(date, abbreviate = FALSE)) %&gt;%<br>  group_by(day) %&gt;%<br>  summarise(n = n(), avg = n() / weeks)%&gt;%<br>  mutate(day = ordered(day,levels = c(<br>  &quot;sábado&quot;,&quot;sexta-feira&quot;, &quot;quinta-feira&quot;,&quot;quarta-feira&quot;, <br>  &quot;terça-feira&quot;,&quot;segunda-feira&quot;,&quot;domingo&quot;)))</pre><pre>ggplot(wd, aes(x = day, y = avg)) +<br>  geom_bar(aes(fill = day), show.legend = FALSE, <br>  stat = &quot;identity&quot;) +<br>  geom_text(aes(<br>    x = day,<br>    y = (avg + 8),<br>    label = round(avg, 1)<br>  )) +<br>  labs(x = &quot;Dia da Semana&quot;,<br>       y = &quot;&quot;) +<br>  theme_hc() +<br>  theme(<br>    line = element_line(colour = &quot;black&quot;),<br>    panel.grid.minor.y = element_line(size = 0),<br>    panel.grid.major.y = element_line(size = 0)<br>  ) +<br>  coord_flip() +<br>  scale_y_continuous(position = &quot;right&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/574/1*uwRvfBJauqPOjO_o6y7HbA.png" /></figure><blockquote>Esse gráfico demonstra que o dia da semana mais falado é a quinta-feira, seguida da terça-feira e quarta-feira. Esse dado pode evidenciar o comportamento dos usuários, como, por exemplo, os dias da semana com maior ou menor contato presencial.</blockquote><h3>Volume de mensagens ao longo do dia</h3><p>E qual o horário do dia que os usuários mais conversam em média? É exatamente isso que vamos observar no próximo gráfico.</p><p>Diferentemente do gráfico anterior, vamos precisar contar o número de dias desde o início da conversa (variável “days”). Em seguida, vamos criar um subset chamado “tod”, que conterá a média de mensagens por minuto do dia. Veja que o gráfico contém muitas informações, por isso foi implementado a função de interação do Plotly e labels (eixo x) em horas. Veja o código abaixo:</p><pre>days &lt;- as.numeric(min(chat$date) %--% max(chat$date) , &quot;days&quot;)</pre><pre>tod &lt;- chat %&gt;%<br>  mutate(<br>    hour = as.numeric(substr(hours, 1, 2)),<br>    min = as.numeric(substr(hours, 4, 5)),<br>    sec = as.numeric(substr(hours, 7, 8)),<br>    Minuto = (hour * 60) + min<br>  ) %&gt;%<br>  count(Minuto) %&gt;%<br>  mutate(Media = n / days)</pre><pre>fig2 &lt;-<br>  ggplot(tod, aes(x = Minuto,<br>                  y = Media)) +<br>  geom_line(color = &quot;#F8766D&quot;) +<br>  geom_smooth(se = FALSE, color = &quot;#00BFC4&quot;) +<br>  labs(x = &quot;Horário do dia&quot;,<br>       y = &quot;Média de mensagens (por minuto)&quot;) +<br>  scale_x_continuous(<br>    breaks = seq(from = 0, to = 1380, by = 60),<br>    labels = c(<br>      &quot;Meia-noite&quot;,<br>      paste0(seq(<br>        from = 1, to = 11, by = 1<br>      ), &quot;am&quot;),<br>      &quot;Meio-dia&quot;,<br>      paste0(seq(<br>        from = 1, to = 11, by = 1<br>      ), &quot;pm&quot;)<br>    )<br>  ) +<br>  theme_hc() +<br>  theme(axis.text.x = element_text(angle = 45))<br>ggplotly(fig2)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Rz1YtcBAVrCXh6mGMSw7uw.jpeg" /></figure><blockquote>Ao observar esse gráfico, como um todo, é possível observar que os usuários conversam, predominantemente, durante o dia. Nesse caso, em especial, parece que os usuários não conversam com maior frequência durante o horário comercial. Sendo o horário mais conversado, em média, no período das 7 pm.</blockquote><h3>Emojis usados com maior frequência</h3><p>A comunicação é realmente incrível, além de enviar texto e áudios, podemos enviar recursos de mídia gráficos como os emojis. Eu particularmente adoro utilizá-los, porque deixa a conversa on-line mais afável.</p><p>A próxima análise consiste em identificar, entre os usuários, os 5 emojis mais utilizados.</p><p>Por estarmos lidando com texto, a imagem do emoji fica prejudicada e para colocarmos a imagem do emoji no gráfico, precisamos baixar a imagem dos emojis para colocarmos no gráfico. Esse procedimento é evidenciado no objeto “emoji_data”. O código abaixo mostra como realizar esse e os demais procedimentos da construção do gráfico.</p><pre>emoji_data &lt;- rwhatsapp::emojis %&gt;%<br>  mutate(hex_runes1 = gsub(&quot;\\s[[:alnum:]]+&quot;, &quot;&quot;, hex_runes)) %&gt;%<br>  mutate(emoji_url = paste0(<br>    &quot;<a href="https://abs.twimg.com/emoji/v2/72x72/">https://abs.twimg.com/emoji/v2/72x72/</a>&quot;,<br>    tolower(hex_runes1),<br>    &quot;.png&quot;<br>  ))</pre><pre>chat %&gt;%<br>  unnest(emoji) %&gt;%<br>  count(author, emoji, sort = TRUE) %&gt;%<br>  group_by(author) %&gt;%<br>  top_n(n = 5, n) %&gt;%<br>  left_join(emoji_data, by = &quot;emoji&quot;) %&gt;%<br>  ggplot(aes(<br>    x = reorder(emoji, n),<br>    y = n,<br>    fill = author<br>  )) +<br>  geom_col(show.legend = FALSE) +<br>  ylab(&quot;&quot;) +<br>  xlab(&quot;&quot;) +<br>  coord_flip() +<br>  geom_image(aes(y = n + 20, image = emoji_url)) +<br>  facet_wrap(~ author, ncol = 2, scales = &quot;free_y&quot;) +<br>  theme(axis.text.y = element_blank(),<br>        axis.ticks.y = element_blank())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/614/1*8E6zkFwTW665ECVBMq1o0g.png" /></figure><blockquote>Observando o gráfico de emojis é possível ver algumas características individuais de cada usuário. A Pessoa1 parece utilizar mais emojis e parece se divertir muito com o Usuário2. Já o Usuário2 utiliza mais emojis com corações (amorosos) do que o usuário1.</blockquote><h3>Nuvem de palavras</h3><p>Uma nuvem de palavras consegue demonstrar as palavras mais frequentemente utilizadas em um texto. Consequentemente, você consegue ter uma noção do vocabulário e dos assuntos falados em um texto.</p><p>A nossa próxima análise será uma nuvem de palavras comparativa, sendo de um lado uma pessoa e do outro lado a outra pessoa. Essa maravilha é possível graças à função “comparison.cloud()” do pacote “wordcloud”.</p><p>Antes de iniciar as análises, precisamos remover as palavras menos relevantes (stopword) e que podem atrapalhar nossa análise. Para isso, todas essas palavras são listadas em “to_remove”, você pode colocar mais palavras se necessário. Em seguida, um subset com a frequência das palavras por usuário foi criado. Veja o código abaixo:</p><pre>to_remove &lt;- c(stopwords(&#39;pt&#39;),&quot;q&quot;,&#39;w&#39;,&quot;htps&quot;,&quot;pra&quot;,&quot;tá&quot;,&quot;vc&quot;,               &quot;k&quot;,&quot;n&quot;,&quot;nao&quot;,&quot;sim&quot;,&quot;Arquivo&quot;,&quot;de&quot;,&quot;mídia&quot;,&quot;oculto&quot;,&quot;arquivo&quot;,&quot;c&quot;,&#39;ta&#39;,&#39;to&#39;,&#39;vou&#39;,&#39;tão&#39;,&#39;pq&#39;,&#39;eh&#39;,&#39;https&#39;,&#39;ja&#39;,&#39;tb&#39;,&quot;tbm&quot;,&quot;vai&quot;,&quot;iso&quot;,&quot;mto&quot;,&quot;isso&quot;,&quot;acho&quot;,&quot;td&quot;,&quot;haha&quot;,&quot;hahaha&quot;,&#39;rsrs&#39;,&#39;kk&#39;,&#39;é&#39;,&#39;ti&#39;,&#39;tô&#39;)</pre><pre>words &lt;- chat %&gt;%<br>  filter(!is.na(text)) %&gt;% <br>  unnest_tokens(input = text,<br>                output = word) %&gt;%<br>  filter(!word %in% to_remove) %&gt;%<br>  count(author, word, sort = TRUE) %&gt;%<br>  group_by(author)</pre><pre>matrix &lt;- acast(words, word ~ author,  fill = 0)<br>comparison.cloud(matrix,  max.words = 50)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/614/1*ZduHg7kePdSbw1AK_hAvIg.png" /></figure><blockquote>Comparando a nuvem de palavras é possível conhecer um pouco mais os usuários. Podemos observar que a Pessoa1 e a Pessoa2 utilizam expressões diferentes durante a sua comunicação.</blockquote><h3>Diversidade lexical na conversa</h3><p>A diversidade lexical refere-se à diversidade de palavras utilizadas no diálogo. Quanto maior é o número de palavras diferentes utilizadas pelo sujeito, maior é a sua diversidade lexical.</p><p>Portanto, a nossa última análise pretende observar entre os usuários qual tem maior diversidade lexical.</p><p>Para isso, precisamos contar as palavras únicas em todo texto. Em seguida, verificar a quantidade de vezes que um usuário utilizou essa palavra. Aquele que utilizou mais palavras únicas, apresenta maior diversidade lexical.</p><p>Lembrando que o objeto criado anteriormente “to_remove” está sendo utilizado aqui para remover palavras irrelevantes. Veja como implementar no código abaixo:</p><pre>chat%&gt;%<br>      unnest_tokens(input = text,<br>                    output = word) %&gt;%<br>      filter(!word %in% to_remove) %&gt;%<br>      group_by(author) %&gt;%<br>      summarise(lex_diversity = n_distinct(word)) %&gt;%<br>      arrange(desc(lex_diversity)) %&gt;%<br>      ggplot(aes(<br>        x = reorder(author, lex_diversity),<br>        y = lex_diversity,<br>        fill = author<br>      )) +<br>      geom_col(show.legend = FALSE) +<br>      scale_y_continuous(expand = (mult = c(0, 0, 0, 500))) +<br>      geom_text(aes(label = scales::comma(lex_diversity)), <br>      hjust = -0.1) +<br>      ylab(&quot;Diversidade Lexical&quot;) +<br>      xlab(&quot;Usuário&quot;) +<br>      coord_flip()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/614/1*RYQyz39BgC3Oh8ZAANb7jQ.png" /></figure><blockquote>O gráfico mostra que a Pessoa1 utiliza mais palavras diferentes do que a Pessoa2, evidenciando maior diversidade lexical. Essa habilidade pode ser influenciada por questões diversas da vida, mas na análise, pode haver ainda a questão das palavras erradas. Pode a Pessoa1 ter mais palavras erradas do que a Pessoa2 e consequentemente ter mais palavras únicas.</blockquote><h3>Considerações Finais</h3><p>Nesse artigo visualizamos algumas análises que mostram a potencialidade da análise de conversas do WhatsApp. Por meio dessas análises é possível visualizar eventos importantes da relação, características e comportamentos dos usuários.</p><p>Particularmente, eu me surpreendi com esse tipo de análise. Testando os meus próprios dados eu pude perceber diversos padrões interessantes e únicos de cada relação. E você? Gostou também de analisar os seus dados?</p><p>Espero que tenha gostado e qualquer dúvida, comentário ou observação são muito bem-vindos! Fique à vontade para se manifestar e vamos aprender juntos! Se preferir, você pode me contatar pelo dalton.bc96@gmail.com</p><p>Obrigado pela leitura!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2243104f0a05" width="1" height="1" alt=""><hr><p><a href="https://medium.com/datapsico/analisando-conversas-de-whatsapp-no-r-c3-a7-c3-a3o-digital-2243104f0a05">Analisando conversas de Whatsapp no R: conhecendo o poder da comunicação digital</a> was originally published in <a href="https://medium.com/datapsico">Datapsico</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[O que você mais sente saudade na pandemia? Aprenda a analisar texto com o Orange Canvas]]></title>
            <link>https://medium.com/datapsico/analise-texto-orange-canvas-778805416d6e?source=rss-231f39aa4f68------2</link>
            <guid isPermaLink="false">https://medium.com/p/778805416d6e</guid>
            <category><![CDATA[text]]></category>
            <category><![CDATA[pandemia]]></category>
            <category><![CDATA[orange]]></category>
            <category><![CDATA[análise]]></category>
            <category><![CDATA[psicodata]]></category>
            <dc:creator><![CDATA[Dalton Costa]]></dc:creator>
            <pubDate>Fri, 16 Apr 2021 20:14:52 GMT</pubDate>
            <atom:updated>2021-04-17T00:09:13.678Z</atom:updated>
            <content:encoded><![CDATA[<h4>Nós perguntamos aos nossos seguidores o que eles mais sentem saudade durante a pandemia e análisamos suas respostas textuais utilizando o Orange Canvas.</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*Epq_-tYddJuDMPsA.png" /></figure><p>Hoje eu quero trazer para você uma dica de como analisar texto de graça e sem precisar utilizar programas complexos. Isso é possível graças ao programa Orange Canvas, um programa Open Source desenvolvido para incentivar a prática de machine learning de forma muito fácil.</p><p><strong>O objetivo desse post é demonstrar como utilizar o Orange Canvas para analisar textos e obter insights sobre eles.</strong> Para isso, vamos utilizar um banco de dados construído com a ajuda dos seguidores do PsicoData no instagram. Se você ainda não é um dos nosso seguidores, segue lá <a href="https://www.instagram.com/datapsico/">@datapsico</a></p><blockquote>Perguntamos aos nossos seguidos o seguinte: “o que você mais sente saudade na pandemia?”. Recebemos quase 40 respostas com diversas variações linguísticas.</blockquote><h3>Instalando o Orange Canvas</h3><p>Para instalar o programa Orange Canvas você pode acessar o site oficial do programa e baixá-lo gratuitamente <a href="https://orangedatamining.com/">https://orangedatamining.com/</a>. Vai na guia “Download” e baixe o instalador do correspondente ao seu sistema operacional. A instalação geralmente é tranquila e sem grandes problemas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IfO9KrnrtgMCtFzobF-ixQ.gif" /></figure><h4>Conhecendo o Ambiente</h4><p>Ao abrir o programa instalado você verá menus no lado esquerdo e na parte superior do programa. Os menus mais importantes estão na parte esquerda e eles são diversos. Há vários seguimentos de análises, como: aprendizagem de maquina supervisionada e não supervisionada, visualização de dados e mineração de texto.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/908/1*2HUcuW8KuJirq6UMFZt4ig.gif" /></figure><blockquote>A lógica do Orange Canvas é você utilizar cada funcionalidade sem precisar de muitas configurações ou código. A sua missão dentro dessa plataforma é escolher uma função dentro de um seguimento e criar um fluxo de análise. Para isso, basta arrastar a funcionalidade para o centro da tela e ligar a outras funcionalidades. Veja no exemplo abaixo.</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/908/1*q557xMmyr7-jXtRRzayyOg.gif" /></figure><h4>Instalando Novas Funcionalidades no Orange Canvas</h4><p>Você pode ter percebido que não há na versão padrão do programa as funcionalidades sobre análise de texto. Portanto, precisamos instalá-la. Clique no menu superior “options” e em seguida “add-ons…”. Faça um check nas opções “Text” e “Network” e clique em “Ok”. Depois disso, os pacotes adicionais serão instalados e você precisará reiniciar o programa para visualizar as novas opções.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/908/1*PMgldfO9hz-8WXJZtTBSNw.gif" /></figure><h3>Análise de Texto com Orange Canvas</h3><p>Como eu disse no início desse texto, vamos analisar comentários dos nossos seguidores no Instagram. Eles responderam à pergunta “o que você mais sente saudade na pandemia?”; nós salvamos essas respostas em um arquivo .csv</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/668/1*9fGH7dBHHxxFrwib5d-iBg.png" /></figure><h4>Construindo o Corpus</h4><p>Em análise de texto precisamos organizar cada fala/opinião/caso em documentos. Para isso, criamos um objetivo chamado <strong>Corpus</strong>, que é uma coleção de texto organizados em um conjuntos de dados.</p><p>Para criar um Corpus no Orange basta utilizar a funcionalidade “Corpus” e importar os dados no .csv. E para visualizar o Corpus, podemos utilizar a função “Corpus Viewer”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/908/1*_mOidfwx5SvuVoNpaPEFFg.gif" /></figure><h4>Processando o Texto</h4><p>Agora que temos o Corpus pronto, podemos seguir para o processamento do texto. <strong>Acredito que essa etapa seja a mais importante de todo o processo, pois a forma como você irá “limpar” o seu texto nesse momento irá determinar o desempenho das suas futuras análises.</strong></p><p>Ao trabalhar com textos precisamos entender que há nas sentenças palavras ou expressões que são mais importantes do que outras. Portanto, devemos focar nos termos mais importantes, porque é ali que estão os objetos de análise. <strong>Termos como pronomes, preposições e outras palavras irrelevantes devem ser excluídos para não gerar ruídos nas análises.</strong></p><p>Para processar o Corpus utilize a funcionalidade “Process Text”. Nessa etapa podemos configurar várias técnicas de limpeza e padronização de texto. Veja as configurações adotadas:</p><ul><li><strong>Transformation</strong>: todas as letras foram padronizadas para minúsculas (lowercase) e foram removidos todos os acentos (remove accents).</li><li><strong>Tokenization</strong>: é o processo de criar “tokens”, que consiste em separar cada termo/palavras das sentenças. Para isso, marque a opção “Regexp” com “Pattern \w+”.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/611/0*MqWoBPI_1Tq8FmqM.jpg" /></figure><ul><li><strong>Filtering</strong>: todas as palavras irrelevantes em português foram excluídas do Corpus (stopwords). Você também pode criar um aquivo do tipo .txt com termos que você deseja eliminar e associar as suas stopwords.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/908/1*sBY3RBSYvfzzuLMvgTcReQ.gif" /></figure><p>Para conferir se o nosso Corpus está realmente limpo e com palavras relevantes podemos criar um Wordcloud. Lembre-se de limpar bem o seu texto, removendo tudo aquilo que não é relevante, como: números, preposições e palavras pouco frequentes.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/908/1*JbhdvKxYdarDJxstHpYOwQ.gif" /></figure><p><strong>Transformando Palavras em Números</strong></p><p>Para que possamos analisar o texto, precisamos transformá-lo em números. Existe algumas técnicas para isso, como por exemplo a <em>Bag of Word</em>s ou a <em>Document Embedding</em>. Hoje vamos utilizar o <em>Document Embedding</em> para analisar nosso texto.</p><p>Document Embedding é uma técnica de redução dimensional que utiliza aprendizagem de máquina para capturar o contexto semântico e semelhanças entre documentos. Assim, podemos utilizar os vetores criados para manipular e entender as nossas respostas.</p><p>Para criar emdedding no Orange, basta ligar o seu texto processado à opção “Document Embedding” e configure para a língua portuguesa.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/908/1*QN57OQEqyXrSMtAY6N109Q.gif" /></figure><p><strong>Análise de Cluster</strong></p><p>Uma das maneiras de analisar o seu texto é criando clusters. O que vamos fazer é utilizar um algorítimo de clusterização para separar os comentários em grupos/clusters diferentes. Essa separação ocorrerá de forma não supervisionada, ou seja, o próprio algorítimo de clusterização irá separar os casos.</p><p>Vamos utilizar nesse exemplo um algorítimo super popular de clusterização chamado <strong>K-means</strong>. Esse método exige que informemos o número de clusters que queremos obter. Com base nos meus testes, eu percebi que com os dados que estamos trabalhando faz mais sentido realizar a divisão em 2 clusters. Mas, caso você tenha dúvidas, você pode criar simulações utilizando o Silhouette Score e observar qual o número de clusters melhor se encaixa no seu contexto.</p><p>No Orange, basta você ir até a seção de “Unsupervised” e escolher a função “K-means” , que deve ser ligada ao “Document Embedding”. Vamos fixar no K-means o número de 2 clusters. Para visualizar e avaliar o desempenho vamos utilizar o função T-SNE. Veja como se faz:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/908/1*1FGf5tAAK8tfgHawLzSEWQ.gif" /></figure><p>Uma outra forma de visualizar o nosso resultado é organizando os nossos clusters produzidos pelo K-mens em uma tabela, e em seguida, visualizar cada cluster em uma Wordclound. Veja como fazer:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1022/1*jncZRrVpTelisCOHXdakGg.gif" /></figure><p><strong>Resultados</strong></p><p>Nesse pequeno experimento podemos obter alguns insights. Antes de tudo, percebe-se que as pessoas tiveram respostas muito semelhantes à pergunta “o que você mais sente saudade na pandemia?”, como: “sinto falta de ir em festa e conviver com meus amigos ” ou “sinto falta de ir em festas”.</p><p>Mesmo assim, conseguimos diferenciar de forma razoável (1) as pessoas que sentem mais falta de relações sociais/convívio social com familiares e amigos das (2) pessoas que sentem falta de circulação e de viver experiências como sair para rua ou ir para festas. Veja abaixo as wordclouds geradas nessa análise.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KYxhFxwCu-8a_fdz0zTSrg.png" /><figcaption>Wordcloud Cluster 1—Pessoas que sentem mais falta de relações sociais/convívio social com familiares e amigos.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ljHwpbACYdQZjIPmMyB9zQ.png" /><figcaption>Wordclound Cluster 2 —Pessoas que sentem falta de circulação e de viver experiências como sair para rua ou ir para festas.</figcaption></figure><h3>Conclusão</h3><p>Nesse artigo vimos como utilizar o Orange Canvas para analisar textos e obter novos insights. Criamos um corpus, processamos o texto e criamos clusters. Há outros tipos de análises que você pode explorar também como Topic Modeling e Network Analysis.</p><p>Importante ressaltar que análises com textos funciona melhor com um grande número de casos ou documentos. Nesse experimento contamos com 37 contribuições, mas para que os seus resultados ficaquem inda mais legais é recomendado um número maior.</p><p>Espero que tenha gostado e qualquer dúvida, comentário ou observação são muito bem-vinda! Fique à vontade para se manifestar e vamos aprender juntos! Se preferir, você pode me contatar pelo <a href="/service/mailto:dalton.bc96@gmail.com">dalton.bc96@gmail.com</a></p><p>Obrigado pela leitura!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=778805416d6e" width="1" height="1" alt=""><hr><p><a href="https://medium.com/datapsico/analise-texto-orange-canvas-778805416d6e">O que você mais sente saudade na pandemia? Aprenda a analisar texto com o Orange Canvas</a> was originally published in <a href="https://medium.com/datapsico">Datapsico</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Simples e Direto: um guia de visualização de dados com Python]]></title>
            <link>https://medium.com/datapsico/simples-e-direto-um-guia-de-visualizacao-de-dados-com-python-7d39c95ca343?source=rss-231f39aa4f68------2</link>
            <guid isPermaLink="false">https://medium.com/p/7d39c95ca343</guid>
            <category><![CDATA[psicodata]]></category>
            <category><![CDATA[suicídio]]></category>
            <category><![CDATA[visualização]]></category>
            <category><![CDATA[psicologia]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[Dalton Costa]]></dc:creator>
            <pubDate>Fri, 02 Oct 2020 21:15:53 GMT</pubDate>
            <atom:updated>2020-10-02T21:44:22.868Z</atom:updated>
            <content:encoded><![CDATA[<p>Esse texto é ideal para você que precisa saber como fazer um gráfico rápido e que represente o seu dado corretamente. <strong>Vamos criar diferentes tipos de gráficos para diferentes tipos de variáveis utilizando a linguagem Python e as biliotecas </strong><a href="https://pandas.pydata.org/pandas-docs/stable/user_guide/visualization.html"><strong>Pandas </strong></a><strong>e </strong><a href="https://seaborn.pydata.org/"><strong>Seaborn</strong></a>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/728/0*UkoScH4xPht2qW6Y.jpeg" /></figure><p><a href="https://medium.com/psicodata/um-grafico-vale-mais-que-mil-palavras-852aadc13a54">Se você prefere utilizar a linguagem R, aqui no PsicoData temos um artigo sobre visualização de dados utilizando a linguagem R.</a></p><p>Vamos utilizar nesse tutorial um banco de dados criado aqui no PsicoData sobre casos de suicido no Brasil de 2014 a 2018. A descrição do banco de dados e o seu processamento pode ser consultado nesse <a href="https://medium.com/psicodata/baixando-e-processando-dados-do-datasus-sobre-suic%C3%ADdio-com-python-656afa17f6ad">link</a>.</p><p>O banco pode ser baixado por esse <a href="https://www.kaggle.com/psicodata/dados-de-suicdio-no-brasil-2014-a-2018">link</a>.</p><pre>import pandas as pd<br>banco = pd.read_csv(&quot;datasus_suicidio_2014_2018.csv&quot;, encoding=&#39;iso-8859-1&#39;)<br>banco.head()</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*VKEQHUKGETi2lbns.png" /></figure><h3>Conhecendo Alguns Termos</h3><p>Antes de seguirmos, vamos relembrar alguns termos importantes.</p><h3>Variáveis</h3><p>Quando coletamos informações, em geral, fazemos por <strong>amostragem.</strong> Essas informações vão muito além de números ou palavras, elas trazem consigo caracteristicas e contextos que serão fundamentais para nossas futuras análises.</p><p>Cada uma dessas características coletadas, como peso, altura, sexo ou idade, é chamada de <strong>variável</strong>.</p><p>As variáveis podem assumir diferentes valores, que basicamente podem ser separados em</p><ul><li><strong>Quantitativos</strong> ou numéricos</li><li><strong>Qualitativos</strong> ou não numéricos, ou <em>categóricos</em></li></ul><h4>Classificação das Variáveis</h4><p>As variáveis quantitativas ou numéricas podem ser</p><ul><li><strong>Discretas</strong>: assumem apenas valores inteiros. Ex.: número de irmãos, número de passageiros.</li><li><strong>Contínuas</strong>: assumem qualquer valor no intervalo dos números reais. Ex.: peso, altura.</li></ul><p>As variáveis qualitativas ou categóricas podem ser</p><ul><li><strong>Nominais</strong>: quando as categorias não possuem uma ordem natural. Ex.: nomes, cores, sexo.</li><li><strong>Ordinais</strong>: quando as categorias podem ser ordenadas. Ex.: tamanho (pequeno, médio, grande), classe social (baixa, média, alta), grau de instrução (básico, médio, graduação, pós-graduação).</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*rxxyee4xr8HD1O6N.png" /><figcaption>Figura criada pelo autor.</figcaption></figure><p>Agora que relembramos os tipos de variáveis, vamos realizar a vizualiação do banco utilizando da visualização univariada e multivariada.</p><h3>Visualização Univariada</h3><p>A análise univariada objetiva analisar uma variável de cada vez. Quando analisamos uma variável de forma independente, geralmente estamos mais interessados na distribuição de seus valores e ignoramos outras variáveis do conjunto de dados.</p><h4>Visualizando Variáveis Quantitativas</h4><p>A maneira mais fácil visualizar uma variável quantitativa é por meio da sua distribuição utilizando um histograma. A forma mais simples de se fazer um histograma é o utilizando a biblioteca Pandas. Basta ao final da variável chamar a função ‘hist()’.</p><pre>banco[&#39;idade&#39;].hist()</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/387/0*SUhPOQETPYQhsED-.png" /></figure><p>Mas <strong>cuidado</strong>, a escala do histograma pode revelar informações que não são verdades. Para vermos com mais detalhes e nitidez a real distribuição dos nossos dados devemos aumentar o número de <em>bins</em>.</p><pre>banco[&#39;idade&#39;].hist(bins = 10)<br>banco[&#39;idade&#39;].hist(bins = 50)<br>banco[&#39;idade&#39;].hist(bins = 100)</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*Trvin_ePAuPvU71_.png" /><figcaption>A primeira figura é um instograma com 10 bins, a segunda contém 50 bins e a última 100 bins.</figcaption></figure><p>Há também outra maneira de entender a distribuição dos dados quantitativos, utilizandos gráficos de densidade. Eles podem ser considerados uma versão suavizada do histograma. Vamos constuir um gráfico de densidade para a mesma variável e utilizando a mesma biblioteca.</p><pre>banco[&#39;idade&#39;].plot(kind=&#39;density&#39;)</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/399/0*3NxcSjfN_Umxv44t.png" /><figcaption>O eixo-y representa a probabilidade do valor do eixo-x ser observado</figcaption></figure><p>Também podemos fazer uma gráfico de densidade utilizando a biblioteca Seaborn. Utilizando a função ‘distplot()’ é possível criar um belo gráfico de densidade juntamente com a distribuição dos dados em formato de histograma.</p><pre>import seaborn as sns<br>sns.distplot(banco[&#39;idade&#39;])</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/390/0*2wU48U0n_a2RbC8e.png" /></figure><p>Em alguns casos, uma simples visualização da distribuição ou da densidade não é suficiente para entendermos nossos dados quantitativos. Para isso podemos utilizar gráficos mais complexos como o <strong>boxplot </strong>e <strong>violinplot</strong>.</p><p>Antes de irmos para o código, vamos entender um pouco sobre como interpretar um boxplot. O boxplot ou diagrama de caixa é um tipo de gráfico que permite visualizar a distribuição e os <em>outliers </em>dos dados. Além disso, é possível visualizar medidas descritivas como o mínimo, máximo, primeiro quartil, segundo quartil ou a mediana e o terceiro quartil.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*1vxOeVxnZ8tOtBs9" /><figcaption>Imagem retirada do site <a href="https://operdata.com.br/blog/como-interpretar-um-boxplot/">operdata</a></figcaption></figure><p>Agora para criamos um boxplot podemos continuar utilizando a biblioteca Seaborn. Veja como é simples:</p><pre>sns.boxplot(x=&#39;idade&#39;, data=banco)</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/431/0*0ActBL5An22osh6Q.png" /></figure><p>Ah, o mínimo e o máximo do boxplot são <strong>geralmente </strong>calculados a partir de <strong>1.5 </strong>deIntervalo Interquartil (o valor pintado de azul, no qual se encontram 50% dos dados).</p><p>Por fim, podemos representar nossos dados quantitativos por meio de um <strong>violinplot.</strong> Um tipo de gráfico que combina a densidade dos dados e o boxplot.</p><pre>sns.violinplot(x=&#39;idade&#39;, data=banco)</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/432/0*nBMQU9p0NGkvmoB4.png" /></figure><h4>Visualizando Variáveis Qualitativas</h4><p>Agora vamos visualizar algumas variávei categóricas do nosso banco. A forma mais fácil de visualizar variáveis qualitativas é por meio do gráfico de barras e pizza. Mas antes, precisamos transformar nossa variável que contém apenas textos em números, por isso, primeiramente, vamos contar quantas vezes cada categoria se repete na variável que vamos trabalhar.</p><pre>sexo = banco[&#39;SEXO&#39;].value_counts()</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/194/0*D3DYZZO9Vy__Yq1K.png" /></figure><p>Agora podemos plotar a variável sexo.</p><pre>sexo.plot(kind=&#39;barh&#39;, color = [&#39;red&#39;, &#39;blue&#39;])</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/432/0*fQjKMcwqtu-VQaYb.png" /></figure><p>Podemos representar o mesmo gráfico, porém agora com um gráfico de pizza.</p><pre>sexo.plot(kind=&#39;pie&#39;, autopct=&#39;%1.2f%%&#39;)</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/281/0*vLMk3aLhG4fw0wRo.png" /></figure><p>Lembrando que os gráficos de pizza são boas representações de 2–5 categóricas quando não se necessita comparar diretamente elas.</p><h4>Variáveis de Tempo</h4><p>Quando se tem variável do tipo <em>datatime </em>o melhor gráfico para observar a variação do tempo é o clássico <strong>gráfico de linhas.</strong> Criar um gráfico de linhas é muito fácil com a biblioteca Pandas, basta chamar a fução ‘plot()’, que tem como padrão o gráfico de linhas.</p><p>O primeiro passo é configurar a variável para o tipo datatime e em seguida podemos extrair informações de tempo. Veja no exemplo abaixo como converter uma extrair para tipo datetime, contar o número de casos por mês e ano e em seguida criar um gráfico de linha.</p><pre>data = banco[&#39;DTOBITO&#39;].groupby(pd.to_datetime(banco[&#39;DTOBITO&#39;], infer_datetime_format=True).dt.to_period(&quot;M&quot;)).agg(&#39;count&#39;) </pre><pre>data.plot()</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/391/0*QvQRl97T0btnsSww.png" /></figure><h3>Visualização Multivariada</h3><p>A visualização multivariada nos extrair ver as relações entre duas ou mais variáveis em uma única figura. Assim como no caso de gráficos univariados, o tipo de gráfico escolhido dependerá dos tipos de variáveis que estarão sendo analisadas.</p><h4>Variavel Quantitativa vs Variável Quantitativa</h4><p>Utilizando duas variáveis quantitativas, podemos fazer uma correlação entre elas. Especialmente se temos muitas variáveis quantitivas pode ser difícil interpretar os dados, por isso, uma solução simples é criar um gráfico do tipo <em>heatmap. </em>Assim, podemos vizualizar a matriz de correlação com mais detalhes.</p><p>Como o nosso banco de dados tem apenas uma variável quantitativa interessante (variável idade), vamos criar algums variáveis quantitativas com valores aleatórios. Logo em seguida, vamos colocar isso tudo em um dicionário e transformar em um DataFrame, assim podemos criar nossa matrix de correlação.</p><pre>import numpy as np</pre><pre>np.random.seed(1)</pre><pre>varAletoria1 = banco[&#39;idade&#39;] + np.random.randint(0, 50, 58634)<br>varAletoria2 = banco[&#39;idade&#39;] + np.random.normal(0, 10, 58634)<br>varAletoria3 = banco[&#39;idade&#39;] + np.random.randint(0, 10, 58634)<br>varAletoria4 = banco[&#39;idade&#39;] + np.random.normal(0, 20, 58634)</pre><pre>dictQuant = { <br>&#39;idade&#39;: banco[&#39;idade&#39;].values,  <br>&#39;var1&#39;: varAletoria1, <br>&#39;var2&#39;: varAletoria2, <br>&#39;var3&#39;: varAletoria3, <br>&#39;var4&#39;: varAletoria4<br>}</pre><pre>df = pd.DataFrame(data = dictQuant)<br>matrix = df.corr()</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/375/0*D1xfd4TxYu0PokCG.png" /></figure><p>Vamos agora representar essa matriz em um gráfico <em>heatmap </em>utilizando a biblioteca Seaborn.</p><pre>sns.heatmap(matrix, cmap=&quot;YlGnBu&quot;, annot=True, fmt=&#39;g&#39;)</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/352/0*e2QzogQV-oEZzM99.png" /></figure><p>Também podemos ver o comportamento de duas variáveis quantitativas por meio de um <strong>Scatterplot</strong>, um tipo de gráfico que mostra a associação e a disperção de pares de dados.</p><pre>sns.scatterplot(data=df, x=&quot;idade&quot;, y=&quot;var2&quot;)</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/398/0*XsejnStF2kxM7-NB.png" /></figure><h4>Variavel Quantitativa vs Variável Qualitativa</h4><blockquote><em>“Qual gráfico devemos utilizar quando temos um variável quantitativa e outra qualitativa? “</em></blockquote><p>A resposta para essa pergunta é <strong>depende</strong>. Antes de pensar em qual gráfico utilizar pense em <strong>qual informação você quer enfatizar</strong>. Dependendo da sua resposta, determinado gráfico será mais adequado a informação que deseja comunicar.</p><p>Vamos ver a relação entre a variável ‘idade’ e ‘var2’ em relação a variável ‘sexo’. O código é o mesmo do anterior, porém passamos o hiperparametro ‘hue’.</p><pre>sns.scatterplot(data=df, x=&quot;idade&quot;, y=&quot;var2&quot;, hue= banco[&#39;SEXO&#39;])</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/394/0*iSztdXh1PVItn-Io.png" /></figure><p>Podemos fazer também um boxplot e um violinplot mediado pela divido por sexo:</p><pre>_, axes = plt.subplots(1, 2, sharey=True, figsize=(10, 4)) sns.boxplot(x=&#39;idade&#39;, y=&#39;SEXO&#39;, data=banco, ax=axes[0])<br>sns.violinplot(x=&#39;idade&#39;, y=&#39;SEXO&#39;, data=banco, ax=axes[1])</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/659/0*voyg_IHQwlK0F63K.png" /></figure><p>Ou até mesmo um gráfico de densidade dividido pelo por uma variável categorica. Por exemplo, podemos visualizar a densidade da variável ‘idade’ em relação ao sexo.</p><pre>banco.groupby(&#39;SEXO&#39;)[&#39;idade&#39;].value_counts().unstack(0).plot.kde()</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/418/0*GWH2n6DVEvOjo5Hh.png" /></figure><h4>Variavel Qualitativa vs Variável Qualitativa</h4><p>Por último, podemos criar gráficos combinando duas variáveis qualitativas. No primeiro exemplo, vamos criar, utilizando apenas a biblioteca Pandas, um gráfico de barras contendo a frequência do nível de escolaridade por sexo, veja só:</p><pre>ordem = [&#39;Nenhuma&#39;,&#39;1 a 3 anos&#39;,&#39;4 a 7 anos&#39;, &#39;8 a 11 anos&#39;, &#39;12 e mais&#39;] </pre><pre>banco.groupby(&#39;SEXO&#39;)[&#39;ESC&#39;].value_counts().unstack(0).loc[ordem].plot.bar()</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/402/0*T5Q2tuclOxy9yA40.png" /></figure><p>Se você precisa criar uma <em>crosstab </em>para analisar duas variáveis qualitativas pode ser confuso de analisar, especialemte se há muitas categorias. Para isso, você pode utilizar um gráfico de <em>heatmap para t</em> e auxiliar na interpretação dos dados. Perceba que dessa vez vamos usar cores diferentes.</p><pre>ordem = [&#39;Nenhuma&#39;,&#39;1 a 3 anos&#39;,&#39;4 a 7 anos&#39;, &#39;8 a 11 anos&#39;, &#39;12 e mais&#39;] </pre><pre>x=banco.groupby(&#39;RACACOR&#39;)&#39;ESC&#39;].value_counts().unstack(0).loc[ordem] </pre><pre>sns.heatmap(x, cmap=&quot;viridis&quot;, annot=True, fmt=&#39;g&#39;)</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/457/0*QMO1UAofHPENLqMH.png" /></figure><h3>Conclusão</h3><p>Vimos como representar diferentes tipos de variáveis em um gráfico. A escolha de qual gráfico vamos utilizar depende exclusivamente do nosso objetivo e o que queremos enfatizar.</p><p>Esse texto não é livre de limitações. Podemos melhorar muito nossos gráficos e deixá-lo ainda mais bonito e complexo com inumeras configurações, recomendamos você olhar a documentação de cada biblioteca citada para deixar seu gráfico ao seu gosto. Além disso, não citamos outras bibliotecas interativas como <a href="https://plotly.com/python/">Plotly </a>e <a href="https://docs.bokeh.org/en/latest/">Bokeh</a>, essas produzem gráficos lindos, no entanto, o código é mais complexo.</p><p>Espero que tenha gostado e qualquer dúvida, comentário ou observação é muito bem-vinda! Fique à vontade para se manifestar e vamos aprender juntos! Se preferir, você pode me contatar pelo <a href="/service/mailto:dalton.bc96@gmail.com">dalton.bc96@gmail.com</a></p><p>Obrigado pela leitura!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7d39c95ca343" width="1" height="1" alt=""><hr><p><a href="https://medium.com/datapsico/simples-e-direto-um-guia-de-visualizacao-de-dados-com-python-7d39c95ca343">Simples e Direto: um guia de visualização de dados com Python</a> was originally published in <a href="https://medium.com/datapsico">Datapsico</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Baixando e processando dados do DATASUS sobre suicídio com Python]]></title>
            <link>https://medium.com/datapsico/baixando-e-processando-dados-do-datasus-sobre-suic%C3%ADdio-com-python-656afa17f6ad?source=rss-231f39aa4f68------2</link>
            <guid isPermaLink="false">https://medium.com/p/656afa17f6ad</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[psicodata]]></category>
            <category><![CDATA[top-3]]></category>
            <category><![CDATA[banco-de-dados]]></category>
            <category><![CDATA[psicologia]]></category>
            <dc:creator><![CDATA[Dalton Costa]]></dc:creator>
            <pubDate>Sat, 19 Sep 2020 18:15:53 GMT</pubDate>
            <atom:updated>2023-04-06T18:16:49.524Z</atom:updated>
            <content:encoded><![CDATA[<p>Poucas pessoas sabem que o DATASUS disponibiliza uma incrível base de dados com milhares de informações sobre a saúde dos brasileiros. Dados públicos e de fácil acesso por qualquer um.</p><p>Entre as diversas possibilidades, hoje eu escolhi trabalhar com a temática do suicídio e como esse fenômeno é registrado pelo DATASUS. Além disso, quero demonstrar como baixar e tratar dados do DATASUS utilizando a linguagem Python.</p><blockquote>O <a href="https://medium.com/u/9aa5d22c2f6">Andre Pecini</a> fez um artigo discutindo e atualizando o código demonstrado nesse tutorial. Confira o artigo do <a href="https://medium.com/u/9aa5d22c2f6">Andre Pecini</a> nesse <a href="https://medium.com/@pecini/download-e-pr%C3%A9-processamento-de-dados-do-sinan-datasus-sobre-viol%C3%AAncia-com-python-ddf46ff9a3f5">link</a>.</blockquote><blockquote><strong>Atenção</strong>: objetivo desse texto não é discutir o suicídio na sua amplitude e complexidade. O foco é demonstrar como obter e tratar os dados provenientes do DATASUS.</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/0*_FsdIJrhupSYGkm6.jpg" /></figure><h3><strong>Baixando dados do DATASUS com Python</strong></h3><p>Uma forma de baixar os dados utilizando Python é utilizando as rotinas propostas pela biblioteca <a href="https://github.com/AlertaDengue/PySUS">PySUS</a>, desenvolvida por <a href="https://github.com/fccoelho">fccoelho</a>. A proposta do PySUS é muito parecida com o conhecido pacote do R chamado <a href="https://github.com/rfsaldanha/microdatasus">microdatasus</a>, no entanto, PySUS é mais limitado do que o microdatasus em termos de funções. Outra forma de baixar os dados é direto pelo site do <a href="http://www2.datasus.gov.br/DATASUS/index.php?area=0901">DATASUS</a>, esses dados serão baixados em formato .dbc, o que pode dificultar sua manipulação se utilizada a linguagem Python.</p><p>O DATASUS possuí vários seguimentos de notificação, como o Sistema de Informação de Nascidos Vivos (SINASC) e Sistema de informações de Mortalidade (SIM). O nosso objetivo inicial será baixar os casos de óbitos do Brasil de 2014 a 2018, considerando todos os tipos de óbitos e de todos os estados da federação. Para isso vamos utilizar vamos utilizar os dados do SIM e a função ‘download()’ do PySUS:</p><pre>#!pip install PySUS<br>from pysus.online_data.SIM import download</pre><pre>estados =[&quot;A&quot;,&quot;AL&quot;,&quot;AP&quot;,&quot;AM&quot;,&quot;BA&quot;,&quot;CE&quot;,&quot;DF&quot;,&quot;ES&quot;,&quot;GO&quot;,&quot;MA&quot;,&quot;MT&quot;, &quot;MS&quot;,&quot;MG&quot;,&quot;PA&quot;,&quot;PB&quot;,&quot;PR&quot;,&quot;PE&quot;,&quot;PI&quot;,&quot;RJ&quot;,&quot;RN&quot;,&quot;RS&quot;,&quot;RO&quot;,&quot;RR&quot;,&quot;SC&quot;,&quot;SP&quot;,&quot;SE&quot;,&quot;TO&quot;]<br>anos = [2014, 2015, 2016, 2017, 2018]</pre><pre>banco={}</pre><pre>for y in anos:<br> for uf in estados: <br> banco[uf, y] = download(state = uf, year=y)<br> print(&quot;Banco de &quot; + str(y) + &quot;de &quot; + str(uf) + &quot;baixado!&quot;)</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/233/1*V3J42l89TjIKz_c34jk1pg.png" /></figure><blockquote><strong>Podemos ler esse código da seguinte forma:</strong> primeiro criamos duas listas, a primeira contém os estados do Brasil e a segunda contém os anos que queremos baixar. Em seguida, criamos um dicionário que armazenará cada banco de dados baixado por ano e por estado. Logo chamamos um loop, que irá percorrer cada ano e, em seguida, um segundo loop que irá percorrer cada estado. Por fim, um print com o ano e estado indicando qual banco foi baixado.</blockquote><h3>Processamento dos Dados</h3><p>Após termos os dados baixados, todos os bancos estão armazenados na variável “banco”. O processamento que precisamos realizar é a conversão dessa variável (do tipo dicionário) para o tipo DataFrame. Utilizando a função ‘concat()’ da biblioteca Pandas é possível realizar essa conversão:</p><pre>todos = pd.concat({ k: pd.DataFrame.from_dict(v) for k, v in    banco.items() }, axis=0).reset_index()</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1001/1*xuAf7U5yFRYkxIt43JEFVw.png" /></figure><blockquote><strong>Podemos ler esse código da seguinte forma: </strong>Essa função é capaz de ir em cada banco armazenado na variável “banco” e converter cada banco em um DataFrame. Por fim, a função concat() junta todos os bancos em um só DataFrame e resetamos os índices para termos acesso ao estado e ano. Veja a ilustração desse processo abaixo:</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qCa99dyf_K1cg5aFLLCx3A.png" /></figure><h4>Escolhendo Variáveis</h4><p>Agora temos uma variável chamada “todos” com todos os estados e anos que baixamos organizados em um DataFrame. Agora vamos criar um subset contendo apenas as variáveis que nos interessa.</p><p><strong>Variáveis:</strong></p><ul><li><strong>level_0:</strong> UF do caso registrado. Variável criada na etapa anterior, que originalmente era os indes e resetamos (.reset_index())</li><li><strong>level_1: </strong>Ano do caso registrado. Variável criada na etapa anterior, que originalmente era os indes e resetamos (.reset_index())</li><li><strong>CIRCOBITO:</strong> circunstância do óbito. 1 : Acidente, 2 : Suicídio, 3 : Homicídio, 4 : Outro, 0;5;6;7;8;9 : NA.</li><li><strong>DTOBITO:</strong> data do óbito.</li><li><strong>DTNASC:</strong> data de nascimento.</li><li><strong>SEXO:</strong> sexo. 1 : Masculino, 2 : Feminino, 0;9 : NA.</li><li><strong>RACACOR:</strong> raça. 1 : Branca, 2 : Preta, 3 : Amarela, 4 : Parda, 5 : Indígena, 0;6;7;8;9 : NA.</li><li><strong>ESTCIV:</strong> estado civil. 1 : Solteiro, 2 : Casado, 3 : Viúvo, 4 : Separado judicialmente, 5 : União consensual, 0;6;7;8;9 : NA.</li><li><strong>ESC:</strong> escolaridade. 1 : Nenhuma, 2: 1 a 3 anos, 3 : 4 a 7 anos, 4 : 8 a 11 anos, 5 : 12 e mais, 8 : De 9 a 11 anos, 0;6;7;9;A : NA.</li><li><strong>OCUP:</strong> ocupação. Para óbitos a partir de 2006, segue-se a tabela CBO2002.</li><li><strong>CODMUNRES:</strong> município de residência do falecido (codificado).</li><li><strong>LOCOCOR:</strong> Local de ocorrência do óbito. 1 : Hospital, 2 : Outro estabelecimento de saúde, 3 : Domicílio, 4 : Via pública, 5 : Outros, 9 : NA.</li><li><strong>ASSISTMED:</strong> Assistência médica. 1 : Sim, 2 : Não, 9 : NA.</li><li><strong>CAUSABAS:</strong> Causa básica do óbito. Código CID-10.</li><li><strong>CAUSABAS_O:</strong> Causa básica do óbito. Código CID-10.</li></ul><pre>todos = todos[[<br>&quot;level_0&quot;, &quot;level_1&quot;,&quot;CIRCOBITO&quot;, &quot;DTOBITO&quot;,&quot;DTNASC&quot;, &quot;SEXO&quot;, &quot;RACACOR&quot;, &quot;ESTCIV&quot;, &quot;ESC&quot;, &quot;OCUP&quot;, &quot;CODMUNRES&quot;, &quot;LOCOCOR&quot;, &quot;ASSISTMED&quot;, &quot;CAUSABAS&quot;, &quot;CAUSABAS_O&quot;<br>]]<br>todos.rename(columns={&quot;level_0&quot;: &quot;estado&quot;, &quot;level_1&quot;: &quot;ano&quot;}, inplace=True) #renomeando colunas</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/975/1*ko2DN6i-LmanYH7X-fdL2w.png" /></figure><blockquote><strong>Podemos ler esse código da seguinte forma: </strong>utilizando os [[ ]] é possível selecionar as variáveis que nos interessa dentro da variável “todos”. Depois de separar as variáveis podemos renomear as variáveis ‘level_0’ e ‘level_1’ para ‘estado’ e ‘ano’.</blockquote><h4>Filtrando os Casos de Suicídio</h4><p>Até agora temos todos os casos de óbito sregistrados no DATASUS de 2014 a 2018, mas o que nos interessa mesmo são os casos de suicídio. Para separar apenas os casos de suicídio, vamos filtrar os dados seguindo a mesma metodologia empregada por <a href="https://www.scielo.br/pdf/rbp/v31s2/v31s2a07.pdf">Lovisi e colaboradores (2009)</a>. Vamos filtrar os casos de óbitos tendo como base a Classificação Internacional de Doenças (CID-10), considerando as causas básicas de óbito que variam na CID-10 entre X-60 e X-84 (lesões autoprovocadas intencionalmente).</p><pre>filter_list=[&quot;X{}&quot;.format(x) for x in range(600, 850)]</pre><pre>cid10 = todos[<br>todos[&quot;CAUSABAS&quot;].isin(filter_list) | todos[&quot;CAUSABAS_O&quot;].isin(filter_list)<br>]</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1015/1*jn2qaMXy-7Y3uSW0xXdQOg.png" /></figure><blockquote><strong>Podemos ler esse código da seguinte forma: </strong>o primeiro passo é criar uma lista com todas as variações possíveis entre X600 a X849, portanto na variável “filter_list” foi criado um loop que varia de 600 a 850. Em seguida, resgatamos a variável “todos” e filtramos os casos que contém como ‘CAUSABAS’ <strong>OU</strong> ‘CAUSABAS_O’ uma das possibilidades da lista criada.</blockquote><p>Você deve estar se perguntando, por que não filtramos os óbitos de suicídio utilizando a variável ‘CIRCOBITO’, que possuí uma classificação para suicídio (código 2)? Nos meus testes, percebi que essa classificação não é muito confiável, mesmo o óbito tendo como causa básica um código da CID-10 entre X-60 a X-84, há vários casos que recebeu uma classificação diferente de 2 (suicídio). Portanto, optei por padronizar o filtro de casos por apenas um padrão, apenas pela CID-10.</p><h4>Recodificando <strong>Valores</strong></h4><p>Na variável “cid10” temos um DataFrame com apenas casos de suicídio. A partir de agora vamos utilizá-la para analisar os dados e obter insights. Mas antes de começarmos, ainda precisamos recodificar os valores presente em cada variável. Vamos substituir os números por suas respectivas labels.</p><pre>dictCIRCOBITO = {<br>   &quot;1&quot; : &quot;Acidente&quot;,<br>    &quot;2&quot; : &quot;Suicídio&quot;,<br>    &quot;3&quot; : &quot;Homicídio&quot;,<br>    &quot;4&quot; : &quot;Outro&quot;,<br>    &quot;0&quot; : &quot;NA&quot;,<br>    &quot;6&quot; : &quot;NA&quot;,<br>    &quot;7&quot; : &quot;NA&quot;,<br>    &quot;8&quot; : &quot;NA&quot;,<br>    &quot;9&quot; : &quot;NA&quot;<br>}<br>dicSEXO = {<br>    &quot;1&quot; : &quot;Masculino&quot;,<br>    &quot;2&quot; : &quot;Feminino&quot;,<br>    &quot;0&quot; : &quot;NA&quot;,<br>    &quot;9&quot; : &quot;NA&quot;<br>}<br>dicRACACOR = {<br>    &quot;1&quot; : &quot;Branca&quot;,<br>    &quot;2&quot; : &quot;Preta&quot;,<br>    &quot;3&quot; : &quot;Amarela&quot;,<br>    &quot;4&quot; : &quot;Parda&quot;,<br>    &quot;5&quot; : &quot;Indígena&quot;,<br>    &quot;0&quot; : &quot;NA&quot;, <br>    &quot;6&quot; : &quot;NA&quot;,<br>    &quot;7&quot; : &quot;NA&quot;,<br>    &quot;8&quot; : &quot;NA&quot;,<br>    &quot;9&quot; : &quot;NA&quot;<br>}<br>dicESTCIV = {<br>    &quot;1&quot; : &quot;Solteiro&quot;,<br>    &quot;2&quot; : &quot;Casado&quot;,<br>    &quot;3&quot; : &quot;Viúvo&quot;,<br>    &quot;4&quot; : &quot;Separado judicialmente&quot;,<br>    &quot;5&quot; : &quot;União consensual&quot;,<br>    &quot;0&quot; : &quot;NA&quot;, <br>    &quot;6&quot; : &quot;NA&quot;,<br>    &quot;7&quot; : &quot;NA&quot;,<br>    &quot;8&quot; : &quot;NA&quot;,<br>    &quot;9&quot; : &quot;NA&quot;<br>}<br>dicESC = {<br>    &quot;1&quot; : &quot;Nenhuma&quot;,<br>    &quot;2&quot;: &quot;1 a 3 anos&quot;,<br>    &quot;3&quot; : &quot;4 a 7 anos&quot;,<br>    &quot;4&quot; : &quot;8 a 11 anos&quot;,<br>    &quot;5&quot; : &quot;12 e mais&quot;,<br>    &quot;8&quot; : &quot;De 9 a 11 anos&quot;,<br>    &quot;0&quot; : &quot;NA&quot;,<br>    &quot;6&quot; : &quot;NA&quot;,<br>    &quot;7&quot; : &quot;NA&quot;,<br>    &quot;9&quot; : &quot;NA&quot;,<br>    &quot;&quot;  : &quot;NA&quot;<br>}<br>dictLOCOCOR = {<br>    &quot;1&quot; : &quot;Hospital&quot;,<br>    &quot;2&quot; : &quot;Outro estabelecimento de saúde&quot;,<br>    &quot;3&quot; : &quot;Domicílio&quot;,<br>    &quot;4&quot; : &quot;Via pública&quot;,<br>    &quot;5&quot; : &quot;Outros&quot;,<br>    &quot;9&quot; : &quot;NA&quot;<br>}<br>dictASSISTMED = {<br>    &quot;1&quot; : &quot;Sim&quot;,<br>    &quot;2&quot; : &quot;Não&quot;,<br>    &quot;9&quot; : &quot;NA&quot;<br>}<br>cid10 = cid10.replace({&quot;CIRCOBITO&quot; : dictCIRCOBITO, &quot;SEXO&quot; : dicSEXO, &quot;RACACOR&quot; : dicRACACOR, &quot;ESTCIV&quot; : dicESTCIV, &quot;ESC&quot; : dicESC, &quot;LOCOCOR&quot; : dictLOCOCOR, &quot;ASSISTMED&quot; : dictASSISTMED})</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/974/1*m5BocvT3SqCV-63IISNfAA.png" /></figure><blockquote><strong>Podemos ler esse código da seguinte forma: </strong>primeiro criamos dicionários com os valores e as labels das variáveis ‘CIRCOBITO’, ‘SEXO’, ‘RACACOR’ , ‘ESTCIV’, ‘ESC’, ‘LOCOCOR’ e ‘ASSISTMED’ . Utilizando a função replace(), substituímos os valores das variávei sselecionadas pelos valores (labels) atribuídos nos dicionários criados anteriormente.</blockquote><p>Para as variáveis que se referem ao tempo, como ‘DTOBITO’ e ‘DTNASC’ precisamos convertê-las para o formato <em>datatime</em>, para isso iremos utilizar a biblioteca <a href="https://docs.python.org/3/library/datetime.html">datetime</a>, veja como se faz:</p><pre>import datetime</pre><pre>cid10[&quot;DTNASC&quot;] = cid10[&quot;DTNASC&quot;][cid10[&quot;DTNASC&quot;] != &quot;&quot;].apply(lambda x: datetime.datetime.strptime(x, &quot;%d%m%Y&quot;))</pre><pre>cid10[&quot;DTOBITO&quot;] = cid10[&quot;DTOBITO&quot;][cid10[&quot;DTOBITO&quot;] != &quot;&quot;].apply(lambda x: datetime.datetime.strptime(x, &quot;%d%m%Y&quot;))</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/417/1*FEv2PebGHpZ6ATOxvwzofQ.png" /></figure><blockquote><strong>Podemos ler esse código da seguinte forma: </strong>vamos converter os valores das variáveis ‘DTNASC’ e ‘DTOBITO’ do formato <em>object </em>para o formato <em>datetime</em>, mas precisamos passar apenas valores válidos, portanto, precisamos filtrar casos que tenha data vazia (<em>‘’</em>). Após isso, uma função lambda irá ler e converter cada caso de data na nossa variável e configurá-la para o formato ano-mês- dia.</blockquote><p>Aproveitando que estamos trabalhando com datas, podemos calcular a idade das pessoas subtraindo o ano de morte pelo ano de nascimento. Vamos criar uma variável ‘idade’.</p><pre>cid10[&quot;idade&quot;] = cid10[&quot;DTOBITO&quot;].dt.year - cid10[&quot;DTNASC&quot;].dt.year</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/359/1*uQDw5E5wx6QuYqHL1mLc7w.png" /></figure><p>Em relação ao dia do óbito, podemos ainda explorar o mês do ano em que ocorreu. Veja como calcular:</p><pre>cid10[&quot;mes&quot;] = cid10[&quot;DTOBITO&quot;].map(lambda x: x.strftime(&quot;%m&quot;))</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/323/1*V5Gs2UPkAKVeDInOheIlcw.png" /></figure><p>Entre as variáveis que sobraram foram ‘OCUP’ e ‘CODMUNRES’, que se referem as ocupações e os municípios em que ocorreram os óbitos. No entanto, ambas estão em formato de código e precisamos substituir esses códigos pelas seus respectivas labels (rótulos). As ocupações seguem as codificação proposta pela <a href="https://github.com/daltonbc96/python/blob/master/CBO.csv">Classificação Brasileira de Ocupações (CBO)</a> no ano de 2002, já a codificação dos municípios segue os <a href="http://blog.mds.gov.br/redesuas/wp-content/uploads/2018/06/Lista_Munic%C3%ADpios_com_IBGE_Brasil_Versao_CSV.csv">códigos do IBGE</a>. Veja no código abaixo como fazer as substituições.</p><pre>CBO2002  = pd.read_csv(&quot;CBO.csv&quot;).set_index(&quot;CODIGO&quot;).to_dict()</pre><pre>cid10[&quot;OCUP&quot;] = cid10[&quot;OCUP&quot;].replace(&quot;&quot;, 0).astype(int)<br>cid10[&quot;OCUP&quot;] = cid10[&quot;OCUP&quot;].replace(CBO2002[&quot;OCUPACAO&quot;])</pre><blockquote><strong>Podemos ler esse código da seguinte forma: </strong>primeiro carregamos o arquivo ‘CBO.csv’ e em seguida realizamos a substituição dos códigos da variável ‘OCUP’ pelas labels. Aqueles casos que não possuem codificação são subsistidos por 0.</blockquote><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/373/1*nCxVUFMKZHQ2HU3hhdnNmw.png" /></figure><pre>URL = &quot;<a href="http://blog.mds.gov.br/redesuas/wp-content/uploads/2018/06/Lista_Munic%C3%ADpios_com_IBGE_Brasil_Versao_CSV.csv">http://blog.mds.gov.br/redesuas/wp-content/uploads/2018/06/Lista_Munic%C3%ADpios_com_IBGE_Brasil_Versao_CSV.csv</a>&quot;<br>municipios  = pd.read_csv(URL, error_bad_lines=False, sep=&quot;;&quot;,encoding=&quot;latin-1&quot;, usecols = [&quot;IBGE&quot;,&quot;Município&quot;]).set_index(&quot;IBGE&quot;).to_dict()<br>cid10[&quot;CODMUNRES&quot;]=cid10[&quot;CODMUNRES&quot;].astype(int).replace(municipios[&quot;Município&quot;])</pre><blockquote><strong>Podemos ler esse código da seguinte forma: </strong>para realizar a substituição dos municípios, dessa vez baixando os dados diretamente por um link. Note que ao ler o arquivo .csv baixado, selecionamos apenas as colunas que nos interessa.</blockquote><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/375/1*JBSvppP8ARbb86bvPd-Rfw.png" /></figure><p>O seu banco de dados no final estará parecido com esse abaixo. Caso queira baixar esse banco de dados completo acesse nossa página no <a href="https://www.kaggle.com/psicodata/dados-de-suicdio-no-brasil-2014-a-2018">Kaggle</a>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/855/1*MRigpypXoytN2-ZlpSFjWQ.png" /></figure><h3>Usando Dados Públicos</h3><p>Agora que temos nossos dados baixados e processados podemos explorá-los. Podemos obter insights por meio de inferências estatísticas ou simplesmente por meio da visualização dos gráficos.</p><p>Podemos utilizar dados públicos para criar políticas públicas, explorar novos problemas de pesquisa e entender diversos fenômenos nacionais. Temos um grande tesouro nas mãos e temos que explorá-lo, privilégio que não está presente em outros países.</p><p>Vamos explorar dados públicos! Vamos utilizar aquilo que temos direito!</p><h3>Código Completo</h3><pre>#!pip install PySUS <br>from pysus.online_data.SIM import download<br>import datetime<br>estados = [&quot;AC&quot;, &quot;AL&quot;, &quot;AP&quot;, &quot;AM&quot;, &quot;BA&quot;, &quot;CE&quot;, &quot;DF&quot;, &quot;ES&quot;, &quot;GO&quot;, &quot;MA&quot;, &quot;MT&quot;,&quot;MS&quot;, &quot;MG&quot;, &quot;PA&quot;, &quot;PB&quot;, &quot;PR&quot;, &quot;PE&quot;, &quot;PI&quot;, &quot;RJ&quot;, &quot;RN&quot;, &quot;RS&quot;, &quot;RO&quot;, &quot;RR&quot;, &quot;SC&quot;,&quot;SP&quot;, &quot;SE&quot;, &quot;TO&quot;]<br>anos = [2014, 2015, 2016, 2017, 2018]<br>banco = {}<br>for y in anos:<br>   for uf in estados:<br>   banco[uf, y] = download(state=uf, year=y)<br>   print(&quot;Banco de &quot; + str(y) + &quot; de &quot; + str(uf) + &quot; baixado!&quot;)<br>todos = pd.concat({k: pd.DataFrame.from_dict(v) for k, v in banco.items()}, axis=0).reset_index()<br>todos = todos[[<br>&quot;level_0&quot;, &quot;level_1&quot;, &quot;CIRCOBITO&quot;, &quot;DTOBITO&quot;, &quot;DTNASC&quot;, &quot;SEXO&quot;, &quot;RACACOR&quot;, &quot;ESTCIV&quot;, &quot;ESC&quot;, &quot;OCUP&quot;, &quot;CODMUNRES&quot;, &quot;LOCOCOR&quot;, &quot;ASSISTMED&quot;, &quot;CAUSABAS&quot;, &quot;CAUSABAS_O&quot;<br>]]<br>todos.rename(columns={&quot;level_0&quot;: &quot;estado&quot;, &quot;level_1&quot;: &quot;ano&quot;}, inplace=True)  # renomeando colunas<br>filter_list = [&quot;X{}&quot;.format(x) for x in range(600, 850)]<br>cid10 = todos[<br>todos[&quot;CAUSABAS&quot;].isin(filter_list) | todos[&quot;CAUSABAS_O&quot;].isin(filter_list)<br>]<br>dictCIRCOBITO = {<br>&quot;1&quot;: &quot;Acidente&quot;,<br>&quot;2&quot;: &quot;Suicídio&quot;,<br>&quot;3&quot;: &quot;Homicídio&quot;,<br>&quot;4&quot;: &quot;Outro&quot;,<br>&quot;0&quot;: &quot;NA&quot;,<br>&quot;6&quot;: &quot;NA&quot;,<br>&quot;7&quot;: &quot;NA&quot;,<br>&quot;8&quot;: &quot;NA&quot;,<br>&quot;9&quot;: &quot;NA&quot;<br>}<br>dicSEXO = {<br>&quot;1&quot;: &quot;Masculino&quot;,<br>&quot;2&quot;: &quot;Feminino&quot;,<br>&quot;0&quot;: &quot;NA&quot;,<br>&quot;9&quot;: &quot;NA&quot;<br>}<br>dicRACACOR = {<br>&quot;1&quot;: &quot;Branca&quot;,<br>&quot;2&quot;: &quot;Preta&quot;,<br>&quot;3&quot;: &quot;Amarela&quot;,<br>&quot;4&quot;: &quot;Parda&quot;,<br>&quot;5&quot;: &quot;Indígena&quot;,<br>&quot;0&quot;: &quot;NA&quot;,<br>&quot;6&quot;: &quot;NA&quot;,<br>&quot;7&quot;: &quot;NA&quot;,<br>&quot;8&quot;: &quot;NA&quot;,<br>&quot;9&quot;: &quot;NA&quot;<br>}<br>dicESTCIV = {<br>&quot;1&quot;: &quot;Solteiro&quot;,<br>&quot;2&quot;: &quot;Casado&quot;,<br>&quot;3&quot;: &quot;Viúvo&quot;,<br>&quot;4&quot;: &quot;Separado judicialmente&quot;,<br>&quot;5&quot;: &quot;União consensual&quot;,<br>&quot;0&quot;: &quot;NA&quot;,<br>&quot;6&quot;: &quot;NA&quot;,<br>&quot;7&quot;: &quot;NA&quot;,<br>&quot;8&quot;: &quot;NA&quot;,<br>&quot;9&quot;: &quot;NA&quot;<br>}<br>dicESC = {<br>&quot;1&quot;: &quot;Nenhuma&quot;,<br>&quot;2&quot;: &quot;1 a 3 anos&quot;,<br>&quot;3&quot;: &quot;4 a 7 anos&quot;,<br>&quot;4&quot;: &quot;8 a 11 anos&quot;,<br>&quot;5&quot;: &quot;12 e mais&quot;,<br>&quot;8&quot;: &quot;De 9 a 11 anos&quot;,<br>&quot;0&quot;: &quot;NA&quot;,<br>&quot;6&quot;: &quot;NA&quot;,<br>&quot;7&quot;: &quot;NA&quot;,<br>&quot;9&quot;: &quot;NA&quot;,<br>&quot;&quot;: &quot;NA&quot;<br>}<br>dictLOCOCOR = {<br>&quot;1&quot;: &quot;Hospital&quot;,<br>&quot;2&quot;: &quot;Outro estabelecimento de saúde&quot;,<br>&quot;3&quot;: &quot;Domicílio&quot;,<br>&quot;4&quot;: &quot;Via pública&quot;,<br>&quot;5&quot;: &quot;Outros&quot;,<br>&quot;9&quot;: &quot;NA&quot;<br>}<br>dictASSISTMED = {<br>&quot;1&quot;: &quot;Sim&quot;,<br>&quot;2&quot;: &quot;Não&quot;,<br>&quot;9&quot;: &quot;NA&quot;<br>}<br>cid10 = cid10.replace({&quot;CIRCOBITO&quot;: dictCIRCOBITO, &quot;SEXO&quot;: dicSEXO, &quot;RACACOR&quot;: dicRACACOR,&quot;ESTCIV&quot;: dicESTCIV, &quot;ESC&quot;: dicESC, &quot;LOCOCOR&quot;: dictLOCOCOR, &quot;ASSISTMED&quot;: dictASSISTMED})<br>cid10[&quot;DTNASC&quot;] = cid10[&quot;DTNASC&quot;][cid10[&quot;DTNASC&quot;] != &quot;&quot;].apply(lambda x: datetime.datetime.strptime(x, &quot;%d%m%Y&quot;))<br>cid10[&quot;idade&quot;] = cid10[&quot;DTOBITO&quot;].dt.year - cid10[&quot;DTNASC&quot;].dt.year<br>cid10[&quot;mes&quot;] = cid10[&quot;DTOBITO&quot;].map(lambda x: x.strftime(&quot;%m&quot;))<br>CBO2002 = pd.read_csv(&quot;CBO.csv&quot;).set_index(&quot;CODIGO&quot;).to_dict()<br>cid10[&quot;OCUP&quot;] = cid10[&quot;OCUP&quot;].replace(&quot;&quot;, 0).astype(int)<br>cid10[&quot;OCUP&quot;] = cid10[&quot;OCUP&quot;].replace(CBO2002[&quot;OCUPACAO&quot;])<br>URL = &quot;<a href="http://blog.mds.gov.br/redesuas/wp-content/uploads/2018/06/Lista_Munic%C3%ADpios_com_IBGE_Brasil_Versao_CSV.csv">http://blog.mds.gov.br/redesuas/wp-content/uploads/2018/06/Lista_Munic%C3%ADpios_com_IBGE_Brasil_Versao_CSV.csv</a>&quot;<br>municipios = pd.read_csv(URL, error_bad_lines=False, sep=&quot;;&quot;, encoding=&quot;latin-1&quot;, usecols=[&quot;IBGE&quot;, &quot;Município&quot;]).set_index(&quot;IBGE&quot;).to_dict()<br>cid10[&quot;CODMUNRES&quot;] = cid10[&quot;CODMUNRES&quot;].astype(int).replace(municipios[&quot;Município&quot;])</pre><p>Espero que tenha gostado e qualquer dúvida, comentário ou observação é muito bem-vinda! Fique à vontade para se manifestar e vamos aprender juntos! Se preferir, você pode me contatar pelo <a href="/service/mailto:dalton.bc96@gmail.com">dalton.bc96@gmail.com</a></p><p>Obrigado pela leitura!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=656afa17f6ad" width="1" height="1" alt=""><hr><p><a href="https://medium.com/datapsico/baixando-e-processando-dados-do-datasus-sobre-suic%C3%ADdio-com-python-656afa17f6ad">Baixando e processando dados do DATASUS sobre suicídio com Python</a> was originally published in <a href="https://medium.com/datapsico">Datapsico</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Saia do SPSS e venha para o R ]]></title>
            <link>https://medium.com/datapsico/saia-do-spss-e-venha-para-o-r-7cdfdeac8a24?source=rss-231f39aa4f68------2</link>
            <guid isPermaLink="false">https://medium.com/p/7cdfdeac8a24</guid>
            <category><![CDATA[psicodata]]></category>
            <category><![CDATA[newsletter]]></category>
            <category><![CDATA[r]]></category>
            <dc:creator><![CDATA[Dalton Costa]]></dc:creator>
            <pubDate>Sat, 05 Sep 2020 17:02:31 GMT</pubDate>
            <atom:updated>2020-09-05T17:02:31.715Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*jrwCBFJLld1XYbU8QZ0HFQ.png" /></figure><h3><strong>No mês de agosto a linguagem R dominou o PsicoData!</strong></h3><p>Você perdeu alguma coisa?! Não fique triste, eu vou resumir para você todos os conteúdos:</p><p>Se você não sabe por onde começar, respira e vem conferir comigo esse post sobre <a href="https://medium.com/psicodata/suaprimeiralinhader-f6732c16e47f">como iniciar no R</a>!</p><p>Se você é daqueles mais adiantados e quer aprender a manipular dados com R, também temos conteúdos para você:</p><ul><li><a href="https://medium.com/psicodata/transformando-colunas-em-linhas-com-tidyr-a649f287a238">Transformando colunas em linhas e outras loucuras com tidyr</a></li><li><a href="https://medium.com/psicodata/valores-missing-parte-1-4382bb026660">Valores missing — Parte 1</a></li><li><a href="https://medium.com/psicodata/valores-missing-parte-2-d2e0b832ce14">Valores missing — Parte 2</a></li><li><a href="https://medium.com/psicodata/ganhe-liberdade-aprendendo-a-ler-fun%C3%A7%C3%B5es-18822ee7e503">Ganhe liberdade aprendendo a ler funções</a></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/560/0*on2XmWXMaUJWlgd_.gif" /></figure><p>Ok, você já sabe muitas coisas que dá para fazer com o R, vamos tentar algum mais avançado? Que tal corrigirmos uma escala psicométrica e obter insights incríveis sobre os seus dados? 😍</p><p>Preparamos um tutorial de como analisar uma escala psicométrica utilizando o R, <a href="https://medium.com/psicodata/corrigindo-uma-escala-psicometrica-com-r-bfd6340f9609">clique aqui.</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*pWlJuwUSfBY2LTtt.jpeg" /></figure><p>Esse mês de agosto foi incrível! E o que será que vem por ai no PsicoData? 👀</p><p>Convide seus amigos a assinar a nossa newsletter pelo link abaixo:</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7cdfdeac8a24" width="1" height="1" alt=""><hr><p><a href="https://medium.com/datapsico/saia-do-spss-e-venha-para-o-r-7cdfdeac8a24">Saia do SPSS e venha para o R 😎</a> was originally published in <a href="https://medium.com/datapsico">Datapsico</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Saia do SPSS e venha para o Python ]]></title>
            <link>https://medium.com/datapsico/saia-do-spss-e-venha-para-o-python-5de8198fa0ee?source=rss-231f39aa4f68------2</link>
            <guid isPermaLink="false">https://medium.com/p/5de8198fa0ee</guid>
            <dc:creator><![CDATA[Dalton Costa]]></dc:creator>
            <pubDate>Fri, 31 Jul 2020 20:56:53 GMT</pubDate>
            <atom:updated>2020-07-31T20:56:53.922Z</atom:updated>
            <content:encoded><![CDATA[<h4>Confira os novos posts do <a href="https://medium.com/psicodata">PsicoData</a>!</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/814/1*LrVBU1QnPJghRBoMI8ecLA.png" /></figure><p>Semana passada nós apresentamos um pouco mais sobre como trabalhar com manipulação de dados com a super linguagem de programação Python.</p><p>Se você não sabe como começar <a href="https://medium.com/psicodata/suaprimeiralinhadepython-74008e1a9b6">nós criamos esse tutorial para você escrever a sua primeira linha de código com Python</a>.</p><h4><a href="https://medium.com/psicodata/manipulacao-limpeza-e-analises-descritivas-de-uma-escala-psicometrica-com-python-9f638b3955d0">Manipulando bancos de dados com Python</a></h4><p>Na semana passada, esse post mostrou como realizar a manipulação inicial de uma escala psicométrica utilizando o Python. Para isso, mexemos nesse <a href="https://www.kaggle.com/lucasgreenwell/depression-anxiety-stress-scales-responses">banco disponível publicamente no site Kaggle</a>, que trata das respostas à <em>Depression Anxiety Stress Scales Responses</em>.</p><p>Como resultado, mostramos o passo a passo de como transformar os dados iniciais e chegar nessa figura aqui.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/332/1*Ckn_XnQIRZURBpJ8rQLxKg.png" /></figure><p><a href="https://medium.com/psicodata/manipulacao-limpeza-e-analises-descritivas-de-uma-escala-psicometrica-com-python-9f638b3955d0"><strong>Confere aqui!</strong></a></p><p>—</p><p>Tem alguma sugestão ou dúvida para o PsicoData? Fale com a gente:</p><p>daltonbc96@gmail.com 😄<br>reisrgabriel@gmail.com 😄</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5de8198fa0ee" width="1" height="1" alt=""><hr><p><a href="https://medium.com/datapsico/saia-do-spss-e-venha-para-o-python-5de8198fa0ee">Saia do SPSS e venha para o Python 🐍</a> was originally published in <a href="https://medium.com/datapsico">Datapsico</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Corrigindo uma escala psicométrica com Python: manipulação, limpeza e análises descritivas]]></title>
            <link>https://medium.com/datapsico/manipulacao-limpeza-e-analises-descritivas-de-uma-escala-psicometrica-com-python-9f638b3955d0?source=rss-231f39aa4f68------2</link>
            <guid isPermaLink="false">https://medium.com/p/9f638b3955d0</guid>
            <category><![CDATA[psicometria]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[ciência-de-dados]]></category>
            <category><![CDATA[tutorial]]></category>
            <category><![CDATA[psicodata]]></category>
            <dc:creator><![CDATA[Dalton Costa]]></dc:creator>
            <pubDate>Fri, 24 Jul 2020 20:48:01 GMT</pubDate>
            <atom:updated>2020-07-24T20:48:01.233Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mBQ9s65FrMrrttkohxww3A.png" /><figcaption>Photo on <a href="https://www.pinterest.ca/pin/743938432179973251/">Pinterest</a></figcaption></figure><p>O trabalho do cientista de dados não se resume apenas em análises. Talvez mais da metade do seu tempo é destinado a manipulação e limpeza dos dados. Somente após alguns incansáveis procedimentos de limpeza o dado poderá ser utilizado para análises.</p><p>Apropriando do fluxograma proposto por <a href="https://r4ds.had.co.nz/">Wickham &amp; Grolemund (2017)</a> podemos observar que a exploração dos dados segue um constante ciclo de transformação e visualização. Assim, como um minerador em busca de peças valiosas, o cientista de dados minera seus dados em busca de valores importantes, removendo todos os resíduos que possam atrapalhar suas análises.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/517/0*Vdz02wOAdrjwFrvW.png" /><figcaption>Processo de exploração de dados. Criado por <a href="https://r4ds.had.co.nz/">Wickham &amp; Grolemund (2017)</a></figcaption></figure><p><strong>Esse texto foi construído para auxiliar você a manipular, limpar e realizar análises descritivas de uma escala psicométrica.</strong> Nesse texto, iremos utilizar como exemplo o banco de dados “<a href="https://www.kaggle.com/lucasgreenwell/depression-anxiety-stress-scales-responses">Depression Anxiety Stress Scales Responses”</a> disponível publicamente no site Kaggle. Especialmente, vamos nos ater sobre as variáveis do questionário, corrigi-lo e interpretá-lo utilizando Python e o Jupyter Notebook.</p><p>O banco de dados que será utilizado é fruto de uma coleta de dados com quase 40 mil pessoas de vários países com a <a href="https://pubmed.ncbi.nlm.nih.gov/12828802/">Depression Anxiety Stress Scales (DASS42)</a>, além das variáveis com as respostas dos participantes há outras variáveis sociodemográficas. O principal objetivo da DASS42 é identificar a presença de sintomatologia de depressão, ansiedade e estresse na população.</p><p>Para executar os procedimentos descritos abaixo é necessário ter o banco de dados baixado no seu computador.</p><h3>Mão na Massa</h3><h4>Importando bibliotecas</h4><p>Neste experimento vamos utilizar as bibliotecas <a href="https://pandas.pydata.org/">Pandas </a>e <a href="https://matplotlib.org/">Matplotlib</a>.</p><pre>import pandas as pd<br>import matplotlib.pyplot as plt<br>import warnings<br>warnings.filterwarnings(‘ignore’)</pre><h4>Lendo o banco de dados</h4><p>Depois de baixar os dados no seu computador você poderá ler os dados utilizando a biblioteca Pandas. Note que os dados estão separados por um espaço “\t”. Para ler o banco de dados execute o código abaixo:</p><pre>banco = pd.read_csv(&quot;data.csv&quot;, sep=&quot;\t&quot;)<br>banco</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1013/1*d1tL7-gZlg5OpfIauTDPvg.png" /></figure><h4>Criando sub-banco de dados</h4><p>Nessa etapa vamos criar um novo dataframe somente com as variáveis que nos interessa, deixando de lado outras variáveis que não farão parte das nossas análises. Queremos resgatar do banco original apenas as variáveis referentes à <strong>escala DASS42</strong> e às variáveis <strong>gender</strong> e <strong>age</strong>.</p><p>Na linguagem Python, para separar sub-bancos ou <em>subsets </em>podemos atribuir os dados a uma nova variável utilizando de colchetes duplos, veja o código abaixo:</p><pre>subbanco = banco[[<br>&#39;Q1A&#39;, &#39;Q2A&#39;, &#39;Q3A&#39;, &#39;Q4A&#39;, &#39;Q5A&#39;, &#39;Q6A&#39;, &#39;Q7A&#39;,&#39;Q8A&#39;, &#39;Q9A&#39;, &#39;Q10A&#39;, &#39;Q11A&#39;, &#39;Q12A&#39;, &#39;Q13A&#39;, &#39;Q14A&#39;, &#39;Q15A&#39;, &#39;Q16A&#39;, &#39;Q17A&#39;, &#39;Q18A&#39;, &#39;Q19A&#39;, &#39;Q20A&#39;, &#39;Q21A&#39;, &#39;Q22A&#39;, &#39;Q23A&#39;, &#39;Q24A&#39;, &#39;Q25A&#39;, &#39;Q26A&#39;, &#39;Q27A&#39;, &#39;Q28A&#39;, &#39;Q29A&#39;, &#39;Q30A&#39;, &#39;Q31A&#39;, &#39;Q32A&#39;, &#39;Q33A&#39;, &#39;Q34A&#39;, &#39;Q35A&#39;, &#39;Q36A&#39;, &#39;Q37A&#39;, &#39;Q38A&#39;, &#39;Q39A&#39;, &#39;Q40A&#39;, &#39;Q41A&#39;, &#39;Q42A&#39;, &#39;gender&#39;, &#39;age&#39;<br>]]</pre><pre>subbanco</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/915/1*qF608I-2E61aabue7NHLzQ.png" /></figure><h4>Recodificando variáveis</h4><p>Para corrigir a escala DASS42 , deve-se somar os itens correspondente aos seus fatores, no entanto cada opção de resposta deve variar de 0 a 3. Utilizando a função .<strong>max()</strong> e <strong>.min()</strong>, podemos observar no nosso sub-banco que os itens da escala variam de 1 a 4.</p><pre>print(subbanco[[‘Q1A’, ‘Q2A’, ‘Q3A’]].max())<br>print(subbanco[[‘Q1A’, ‘Q2A’, ‘Q3A’]].min())</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/155/1*tXyiepMv4-m8M83IM40qfQ.png" /></figure><p>Precisamos recodificar nossos dados para a escala correta, ou seja, precisamos alterar as variáveis da DASS42 de 1 a 4 para 0 a 3. Se não realizarmos isso, a interpretação dos resultados estará comprometida.</p><p>Para recodificar criaremos uma função e aplicaremos essa função em nossos dados posteriormente.</p><p>Vamos atribuir a seguinte função:</p><pre>def mudarValores(x):<br>  if x == 1:<br>     return 0<br>     if x == 2:<br>       return 1<br>       if x == 3:<br>         return 2<br>       return 3</pre><p>O objetivo dessa função é substituir um valor x quando ele for igual algum valor. Por exemplo, se o valor de x for igual a 1 deverá retornar 0.</p><p>Agora que temos a função construída precisamos aplicá-la em todas as colunas e linhas da escala DASS42. Para isso, iremos utilizar o laço de repetição <strong>FOR </strong>e <strong>IN</strong>: o primeiro passo é separar quais colunas queremos alterar no nosso sub-banco e criar o laço de repetição.</p><p>Esse laço irá substituir os valores em cada coluna informada (em <strong>dassCol</strong>) e em cada linha do sub-banco tendo como base a lógica construída na função <strong>mudarValores()</strong>. Veja no exemplo abaixo:</p><pre>#separando as colunas <br>dassCol = [<br>&#39;Q1A&#39;, &#39;Q2A&#39;, &#39;Q3A&#39;, &#39;Q4A&#39;, &#39;Q5A&#39;, &#39;Q6A&#39;, &#39;Q7A&#39;,&#39;Q8A&#39;, &#39;Q9A&#39;, &#39;Q10A&#39;, &#39;Q11A&#39;, &#39;Q12A&#39;, &#39;Q13A&#39;, &#39;Q14A&#39;, &#39;Q15A&#39;, &#39;Q16A&#39;, &#39;Q17A&#39;, &#39;Q18A&#39;, &#39;Q19A&#39;, &#39;Q20A&#39;, &#39;Q21A&#39;, &#39;Q22A&#39;, &#39;Q23A&#39;, &#39;Q24A&#39;, &#39;Q25A&#39;, &#39;Q26A&#39;, &#39;Q27A&#39;, &#39;Q28A&#39;, &#39;Q29A&#39;, &#39;Q30A&#39;, &#39;Q31A&#39;, &#39;Q32A&#39;, &#39;Q33A&#39;, &#39;Q34A&#39;, &#39;Q35A&#39;, &#39;Q36A&#39;, &#39;Q37A&#39;, &#39;Q38A&#39;, &#39;Q39A&#39;, &#39;Q40A&#39;, &#39;Q41A&#39;, &#39;Q42A&#39;<br>]</pre><pre>#laço de repetição</pre><pre>for col in dassCol:<br>    subbanco[col] = subbanco[col].map(mudarValores)<br>    <br>subbanco</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1013/1*SYpv6YFX1fT_7-CsvY-x6Q.png" /></figure><p>Agora que substituímos os valores podemos novamente conferir os valores máximos e mínimos das variáveis referentes a escala DASS42.</p><pre>print(subbanco[[‘Q1A’, ‘Q2A’, ‘Q3A’]].max())<br>print(subbanco[[‘Q1A’, ‘Q2A’, ‘Q3A’]].min())</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/152/1*M0UGFqbw4EaiIjOwxZr84A.png" /></figure><blockquote><strong>Dica: </strong>É comum a inversão de itens ao corrigir escalas. Você pode usar o mesmos procedimentos apresentados nessa seção para inverter itens/variáveis de um instrumento utilizado.</blockquote><h4>Criando categorias: cálculo dos escores brutos</h4><p>A escala que estamos trabalhando é composta por três fatores: depressão, ansiedade e estresse. O escore bruto desses fatores podem ser calculados somando todos os itens correspondentes a sua categoria:</p><ul><li>Itens da Depressão: 2, 5, 12, 13, 16, 17, 20, 23, 25, 26, 31, 32, 36 e 41</li><li>Itens da Ansiedade: 1, 6, 8, 10, 11, 14, 21, 22, 27, 28, 34, 37, 40 e 42</li><li>Itens do Estresse: 3, 4, 7, 9, 15, 18, 19, 24, 29, 30, 33, 35 e 38</li></ul><p>Vamos criar uma variável para cada categoria e atribuir a soma dos itens por cada linha (caso). Para isso iremos utilizar a função <strong>sum()</strong>. Veja o código abaixo:</p><pre># Depressão itens 2,5,12,13,16,17,20,23,25,26,31,32,36,41</pre><pre>subbanco[&#39;depressao&#39;] = subbanco[[&#39;Q2A&#39;, &#39;Q5A&#39;, &#39;Q12A&#39;, &#39;Q13A&#39;, &#39;Q16A&#39;, &#39;Q17A&#39;, &#39;Q20A&#39;, &#39;Q23A&#39;, &#39;Q25A&#39;, &#39;Q26A&#39;, &#39;Q31A&#39;, &#39;Q32A&#39;, &#39;Q36A&#39;, &#39;Q41A&#39;]].sum(axis=1)</pre><pre>#ansiedade itens 1,6,8,10,11,14,21,22,27,28,34,37,40,42</pre><pre>subbanco[&#39;ansiedade&#39;] = subbanco[[&#39;Q1A&#39;, &#39;Q6A&#39;, &#39;Q8A&#39;, &#39;Q10A&#39;, &#39;Q11A&#39;, &#39;Q14A&#39;, &#39;Q21A&#39;, &#39;Q22A&#39;, &#39;Q27A&#39;, &#39;Q28A&#39;, &#39;Q34A&#39;, &#39;Q37A&#39;, &#39;Q40A&#39;, &#39;Q42A&#39;]].sum(axis=1)</pre><pre>#estesse itens 3,4,7,9,15,18,19,24,29,30,33,35,38</pre><pre>subbanco[&#39;estresse&#39;] = subbanco[[&#39;Q3A&#39;, &#39;Q4A&#39;, &#39;Q7A&#39;, &#39;Q9A&#39;, &#39;Q15A&#39;, &#39;Q18A&#39;, &#39;Q19A&#39;, &#39;Q24A&#39;, &#39;Q29A&#39;, &#39;Q30A&#39;,&#39;Q33A&#39;, &#39;Q35A&#39;, &#39;Q38A&#39;,&#39;Q39A&#39;]].sum(axis=1)</pre><pre>subbanco[[&#39;depressao&#39;, &#39;ansiedade&#39;, &#39;estresse&#39;]]</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/321/1*U6XT_CzOJBqwcQr4rIei9A.png" /></figure><h4>Criando classificações: classificando os escores</h4><p>Agora que já temos os escores brutos podemos utilizar os pontos de corte para criar as classificações de cada categoria. Vamos tomar como base o estudo de <a href="https://pubmed.ncbi.nlm.nih.gov/12828802/">Crawford &amp; Henry (2003)</a>:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/637/0*deZC2pExO5rX6_0-.png" /><figcaption>Pontos de corte da DASS42. Imagem criada por <a href="https://www.mdpi.com/1660-4601/15/4/697">Višnjić, A., Veličković, V., Sokolović, D., Stanković, M., Mijatović, K., Stojanović, M., … &amp; Radulović, O. (2018).</a></figcaption></figure><p>Para fazer a classificação vamos ter que construir uma função para cada categoria que terá como base os pontos de corte da DASS42. A função irá verificar se o valor bruto corresponde ao intervalo dos pontos de corte. Veja o código abaixo:</p><pre>def depreClass(x):<br>  if x &lt; 10:<br>    return &#39;Normal&#39;<br>    if x &lt; 14:<br>      return &#39;Leve&#39;<br>      if x &lt; 21:<br>        return &#39;Moderado&#39;<br>        if x &lt; 28:<br>          return &#39;Severo&#39;<br>        return &#39;Extremamente_Severo&#39;</pre><pre>def ansiClass(x):<br>  if x &lt; 8:<br>    return &#39;Normal&#39;<br>    if x &lt; 10:<br>      return &#39;Leve&#39;<br>      if x &lt; 15:<br>        return &#39;Moderado&#39;<br>        if x &lt; 20:<br>          return &#39;Severo&#39;<br>        return &#39;Extremamente_Severo&#39;</pre><pre>def estrClass(x):<br>  if x &lt; 15:<br>    return &#39;Normal&#39;<br>    if x &lt; 19:<br>      return &#39;Leve&#39;<br>      if x &lt; 25:<br>        return &#39;Moderado&#39;<br>        if x &lt; 34:<br>          return &#39;Severo&#39;<br>        return &#39;Extremamente_Severo&#39;</pre><p>Podemos ler essas funções da seguinte forma: considerando um valor x se ele for menor que determinador valor retorne uma classificação. Essas funções são muito parecidas com o que fizemos na seção de <em>Recodificando Variáveis</em>, no entanto, ao invés de substituir os valores na mesma variável do banco, vamos substituir valores e atribuir a eles uma nova variável, portanto, não precisamos executar essas funções dentro de um laço de repetição.</p><p>Para executar as funções criadas precisamos criar uma variável nova para cada categoria que irá receber as classificações com base na lógica das funções criadas. Veja como executar no código abaixo:</p><pre>subbanco[&#39;depressaoClas&#39;] = subbanco[&#39;depressao&#39;].map(depreClass)<br>subbanco[&#39;ansiedadeClas&#39;] = subbanco[&#39;ansiedade&#39;].map(ansiClass)<br>subbanco[&#39;estresseClas&#39;] = subbanco[&#39;estresse&#39;].map(estrClass)</pre><pre>subbanco[[&#39;depressaoClas&#39;,&#39;ansiedadeClas&#39;, &#39;estresseClas&#39;]]</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/525/1*Ap2PWOAgS7FGos32sPyzdw.png" /></figure><h4>Análise de missing</h4><p>É recorrente ao analisar um banco de dados a existência de dados faltantes ou missing. Antes de iniciar nossa exploração estatística vamos verificar se no nosso dataframe existe algum missing. Para isso iremos utilizar a função <strong>isna()</strong> para identificar missing e <strong>sum()</strong> para somar os missing. Veja como é fácil:</p><pre>subbanco.isna().sum()</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/181/1*6dQrZ_Iw5A3hd_oaVAPMgw.png" /></figure><blockquote><strong>Dica</strong>: Por sorte, com nossos dados não há dados faltantes, mas se no seu banco houver dados faltantes você pode excluir os casos incompletos utilizando a função <strong>dropna()</strong>:</blockquote><blockquote><strong><em>subbanco.dropna()</em></strong></blockquote><h4>Excluindo casos</h4><p>Agora vamos trabalhar com as outras duas variaveis do nosso sub-banco: age e gender (idade e gênero). No site do <a href="https://www.kaggle.com/lucasgreenwell/depression-anxiety-stress-scales-responses">Kaggle</a> há a descrição dos dados e diz que a idade fonecida é um número inteiro e que o gênero poderia variar de 1 a 3 (1 = masculino, 2= feminino e 3 = outro).</p><p>Assim como fizemos com as variaveis da escala DASS42, vamos verificar os valores maximos e minimos das variaveis idade e gênero:</p><pre>print(subbanco.age.min())<br>print(subbanco.age.max())<br>print(subbanco.gender.min())<br>print(subbanco.gender.max())</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/158/1*-YI6gyGmikpJqTQXlTv-vA.png" /></figure><p>Perceba que a idade há valores muito altos e que a idade tem uma categoria a mais além das esperadas. Isso pode ter ocorrido por um erro de digitação, mas como não sabemos o real contexto desse erro e nem como corrigi-lo vamos excluir esses casos. Para excluir vamos usar os <strong>operadores lógicos</strong>, vamos excluir todos so casos que tenha mais de 100 anos e todos os casos de gênero que tenha a categoria maior que 0. Veja como fazer isso no código abaixo:</p><pre>subbanco = subbanco[subbanco.age &lt; 120]<br>subbanco = subbanco[subbanco.gender &gt; 0]</pre><pre>subbanco</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QL-lSQ3btuPVQWNLTDsuJw.png" /></figure><p>Perceba que 72 casos foram excluídos do nosso banco.</p><h3>Análise descritiva</h3><p>Agora no nosso objeto subbanco temos um dataframe com todos os itens da escala DASS42, categorização da DASS para cada participante, gênero e idade; todos devidamente configurados e livres de missing. Podemos começar a descrição e exploração.</p><p>Podemos descrever nossas <strong>variáveis contínuas</strong> utilizando a função<strong> describe()</strong>. No output é possível observar algumas estatísticas descritivas como média e desvio padrão.</p><pre>subbanco[[&#39;depressao&#39;, &#39;ansiedade&#39;, &#39;estresse&#39;,&#39;age&#39;]].describe()</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/461/1*AmJKLLaU5fqYceQcbH1Wig.png" /></figure><p>Já para as <strong>variáveis categóricas</strong> podemos utilizar a função <strong>value_counts()</strong>. Com essa função é possível ver a frequência de cada classificação:</p><pre>subbanco[[&#39;depressaoClas&#39;, &#39;ansiedadeClas&#39;, &#39;estresseClas&#39;, &#39;gender&#39;]].apply(pd.Series.value_counts)</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/550/1*tT9MWbBqrRgSr_-uQMJEuQ.png" /></figure><p>É possível ainda extrair mais informações estatísticas dos dados, como: mediana, quartil, moda e variância. Veja o exemplo abaixo com a variável depressao:</p><pre>print(&#39;Mediana:&#39;)<br>print(subbanco[&#39;depressao&#39;].median()) #mediana</pre><pre>print(&#39;Quartil:&#39;)<br>print(subbanco[&#39;depressao&#39;].quantile()) #quartil</pre><pre>print(&#39;Moda:&#39;)<br>print(subbanco[&#39;depressao&#39;].mode()) #moda</pre><pre>print(&#39;Variância:&#39;)<br>print(subbanco[&#39;depressao&#39;].var()) #variância</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/181/1*bl8SceuxvTr6bQ8SMYDu7Q.png" /></figure><p>Podemos utilizar a função <strong>groupby()</strong> para comparar diferentes segmentos da amostra. Por exemplo, se eu quero saber: “quem tem os maiores índices de depressão: homens ou mulheres?”<br><br>Usando a função groupby() eu consigo visualizar determinado resultado filtrando pela variável escolhida. Veja um exemplo:</p><pre>subbanco.groupby(&#39;gender&#39;)[&#39;depressao&#39;, &#39;ansiedade&#39;, &#39;estresse&#39;].mean()</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/352/1*knj6ug-HDEkGdQCQPi3d0w.png" /></figure><p>Nesse exemplo é possível visualizar a média do escore total dos participantes divididos pelas categorias de gênero.</p><p>Agora iremos contabilizar o número de participantes separados por gênero e que tenha apresentado escore de depressão acima de 9:</p><pre>subbanco[subbanco.depressao &gt; 9].groupby(&#39;gender&#39;)[&#39;depressao&#39;].count()</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/272/1*RHJdvvv-domHQ6065j1cKg.png" /></figure><p>Também podemos utilizar de gráficos para visualizar e descrever nossos dados. Por exemplo, podemos nos utilizar dos histogramas para visualizar como os dados estão distribuídos.</p><pre>subbanco[[&#39;depressao&#39;, &#39;ansiedade&#39;, &#39;estresse&#39;, &#39;age&#39;]].hist(figsize=(4, 5), bins=50, xlabelsize=8, ylabelsize=8);</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/369/1*xlmLnZlZ66Rmy9wGCpPpKg.png" /></figure><p>Por fim, podemos visualizar as classificações finais utilizando o gráfico de barras e a biblioteca matplotlib:</p><pre>plt.figure(figsize=(15, 4))</pre><pre>ax = plt.subplot(1, 3, 1)<br>subbanco[&#39;depressaoClas&#39;].value_counts().plot(ax=ax, kind=&#39;bar&#39;)<br>ax.set_title(&#39;Depressão&#39;)<br>ax = plt.subplot(1, 3, 2)<br>subbanco[&#39;ansiedadeClas&#39;].value_counts().plot(ax=ax, kind=&#39;bar&#39;)<br>ax.set_title(&#39;Ansiedade&#39;)<br>ax = plt.subplot(1, 3, 3)<br>subbanco[&#39;estresseClas&#39;].value_counts().plot(ax=ax, kind=&#39;bar&#39;)<br>ax.set_title(&#39;Estresse&#39;)</pre><p>Output:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/995/1*t9N8In5i5prRqSwwHYrRXg.png" /></figure><p>Todos os métodos descritos acima podem ser estendidos para criar análises muito mais ricas e complexas. O código completo está disponível no notebook <a href="https://github.com/daltonbc96/python/blob/master/Manipula%C3%A7%C3%A3o%2C%20Limpeza%20e%20An%C3%A1lises%20Descritas%20.ipynb"><strong>aqui</strong></a>.</p><p>Espero que tenha gostado e qualquer dúvida, comentário ou observação é muito bem-vinda! Fique à vontade para se manifestar e vamos aprender juntos! Se preferir, você pode me contatar pelo <a href="/service/mailto:dalton.bc96@gmail.com">dalton.bc96@gmail.com</a></p><p>Obrigado pela leitura!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9f638b3955d0" width="1" height="1" alt=""><hr><p><a href="https://medium.com/datapsico/manipulacao-limpeza-e-analises-descritivas-de-uma-escala-psicometrica-com-python-9f638b3955d0">Corrigindo uma escala psicométrica com Python: manipulação, limpeza e análises descritivas</a> was originally published in <a href="https://medium.com/datapsico">Datapsico</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Inteligência Artificial nas Ciências da Saúde: aplicações na psicologia e psiquiatria]]></title>
            <link>https://medium.com/ensina-ai/inteligencia-artificial-saude-psicologia-psiquiatria-23dbdbcb2e17?source=rss-231f39aa4f68------2</link>
            <guid isPermaLink="false">https://medium.com/p/23dbdbcb2e17</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[psiquiatria]]></category>
            <category><![CDATA[saúde]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[psicologia]]></category>
            <dc:creator><![CDATA[Dalton Costa]]></dc:creator>
            <pubDate>Mon, 26 Aug 2019 18:16:04 GMT</pubDate>
            <atom:updated>2019-09-01T03:34:20.458Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KjC0tix0y83KAmmwMITLog.jpeg" /><figcaption>Photo by <a href="https://pixabay.com/pt/users/geralt-9301/">Geralt</a> on <a href="https://pixabay.com/pt/illustrations/intelig%C3%AAncia-artificial-c%C3%A9rebro-4389372/">Pixabay</a></figcaption></figure><h3><strong>Introdução</strong></h3><p>Imagine que você tem um paciente com um quadro clínico importante e você, como um profissional pragmático, prescreve todos tratamentos e procedimentos que funcionaram para a maioria das pessoas. Você pede para o paciente voltar em alguns dias para reavaliar os efeitos dos tratamentos e percebe que não houve um efeito satisfatório. Então, você oferece novos tratamentos e pede para ele retornar. Assim, você vai repetindo este ciclo de tentativa e erro até encontrar os procedimentos terapêuticos ideais para esse paciente.</p><p>Essa situação se repete nos consultórios há muitos anos, especialmente quando se trata de <strong>casos</strong> <strong>refratários </strong>(quando o paciente não corresponde aos tratamentos convencionais). No entanto, essa situação de tentativa e erro traz ao paciente maiores custos e muitas vezes mais sofrimento. Diante da gama de possibilidades terapêuticas, como seria bom poder prever qual o tipo de tratamento é mais indicado para o meu paciente, sendo esta indicação precisa e contemplando a singularidade do meu paciente. Além disso, seria muito bom se pudéssemos prever quais os riscos e os efeitos colaterais que determinado tratamento pode trazer ao paciente.</p><p>Pois bem, tenho boas notícias! As técnicas de <strong>Inteligência Artificial (IA) </strong>podem auxiliar nesses processos de previsão e tomada de decisão dos profissionais da saúde. Na verdade, esta notícia não é tão nova assim e por isso precisamos, mais do que nunca, perder o medo de falar sobre IA nas ciências da saúde, desconstruir estereótipos e entender o que realmente é IA.</p><p><strong>Este texto é para você que quer entender melhor como é possível conciliar IA e ciências da saúde</strong>. Para fins didáticos, vamos limitar os exemplos e discussões nas áreas da psicologia e psiquiatria, pois são as áreas que mais estudo. Porém, alguns conceitos centrais podem ser generalizados para outras áreas da saúde.</p><h3>Tópicos</h3><p>Este artigo abordará os seguintes tópicos:</p><ul><li><strong>Desconstruindo Mitos</strong></li><li><strong>Afinal, o que é Inteligência Artificial?</strong></li><li><strong>Medicina Baseada em Evidências e Inteligência Artificial</strong></li><li><strong>Como a IA pode contribuir na psicologia e psiquiatria?</strong></li><li><em>Entendendo e Construindo Novos Diagnósticos</em></li><li><em>Predição de Resposta a um Determinado Tratamento</em></li><li><em>Diagnósticos de Transtornos Mentais Auxiliado por Exames de Imagem</em></li><li><em>Avaliação Psicológica</em></li><li><em>Predição de Comportamento de Risco</em></li><li><em>Análise de Texto</em></li><li><strong>Limitações e Cuidados</strong></li><li><strong>Conclusão</strong></li></ul><h3>Desconstruindo Mitos</h3><p>Antes de dizer o que é exatamente IA, vamos tentar desconstruir alguns mitos que podem atrapalhar a discussão e desenvolvimento da IA nas ciências da saúde:</p><ol><li>Algumas pessoas acreditam que IA é somente o desenvolvimento de robôs e que estes irão dominar e destruir a humanidade. Como afirmado pelo professor <a href="https://globoplay.globo.com/v/6923692/">Clécio de Bom</a>, esta visão estereotipada está muito distante de se concretizar. O que realmente precisamos é estudar e entender melhor o que é a IA e termos a consciência de que toda nova tecnologia tem lado bom e ruim.</li><li>Outras pessoas acreditam fortemente que IA é a “reinvenção da roda” ou que estas técnicas irão substituir as técnicas estatísticas tradicionais. Apesar do grande potencial da IA, as técnicas estatísticas tradicionais são ainda muito importantes e necessárias para as ciências da saúde. IA é mais uma técnica entre as outras existentes e não necessariamente é a melhor, tudo irá depender do seu objetivo e o seu contexto.</li><li>Quando começamos a nos aventurar pelo mundo da IA nos deparamos com dois dos pilares da IA: linguagem de programação e conceitos estatísticos. A maioria dos profissionais da saúde não gosta desse assunto e muitas vezes desiste. É fato que a formação destes profissionais são precárias nestes quesitos, mas por outro lado, temos muitos recursos na internet para aprender gratuitamente conceitos estatísticos e até ferramentas para utilizar recursos de IA sem programação, como o <a href="https://medium.com/ensina-ai/machine-learning-sem-c%C3%B3digo-636d1a8f9081"><strong>Orange</strong></a>. Aprender como utilizar IA está cada vez mais acessível e qualquer pessoa pode aprender.</li></ol><h3>Afinal, o que é Inteligência Artificial?</h3><p>O campo da IA teve o seu marco-zero na Conferência de Dartmouth, no ano de 1956, e o termo IA foi cunhado pelo professor universitário John McCarthy nesse mesmo evento. Como podemos perceber, os trabalhos com IA não são recentes e desde então houve diferentes modelos teóricos tentando descrever essa área. Em linhas gerais, podemos entender IA como a capacidade de uma máquina aprender, raciocinar, perceber, deliberar e decidir de forma inteligente e racional.<a href="https://www.amazon.com/Artificial-Intelligence-Modern-Approach-3rd/dp/0136042597">*</a></p><p>No entanto, IA é um campo amplo que comporta outras tecnologias, como: <a href="https://medium.com/@avinicius.adorno/introdu%C3%A7%C3%A3o-a-aprendizado-de-m%C3%A1quina-e39ec5ef459b"><strong>Machine Learning (ML)</strong></a> e <a href="https://medium.com/data-hackers/deep-learning-do-conceito-%C3%A0s-aplica%C3%A7%C3%B5es-e8e91a7c7eaf"><strong>Deep Learning (DL)</strong></a>. Isso pode ser confuso, especialmente porque é uma área que ainda está em constante expansão. Para simplificar, vamos imaginar uma galáxia chamada “Inteligência Artificial”, essa galáxia tem um sistema solar chamado “Machine Learning” e neste sistema solar há um planeta chamado “Deep Learning”. Assim, podemos perceber que DL é uma subdivisão de ML, sendo que ML é uma subdivisão de IA. Existem ainda outras subdivisões de IA (sistemas solares), como: processamento de linguagem natural, robótica e visão computacional.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/363/1*Xz8kebCP8RtEhTeMLFNv1A.png" /></figure><h3>Medicina Baseada em Evidências e Inteligência Artificial</h3><p>Nas últimas décadas, a <a href="http://www.scielo.br/pdf/%0D/ramb/v46n3/3089.pdf"><strong>Medicina Baseada em Evidências (MBE)</strong></a> tem fomentado a formação e a prática clínica de muitos profissionais da saúde. A MBE é prática da medicina integrada e baseada em evidências científicas, não aceitando métodos e práticas clínicas sem um embasamento científico. Tradicionalmente, os tratamentos clínicos são testados utilizando <a href="http://files.bvs.br/upload/S/0100-7254/2015/v43n1/a4842.pdf"><strong>Ensaios Clínicos Randomizados (ECR)</strong></a> e a eficácia desse tratamento é avaliada com base na comparação de grupos.</p><p>Por exemplo, você quer testar se um novo medicamento pode ter algum efeito sobre a depressão, então, você recruta vários pacientes para participar do seu estudo e os divide em dois grupos de forma aleatória. O primeiro grupo receberá o seu medicamento e o segundo grupo receberá um placebo (grupo controle). Depois de algum tempo recebendo o tratamento, você compara os resultados alcançados pelo grupo que recebeu o medicamento e o grupo controle, assim, a partir deste experimento você pode encontrar evidências de que o medicamento tem algum efeito sobre a depressão.</p><p>Trabalhar com ECR é muito mais complexo do que foi descrito e exige uma série de cuidados metodológicos por parte do pesquisador. Apesar de todo o esforço e cuidado dos pesquisadores, esses estudos podem apresentar limitações, como por exemplo as amostras recrutadas podem apresentar pouca diversidade e, portanto, acabam por falhar na tentativa de representar a complexidade das características da população alvo. Consequentemente, não é possível realizar uma <strong>generalização</strong> desses tratamentos para todas pessoas. Além disso, a generalização também é afetada pelo fato de não considerar as características individuais de cada indivíduo, mas sim, o que funcionou para a maioria dentro de um grupo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/384/1*f-qIw4IfBswU2ize-ExM8A.png" /><figcaption>Representação das etapas de um delineamento do ECR elaborado por <a href="http://www.scielo.br/scielo.php?script=sci_arttext&amp;pid=S0102-35861999000500013">Menezes e Santos</a>.</figcaption></figure><p>Quando falamos de características individuais, estamos falando de sexo, raça, características socioeconômicas e culturais, histórico clínico prévio, características genéticas, etc., ou seja, tudo aquilo que nos torna único e que reflete no ambiente clínico como um grande desafio para o profissional da saúde em tornar o tratamento do paciente personalizado e efetivo. Esse desafio começa a ser enfrentado com o surgimento da <a href="https://www.revistas.usp.br/revistadc/article/view/138573/133981"><strong>Medicina de Precisão</strong></a>, um modelo que busca práticas e métodos de tratamento que considera as características biológicas (biomarcadores), características ambientais e o histórico prévio de cada paciente no momento da escolha do tratamento.</p><p>Esse cenário de medicina precisa é almejado por muitos pacientes e profissionais, mas quando paramos para pensar em como desenvolver novos tratamentos seguindo as diretrizes da Medicina de Precisão percebemos que os métodos tradicionais de pesquisa, muitas vezes, não são suficientes para lidar com a quantidade de variáveis que um quadro patológico de um determinado grupo e seus sucessivos subgrupos possuem. <strong>Para resolver isso, muitos pesquisadores da área da saúde têm implementado em suas pesquisas recursos de IA para lidar com a complexidade dos dados nas ciências da saúde.</strong></p><p>O crescente interesse de pesquisadores da área da saúde pelos recursos de IA é fácil de ser visualizado em uma simples pesquisa na <a href="https://www.ncbi.nlm.nih.gov/pubmed/"><strong>PubMed</strong></a> (uma das plataforma mais importantes que reúne diversos artigos científicos da área da saúde). O gráfico a seguir apresenta o crescente número de publicações na plataforma que tenham no título ou no resumo do artigo a palavra <strong>“machine learning”</strong>. Especificando ainda mais essa pesquisa fiz mais duas buscas. Primeiramente, busquei artigos que continham no título ou no resumo as palavras <strong>“<em>machine learning</em>”</strong> e <strong>“<em>psychiatric</em>”</strong>. Já a segunda pesquisa, realizei com os mesmos critérios, porém com as palavras <strong>“<em>machine learning</em>”</strong> e <strong>“<em>psychology”</em></strong><em>.</em> Os resultados dessas pesquisas são apresentados na figura abaixo. Os dados apresentados são de artigos publicados até o início de agosto de 2019.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/598/1*HYqDXj0zOx025jnlTeNopw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/596/1*ym_x7W1d0P1_FXSaZnfpaw.png" /></figure><p>Uma das técnicas mais populares de IA são os <strong>algoritmos de ML</strong>, estes são formados por um conjunto de técnicas capazes de analisar uma grande quantidade de dados e também de reconhecer padrões e interações entre as variáveis. São algoritmos extremamente complexos e formados por diversos cálculos matemáticos, que criam modelos treinados com os padrões dos dados fornecidos. <strong>Diferentemente das técnicas tradicionais de análises estatísticas, em geral, não conseguimos explicar de forma simplista as tomadas de decisões e como o algoritmo de ML criou determinado modelo.</strong></p><p>Para exemplificar as diferenças entre as análises feitas utilizando técnicas estatísticas tradicionais e análises com ML, vamos utilizar o exemplo do que o professor <a href="https://www.youtube.com/watch?v=eiZoEw-_GA0"><strong>Alexandre Chiavegatto Filho</strong></a> chama de <strong>“inversão do interesse da reta de regressão”</strong>. Comumente, quando queremos entender quais são as variáveis independentes (𝛽) que influenciam determinada variável dependente (<em>y</em>), podemos fazer o cálculo por meio de uma regressão. Como resultado, queremos saber quais são as variáveis independentes mais importantes, quais variáveis influenciaram no modelo e quanto foi essa influência. No entanto, ao utilizar este <strong>modelo tradicional de regressão</strong>, o pesquisador terá o seu interesse e foco nos “Betas”, o que por sua vez torna o modelo limitado (quando há muitas covariáveis o desempenho da regressão pode ser afetado devido ao super-ajuste e à variância extremamente alta). Já o pesquisador que cria um <strong>modelo com técnicas de ML</strong> não terá seu interesse nos “Betas” e na explicação do modelo, mas sim focará na variável dependente e no seu resultado final. Essa técnica também suporta um número maior de variáveis no modelo. Para entender melhor essa comparação entre a estatística tradicional e algoritmos de ML recomendo a leitura do trabalho de <a href="http://www.rizbicki.ufscar.br/sml.pdf"><strong>Izbicki e Santos</strong></a> e também o artigo do <a href="https://estatsite.com/2018/05/12/estatistica-tradicional-e-machine-learning-qual-a-melhor/"><strong>Estatsite</strong></a>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/544/1*IFI1jNanplOLXjb605F_kw.png" /></figure><p>Pode parecer estranho o fato de ser tão difícil explicar os modelos gerados por ML, mas talvez esse aspecto, que poderia ser uma desvantagem, pode se tornar uma vantagem, <strong>afinal a vida e o mundo são complexos, logo, demandam técnicas complexas para serem compreendidos</strong>. A partir dos modelos criados utilizando IA, os dados de um paciente podem ser analisados e comparados com milhares de outros pacientes, padrões são encontrados e matematicamente uma decisão é tomada pelo algoritmo. Ao invés de apenas comparar grupos (como nos ECR), agora podemos comparar as características de um paciente com milhares de outros pacientes em segundos, o que poderá beneficiar o profissional da saúde na hora de tomar uma decisão mais precisa durante o atendimento com o paciente.</p><h3>Como a IA pode contribuir na psicologia e psiquiatria?</h3><p>Os transtornos mentais são quadros patológicos complexos e multifatoriais, o que torna a escolha da melhor linha de tratamento muito difícil. O diagnóstico de um transtorno mental também é complexo, demandando de um olhar clínico além das orientações dos manuais diagnósticos. Diferentemente de outras patologias, as doenças psíquicas não são diagnosticadas simplesmente por exames de sangue ou imagem. Dentro das ciências da saúde, a área que cuida da saúde mental é uma das mais imprevisíveis e complexas, devida a variedade e quantidade de informações que cada paciente possui. Além disso, é importante destacar que cada paciente vivencia o seu quadro clínico de forma subjetiva. Toda essa complexidade tem sido analisada nos últimos anos utilizando recursos de IA e os resultados são animadores, portanto, vou apresentar agora alguns exemplos de como a IA pode auxiliar no desenvolvimento de pesquisa em psiquiatria e psicologia.</p><p><strong><em>Entendendo e Construindo Novos Diagnósticos</em></strong></p><p>Até agora falamos muito sobre como a IA pode auxiliar na tomada de decisão do clínico e na escolha da melhor linha de tratamento para um paciente. Mas as contribuições da IA para a ciências da saúde não se limitam somente ao tratamento, podemos utilizá-la também para entender melhor doenças e até descobrir novas patologias. Como sugerido por Thomas Insel e Bruce Cuthbert, no artigo <a href="https://science.sciencemag.org/content/348/6234/499"><strong><em>Brain disorders? Precisely</em></strong></a>, que referem a desconstrução dos diagnósticos tradicionais dos transtornos de humor. Tradicionalmente, os diagnósticos psiquiátricos são feitos de forma subjetiva, baseados em sinais e sintomas. Os pesquisadores sugerem reunir todos os grupos (pacientes com transtorno depressivo maior, transtorno bipolar, distimia, etc.) em um único grupo, realizar uma ampla coleta de dados (dados genéticos, atividades cerebrais, fisiológicos, comportamentais, experiência de vida) e então reconstruir os critérios diagnósticos utilizando diferentes técnicas, como as <strong>técnicas não supervisionadas de ML</strong>. Objetivo desse processo é criar novas categorias e subcategorias patológicas mais precisas e, consequentemente, possibilitar um tratamento mais personalizado ao paciente com transtorno de humor.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/556/1*hopD09k0oMxzrFPVBPkK1Q.png" /><figcaption>Imagem retida do artigo escrito por <a href="https://science.sciencemag.org/content/348/6234/499">Thomas Insel e Bruce Cuthbert</a></figcaption></figure><p><strong><em>Predição de Resposta a um Determinado Tratamento</em></strong></p><p>Os recursos de IA têm origem no ambiente da informática, sendo que com o passar dos anos estas técnicas foram se popularizando para outras áreas, como no mercado financeiro e marketing. No setor financeiro, realizar boas previsões é fundamental para investir em um bom negócio e fazer o dinheiro investido render mais. O mesmo acontece no ambiente clínico, saber de antemão se um paciente (com todas suas características e particularidades) irá responder a um determinado tratamento, pode trazer ao paciente uma rápida melhora do seu quadro clínico e também economia do seu tempo e dinheiro.</p><p>Os mesmos algoritmos de IA utilizados em outras áreas como o financeiro e marketing, podem auxiliar na <strong>previsão</strong> se um paciente vai responder a determinado tratamento ou não. O estudo de <a href="https://www.sciencedirect.com/science/article/abs/pii/S221503661500471X">Adam Chekroud e colaboradores</a> objetivou desenvolver um modelo para identificar quais pacientes com depressão iriam alcançaram uma remissão sintomática depois de um ciclo de 12 semanas utilizando o <strong>Citalopram</strong> (antidepressivo). Os pesquisadores criaram um modelo preditivo utilizando o algoritmo de ML <strong><em>Gradient Boosting Machine</em></strong>. Os resultados do modelo mostraram que das 164 variáveis coletadas dos pacientes, 25 eram suficientes para prever qual paciente com depressão iria se beneficiar do Citalopram com 64,60% de acurácia, 62,80% de sensibilidade e 66,20% de especificidade.</p><p>Já o estudo realizado por <a href="https://www.nature.com/articles/tp201522">Mansson e colaboradores</a> buscou identificar qual paciente com transtorno de ansiedade social iria se beneficiar da <strong>Terapia Cognitiva Comportamental (TCC)</strong> analisando preditores neurais por meio de imagens de fMRI (imagem por ressonância magnética funcional). Utilizando o algoritmo de ML <strong><em>Support Vector Machine</em></strong><em>, </em>criaram um modelo que aprendeu quais pacientes tiveram respostas a terapia ou não, com 91,70% de acurácia, 83,30% de sensibilidade e 100% de especificidade. Outro estudo parecido foi o realizado por <a href="https://www.nature.com/articles/s41380-018-0106-5">Bo Cao e colaboradores</a>, que conseguiu construir um modelo preditivo que foi capaz de prever com 82,50% de acurácia qual paciente com esquizofrenia iria se beneficiar do tratamento com <strong>Risperidona</strong> (antipsicótico). Além do tratamento, utilizaram as imagens de ressonância magnética e conseguiram construir um modelo <strong>capaz de identificar pacientes com esquizofrenia</strong> com 78,60% de acurácia.</p><p><strong><em>Diagnóstico de Transtornos Mentais Auxiliado por Exames de Imagem</em></strong></p><p>No tópico anterior falamos sobre o uso de imagens para prever qual paciente teria melhor resposta a um determinado tratamento. Já neste tópico vamos falar sobre como exames de imagem podem auxiliar no diagnóstico psiquiátrico. Mas antes, vamos entender brevemente como funciona o processamento de imagem pelo computador.</p><p>Uma imagem é formada por um conjunto de pixels (abreviação de <em>picture element</em>), cada pixel possui uma cor diferente e essa cor é determinada por números de uma matriz que mostra a intensidade da cor a ser exibida no pixel. Assim, ao percebermos que uma imagem digital é na verdade um grande conjunto de números, conseguimos entender um dos primeiros passos para trabalhar com processamento de imagem, que é a transformação de uma imagem em uma matriz de pixels, assim, possibilitando que o algoritmo de IA possa trabalhar e “ver” a imagem. Veja o exemplo a seguir de um modelo binário, onde o pixel com o valor 1 é a cor preta e 0 é a cor branca.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/488/1*XoL5XjhWXRocbmJFem7o0Q.png" /></figure><p>Por meio dos números, o algoritmo consegue perceber padrões de bordas, linhas e curvas da imagem, assim, conseguindo “enxergar” cada pedacinho da imagem e reconhecer padrões e anomalias. É seguindo esta lógica que os algoritmos de IA, como as <a href="https://medium.com/neuronio-br/entendendo-redes-convolucionais-cnns-d10359f21184"><strong>Redes Neurais Convolucionais</strong></a>, conseguem aprender a reconhecer e classificar imagens.</p><p>Já é uma realidade em alguns laboratórios, como a <a href="https://dasa.com.br/inovacao/inteligencia-artificial"><strong>Dasa</strong></a>, o uso de IA em análises de exames de imagem e no auxílio do diagnóstico médico. Algumas vezes, essas análises realizadas por modelos treinados com um grande banco de imagens, conseguem ter uma precisão diagnóstica <a href="https://www1.folha.uol.com.br/equilibrioesaude/2018/02/inteligencia-artificial-supera-medicos-ao-ver-exames-de-imagem.shtml"><strong>igual ou superior a dos médicos</strong></a>. No entanto, essas análises, tradicionalmente, ocorrem com enfermidades orgânicas (como na detecção de tumores).</p><p>Sempre foi muito difícil encontrar indícios de um diagnóstico psiquiátrico apenas olhando exames de imagens, mas graças à precisão e à capacidade de processamento dos algoritmos de IA, já conseguimos encontrar esses indícios com maior acurácia. Como já demonstrado no estudo de <a href="https://www.sciencedirect.com/science/article/abs/pii/S0925492716302116">David Schnyer e colaboradores</a>, que utilizando o algoritmo de ML <strong><em>Support Vector Machine</em></strong><em>,</em> conseguiu treinar um modelo que foi capaz de diferenciar participantes com <strong>diagnóstico de depressão maior</strong> dos participantes do grupo controle (sem diagnóstico de depressão) apenas utilizando <strong>exames de ressonância magnética</strong> com 74% de acurácia, 80% de especificidade e 68% de sensibilidade. Além disso, descobriram que o grau de precisão do modelo aumenta ao utilizar apenas medidas do hemisfério direito do cérebro. Outro estudo realizado por <a href="https://www.sciencedirect.com/science/article/pii/S1053811913009166">Hugo Schnack e colaboradores</a> conseguiu treinar um modelo utilizando<strong> <em>Support Vector Machine</em></strong><em>, </em>que foi capaz de diferenciar participantes com <strong>diagnóstico de transtorno bipolar</strong>, esquizofrenia e participantes sem diagnóstico psiquiátrico utilizando exames de imagem.</p><p><strong><em>Avaliação Psicológica</em></strong></p><p>No campo da psicologia, há uma ampla área conhecida como avaliação psicológica cujo objetivo é entender o indivíduo utilizando técnicas específicas para compreender o seu comportamento, aspectos de personalidade, habilidades ou conflitos (internos ou externos). Durante o processo de avaliação, o psicólogo pode optar por utilizar testes psicológicos que são respaldados por uma série de normativas de aplicação e correção.</p><p>Os recursos de IA podem auxiliar psicólogos nesse processo de correção e interpretação, como os <strong>testes gráficos</strong> (tipo de teste cujo avaliando precisa realizar alguma atividade gráfica, como um desenho). Essa possibilidade já foi demonstrada no trabalho de <a href="https://www.cs.virginia.edu/~stankovic/psfiles/Mobi-cogWH.pdf">Shahriar Nirjon e colaboradores</a>, que treinou um modelo de rede neurais com 1000 imagens do teste neuropsicológico chamado <a href="http://www.scielo.br/scielo.php?script=sci_arttext&amp;pid=S0034-89102008000500020"><strong>Teste do Relógio</strong></a> e criou uma versão digital desse teste associado a mais duas atividades neuropsicológicas (repetir palavras e recordação de palavras). O produto final deste trabalho foi a criação de um aplicativo capaz de realizar<strong> triagens de quadros demenciais</strong> de forma automatizada e instantânea, com 99,53% de acurácia. Veja a apresentação do aplicativo MOBI-COG.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2Fkk05dKghpCA%3Ffeature%3Doembed&amp;url=http%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3Dkk05dKghpCA&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2Fkk05dKghpCA%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/52811745a83091aad407b7a3c6b47a80/href">https://medium.com/media/52811745a83091aad407b7a3c6b47a80/href</a></iframe><p>Outros tipos de instrumentos amplamente utilizados na psicologia e na psiquiatria são as <strong>escalas psicométricas</strong>, que são aqueles questionários que o respondente precisa marcar uma resposta que representa o quanto ele concorda com a afirmação ou representa algo sobre ele. O processo de construção dessas escalas segue uma série de etapas para assegurar que os itens possam realmente medir aquilo que se propõem. Ao final desse processo, algumas escalas podem ter muitos itens e isso pode se tornar uma característica negativa do instrumento, tornando o processo avaliativo mais demorado e incômodo para o respondente. Existem técnicas estatísticas tradicionais que podem auxiliar no processo de redução do número de itens, como as análises de Teoria de Resposta ao Item (TRI). No entanto, o uso de algoritmos de ML também tem demonstrado certo potencial para construirmos modelos capazes de dizer <strong>quais itens são</strong> <strong>importantes </strong>para medir o que uma escala se propõe.</p><p>Um exemplo deste processo de redução do número de itens foi relatado no estudo de <a href="https://bjanaesthesia.org/article/S0007-0912(18)30513-0/fulltext">J. Lötsch e colaboradores</a> em um ambiente hospitalar, em que se buscou prever qual paciente iria sofrer de <strong>dor crônica</strong> após a cirurgia de câncer de mama. A previsão, tradicionalmente, era realizada por um conjunto de questionários psicológicos (instrumentos que avaliavam depressão, ansiedade e raiva), após a criação de um modelo utilizando o algoritmo de ML <strong><em>Random Forest</em></strong><em>,</em> conseguiram prever com 63% de acurácia e 94% de <em>Negative Predictive Value</em> (NPV) quais pacientes iriam sofrer de dor crônica após a cirurgia <strong>utilizando apenas 10% </strong>de todos os itens coletados.</p><p><strong><em>Predição de Comportamento de Risco</em></strong></p><p>Os algoritmos de previsão também podem auxiliar na detecção de <strong>comportamento de risco</strong> de um paciente e saber quais são as <strong>variáveis mais preditoras</strong> desse comportamento. Como demonstrado no estudo de <a href="https://www.sciencedirect.com/science/article/abs/pii/S0165032715310922?via%3Dihub">Ives Passos e colaboradores</a>, que treinou um modelo capaz de prever qual a probabilidade de um paciente com transtorno de humor <strong>tentar suicídio</strong> com 72% de acurácia, 71,30% de especificidade e 72,10% de sensibilidade. As variáveis mais importantes para o modelo foram: hospitalizações prévias por depressão, história de psicose, comorbidade por dependência de cocaína e transtorno de estresse pós-traumático.</p><p>Outro estudo buscou identificar um perfil de risco, ou seja, quais as variáveis eram mais preditoras para prever quais adolescentes teriam <strong>problemas com abuso de álcool no futuro</strong>. <a href="https://www.nature.com/articles/nature13402">Robert Whelan e colaboradores</a>, utilizaram algoritmos de ML e conseguiram criar um modelo preditivo que reúne uma combinação de variáveis de histórico de vida, caraterísticas de personalidade e informações do cérebro para realizar a previsão de quais adolescentes teriam problemas com álcool no futuro.</p><p><strong><em>Análise de Texto</em></strong></p><p>O <a href="https://medium.com/botsbrasil/o-que-%C3%A9-o-processamento-de-linguagem-natural-49ece9371cff"><strong>Processamento de Linguagem Natural (PLN)</strong></a> é um campo da IA que ajuda o computador a entender, interpretar e manipular a linguagem humana. As aplicações são abrangentes, indo desde a classificação de e-mails como <em>spam </em>até a criação de <em>Chatbots</em> (como os chats do Facebook). Na psicologia e psiquiatria, a pesquisa qualitativa nos permite obter mais informações e compreender com maior profundidade fenômenos psíquicos, no entanto esse tipo de pesquisa exige muito trabalho do pesquisador para analisar os dados.</p><p>As técnicas de PLN podem auxiliar nas <strong>análises de textos</strong> e obtenção de <strong>novos insights</strong>, como demonstrado no estudo desenvolvido por <a href="https://www.nature.com/articles/tp2015182#s1">A. Rumshisky e colaboradores</a> que analisou narrativas de pacientes internados com diagnóstico de depressão maior e a partir dos <strong>tópicos </strong>levantados pela analises PLN e outras variáveis conseguiram treinar um modelo preditivo que conseguiu prever qual paciente teria <strong>remissão a internação</strong>.</p><p>Uma outra técnica amplamente utilizada no PLN é a <strong>Análise de Sentimentos</strong>, que são algoritmos capaz de compreender o sentimento ou significado por trás de uma palavra. Como por exemplo, o algoritmo de análise de sentimento, previamente já configurado, entende que a palavra “amor” possui, em geral, uma conotação positiva e a palavra “horrível” uma conotação negativa. E foi utilizando desses recursos que <a href="https://link.springer.com/chapter/10.1007/978-3-642-40319-4_18">Xinyu Wang e colaboradores</a>, conseguiram detectar <strong>inclinações depressivas</strong> de usuários no Twitter com 80% de precisão.</p><h3>Limitações e Cuidados</h3><p>Como qualquer outra técnica, o recurso de IA não está livre de limitações e precisamos ter atenção sobre alguns aspectos. Vamos ver algumas deles:</p><ol><li>Ao analisar os estudos que utilizam técnicas de IA na área da saúde, muitos possuem boas métricas (acurácia, especificidade e sensibilidade), mas possuem um <strong>pequeno tamanho amostral</strong>. Quando se trata de aprendizagem de máquinas, quanto mais conhecimento e variedade de informação a máquina tiver acesso, melhor será a desempenho do modelo treinado. Para criar bons modelos é necessário um tamanho amostral relevante.</li><li>Como recomendado por <a href="https://www.ncbi.nlm.nih.gov/pubmed/26772057">Ives Passos e colaboradores</a>, a maioria dos estudos testam os modelos treinados utilizando o mesmo banco de dados, idealmente, os dados deveriam ser testados e validados com outros bancos de dados <strong>independentes</strong>. Consequentemente, teremos maiores possibilidades de generalização dos modelos.</li><li>A <strong>generalização</strong> dos modelos de aprendizagem de máquina na saúde e em outros setores ainda é um grande desafio. A grande maioria dos modelos de ML treinados falham ao receberem novos dados ou sofrem do processo de <a href="https://www.youtube.com/watch?time_continue=17&amp;v=MwZbuMRVxtk"><strong><em>overfitting</em></strong></a>, o que torna incapaz a generalização desses modelos.</li><li>Quando se trata de pesquisa científica, o cuidado com <strong>vieses </strong>nos resultados deve sempre levado em consideração. Quando se trata de desenvolvimento IA o mesmo cuidado é necessário (seja na saúde ou outro setor), porque a máquina só aprende a partir dos dados que fornecemos. Se utilizamos um banco de dados enviesado para treinar modelos, consequentemente esse modelo terá um viés, algo que pode trazer sérias consequências. Por tanto, o planejamento da coleta de dados e do banco de dados são etapas que merecem muita atenção.</li><li>A utilização de recursos de IA nas ciências da saúde ainda é uma novidade, portanto se faz necessário o desenvolvimento de <strong>normativas e recomendações </strong>de como deve ser as pesquisas que utilizam esses recursos na saúde. Além de orientações aos pesquisadores, é necessário também uma discussão sobre os <strong>cuidados éticos</strong> que devemos ter ao desenvolvermos esse tipo de pesquisa.</li></ol><h3>Conclusão</h3><p>Nesse texto conversamos sobre algumas possibilidades de aplicações de recursos de IA nas ciências da saúde, em especial na psicologia e psiquiatria. Certamente há outras possibilidades de aplicação da IA nessas áreas que não tratamos aqui, o que reforça a necessidade de aprendermos e discutimos mais sobre esse assunto. Vimos que apesar do grande potencial dos recursos de IA na saúde há algumas limitações e nem sempre o uso dessas técnicas é o melhor caminho para alcançar os nossos objetivos. Também, que há uma tendência de mudança na lógica da medicina, que começa a implementar técnicas de IA para auxiliar nas decisões clínicas. Estamos diante de uma tecnologia que está afetando toda nossa rotina e irá afetar cada vez mais. Precisamos entender melhor o que é realmente a IA, como ela afeta nossas vidas e aprender a desenvolver e utilizar estes recursos de forma ética e responsável.</p><p>Espero que tenha gostado e qualquer dúvida, comentário ou observação é muito bem-vinda! Fique à vontade para se manifestar e vamos aprender juntos! Se preferir, você pode me contatar pelo <a href="/service/mailto:dalton.bc96@gmail.com">dalton.bc96@gmail.com</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=23dbdbcb2e17" width="1" height="1" alt=""><hr><p><a href="https://medium.com/ensina-ai/inteligencia-artificial-saude-psicologia-psiquiatria-23dbdbcb2e17">Inteligência Artificial nas Ciências da Saúde: aplicações na psicologia e psiquiatria</a> was originally published in <a href="https://medium.com/ensina-ai">Ensina.AI</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>