<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Julia Pocciotti on Medium]]></title>
        <description><![CDATA[Stories by Julia Pocciotti on Medium]]></description>
        <link>https://medium.com/@juliapocciotti_54530?source=rss-d9117f8de7a2------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*EDIYUbNQbBSqOStdhf76QQ.png</url>
            <title>Stories by Julia Pocciotti on Medium</title>
            <link>https://medium.com/@juliapocciotti_54530?source=rss-d9117f8de7a2------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Mon, 16 Nov 2026 00:10:31 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@juliapocciotti_54530/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Consegue uma Inteligência Artificial escrever como Guimarães Rosa?]]></title>
            <link>https://medium.com/turing-talks/consegue-uma-intelig%C3%AAncia-artificial-escrever-como-guimar%C3%A3es-rosa-313d7d1b1acb?source=rss-d9117f8de7a2------2</link>
            <guid isPermaLink="false">https://medium.com/p/313d7d1b1acb</guid>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[language-modeling]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[ciência-de-dados]]></category>
            <dc:creator><![CDATA[Julia Pocciotti]]></dc:creator>
            <pubDate>Sun, 01 Aug 2021 12:02:16 GMT</pubDate>
            <atom:updated>2021-08-01T12:02:16.696Z</atom:updated>
            <content:encoded><![CDATA[<h4>Como usar uma Rede Neural Recorrente para construir um modelo de língua</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TzRkcKWVC8lzQR6qwbDiZg.jpeg" /><figcaption>João Guimarães Rosa</figcaption></figure><p>Talvez você já tenha visto alguns exemplos pela internet sobre IA&#39; s ou bots treinados em milhares de textos para escrever como um autor específico ou replicar um gênero textual. Diferentes técnicas podem ser usadas para gerar esse tipo de resultado. Hoje, vamos ver como construir um modelo para &quot;escrever&quot; como João Guimarães Rosa utilizando<strong> Redes Neurais Recorrentes</strong>. Explicarei aqui o básico sobre esse tipo de Rede Neural, mas, se quiser se aprofundar sobre o assunto, recomendo o nosso <em>Turing Talks </em>sobre o tema:</p><p><a href="https://medium.com/turing-talks/turing-talks-26-modelos-de-predi%C3%A7%C3%A3o-redes-neurais-recorrentes-439198e9ecf3">Redes Neurais | Redes Neurais Recorrentes</a></p><p>Se quiser conferir o projeto diretamente, você pode acessar o <a href="https://github.com/turing-usp/gerador-texto-guimaraes">repositório</a> do github com o código completo, ou então o site com o gerador de texto <a href="http://gerador-texto-guimaraes.herokuapp.com/">aqui</a>.</p><p>Antes de começarmos a falar sobre o nosso modelo, vamos antes ver um pouco melhor qual é a nossa tarefa em questão.</p><h3>O que é um &quot;Modelo de Língua&quot;?</h3><p>Um modelo de língua possui uma tarefa bem simples: prever a próxima palavra ou caractere em uma sentença. Qualquer tipo de modelo que esteja cumprindo com essa tarefa, ou sendo treinado para isso, pode ser caracterizado como um modelo de língua.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/447/1*5tG1zaM0LzwhoPHKBs8kAA.gif" /><figcaption>Exemplo de um modelo de língua em prática</figcaption></figure><p>Você com certeza já encontrou modelos de língua pela internet, por exemplo, quando estamos fazendo uma busca no Google e aparecem sugestões para terminar a frase, isso é um modelo de língua.</p><p>De maneira mais formal, um modelo de língua irá aprender a distribuição de probabilidades em uma sequência de palavras. Ou seja, dada uma sequência de palavras de tamanho <em>m</em>, o modelo atribui uma probabilidade <em>P(w(m+1)|w(1), …, w(m)).</em></p><h3>Os dados</h3><h4>Sobre o escritor</h4><p>João Guimarães Rosa é sem dúvida um dos maiores escritores da nossa literatura. Além de escrever contos e romances, Rosa foi também médico e diplomata brasileiro.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/689/1*NJzd358cuoiSdI1XsY-9mw.jpeg" /><figcaption>João Guimarães Rosa</figcaption></figure><p>Suas histórias são ambientadas em meio ao sertão brasileiro, e dentre vários aspectos formais presentes em sua obra, destaca-se o seu trabalho com a linguagem, esta, marcada por inúmeros neologismos e falas regionais.</p><blockquote>— Epa! Nomopadrofilhospritossantamêin! Avança, cambada de filhos-da-mãe, que chegou minha vez!…<br>E a casa matraqueou que nem panela de assar pipocas, escurecida à<br>fumaça dos tiros, com os cabras saltando e miando de maracajás, e Nhô<br>Augusto gritando qual um demônio preso e pulando como dez demônios soltos. (trecho do conto &quot;A hora e a vez de Augusto Matraga&quot;)</blockquote><p>Para construir o nosso modelo, iremos usar todos os livros publicados pelo autor, são eles: <em>Sagarana</em>,<em> Corpo de Baile</em>,<em> Grande Sertão Veredas</em>,<em> Primeiras Estórias</em>,<em> Tutameia</em>,<em> Estas estórias </em>e<em> Ave, palavra</em>. Os PDFs de todos as obras podem ser encontrados no site <a href="https://lelivros.love/">LeLivros</a>.</p><h4>Extração do texto do PDF</h4><p>Tendo os PDFs dos nossos livros baixados, precisamos agora convertê-los para um arquivo .txt. Para isso, iremos utilizar a biblioteca <a href="https://textract.readthedocs.io/en/stable/">textract</a>:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ea3959f8ab8177fdabecb8d6878858d7/href">https://medium.com/media/ea3959f8ab8177fdabecb8d6878858d7/href</a></iframe><p>Para simplificarmos o nosso código, iremos juntar todos os textos em apenas um único arquivo. Além disso, informações como notas iniciais da editora, informações de publicação e introduções feitas por outros autores foram retiradas manualmente no processo.</p><h4>Lendo os dados</h4><p>Com o texto preparado, vamos ler o arquivo o nosso arquivo e verificar algumas informações básicas, como o número de caracteres:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f82692166152544f18fe54589b801731/href">https://medium.com/media/f82692166152544f18fe54589b801731/href</a></iframe><h4>Vetorização do texto</h4><p>Diferente de nós, humanos, os computadores não conseguem abstrair informações das palavras diretamente. Sendo assim, precisamos pensar em algum tipo de codificação numérica para que a máquina possa processar o nosso texto. Neste caso, iremos criar dois tipos de vetores numéricos:</p><ul><li><em>char2idx</em>: faz o mapeamento dos caracteres únicos para um índice</li><li><em>idx2char</em>: faz o mapeamento dos números no índice para os caracteres</li></ul><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7b54cdf033aee1e706be4972ff992c7f/href">https://medium.com/media/7b54cdf033aee1e706be4972ff992c7f/href</a></iframe><p>Aqui, criamos três representações importantes: temos o char2idx para codificar o nosso texto em uma representação numérica, o idx2char para decodificar o texto e text_as_int , que representa o nosso texto já codificado.</p><h3>Redes Neurais Recorrentes (RNNs)</h3><h4>Por que Redes Recorrentes?</h4><p>Ao lermos um livro, ou ao utilizar a linguagem de uma maneira geral, estamos levando em conta a ordem na qual os caracteres e as palavras são dispostas na página, ou seja, a ordem em que esses dados aparecem são extremamente importantes para a constituição do sentido do texto. Quando colocamos essa informação em conjunto, temos um texto coeso, do qual conseguimos extrair sentido.</p><p>Além da linguagem, podemos pensar em outros tipos de dados que também obedecem uma sequência, como informações de um eletrocardiograma, as bases nitrogenas em um DNA, ou <a href="https://medium.com/turing-talks/manipula%C3%A7%C3%A3o-de-s%C3%A9ries-temporais-com-pandas-db4ee39a0c1b">séries temporais</a>, por exemplo. Quando temos dados que são dispostos em uma ordem específica, utilizamos <strong>modelos sequenciais</strong>, como uma Rede Neural Recorrente (<em>Recurrent Neural Network, </em>em inglês<em> — RNN)</em>, por exemplo.</p><p>Uma vantagem das RNNs é que com elas conseguimos treinar facilmente inputs e outputs com tamanhos diferentes e, principalmente, a nossa rede consegue aprender a generalizar as informações textuais independente da sua posição na frase, ou seja, com essa representação o modelo conseguiria prever que a palavra &quot;Augusto&quot; muito provavelmente teria a sua próxima palavra como &quot;Matraga&quot;, independentemente de &quot;Augusto&quot; aparecer no início, meio, ou final da frase.</p><h4>Como funciona uma RNN?</h4><p>Em uma RNN tradicional, temos a seguinte representação:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nqRBf8FFuTRqPiiIAdvf3A.png" /><figcaption>Disponível em: <a href="https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-recurrent-neural-networks">https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-recurrent-neural-networks</a></figcaption></figure><p>Como comentamos anteriormente, aqui estaremos lidando com dados que obedecem uma determinada sequência. Sendo assim, representaremos os nossos dados em <em>&quot;timesteps&quot;, </em>e para fazermos previsões sequenciais cada y&lt;t&gt; (output) levará em conta não apenas o valor do seu timestep x&lt;t&gt;(input), mas também usará a informação de seu estado anterior a&lt;t-1&gt;.</p><p>Se você quiser saber mais informações sobre como funciona uma RNN, dê uma olhada no nosso <em>Turing Talks</em> sobre o tema <a href="https://medium.com/turing-talks/turing-talks-26-modelos-de-predi%C3%A7%C3%A3o-redes-neurais-recorrentes-439198e9ecf3">aqui</a>.</p><h3>Preparando os dados para o modelo</h3><p>Dado um caractere, ou uma sequência de caracteres, qual será o caractere mais provável? — Essa é a tarefa para a qual estaremos treinando o nosso modelo. Sendo assim, teremos uma sequência de caracteres como entrada do modelo e iremos prever o caractere seguinte.</p><p>Para isso, iremos dividir o texto em sequência de exemplos, e cada sequência terá um número de caracteres de tamanho determinado pela variável seq_length . Para cada sequência de entrada, os targets terão o mesmo comprimento, com exceção de um caractere deslocado para a direita. Dessa forma, a nossa rede ficará assim:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/729/1*nuCAFCbWWa-wx45-6gxMVw.png" /></figure><p>Para isso, vamos usar o método from_tensor_to_slices to módulo Dataset to TensorFlow para criar um um objeto desse tipo a partir do text_as_int , que já tínhamos definimos acima. Por fim, vamos separar os dados em batches para o nosso treinamento. Nessa representação, usaremos o comprimento de cada sentença de input limitada para 100 caracteres:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/705ea4a16564f36469ae52b4c12e4cbf/href">https://medium.com/media/705ea4a16564f36469ae52b4c12e4cbf/href</a></iframe><p>Em seguida, precisamos criar tuplas dessas sequências para alimentarmos a nossa RNN:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/3a3fb803c63fb56187ba1e074af15509/href">https://medium.com/media/3a3fb803c63fb56187ba1e074af15509/href</a></iframe><p>Por fim, vamos embaralhar o nosso dataset e dividi-lo em batches:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6e0de513999f13a20edb456db0f6cce5/href">https://medium.com/media/6e0de513999f13a20edb456db0f6cce5/href</a></iframe><h3>Construindo o modelo</h3><p>Nessa representação, usaremos três camadas:</p><ul><li>Embedding: Nossa camada de entrada. Se você não sabe o que são embeddings, você pode conferir o nosso <em>Turing Talks</em> sobre o tema <a href="https://medium.com/turing-talks/word-embedding-fazendo-o-computador-entender-o-significado-das-palavras-92fe22745057">aqui</a>.</li><li>GRU (Gated Recurrent Unit): A nossa RNN. GRUs são um tipo especial de Redes Recorrentes, se quiser ver mais sobre elas, assista esse vídeo <a href="https://www.youtube.com/watch?v=xSCy3q2ts44">aqui</a>.</li><li>Fully connected: A tradicional camada de pesos em uma rede neural.</li></ul><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/04613e114976d852560f436a5daa9ba1/href">https://medium.com/media/04613e114976d852560f436a5daa9ba1/href</a></iframe><h4>Treinando o modelo</h4><p>Para treinar a nossa rede, usaremos o otimizador &quot;Adam&quot; e a função de custo &quot;Sparse Categorical Loss&quot;. Além disso, para conseguirmos carregar os nossos pesos e salvar a nossa performance, iremos configurar um diretório para os <em>checkpoints</em>:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/902d5b55246bebedd6ee0163dece17f3/href">https://medium.com/media/902d5b55246bebedd6ee0163dece17f3/href</a></iframe><p>Por fim, usaremos 10 épocas para fazer o nosso treinamento.</p><p>Para isso, recomendo que você utilize uma GPU. Se você não possui uma GPU no seu computador, você pode usar o Google Colab, e em <em>Runtime&gt;Change runtime type</em> selecione &quot;GPU&quot;.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/001701704631cb8aefbaa65950d900cf/href">https://medium.com/media/001701704631cb8aefbaa65950d900cf/href</a></iframe><h3>Escrevendo como Guimarães Rosa</h3><p>Para ver a posição do nosso último <em>checkpoint</em>, utilizamos a seguinte notação: tf.train.latest_checkpoint(checkpoint_dir)</p><p>Finalmente, podemos usar a função que definimos anteriormente para criar um novo modelo com batch_size=1 , e usar o método load_weights salvos do último checkpoint:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b9727280339175e91938d439b5210000/href">https://medium.com/media/b9727280339175e91938d439b5210000/href</a></iframe><p>Agora o nosso modelo está pronto para fazer previsões! Tudo o que precisamos é criar uma função para processar o texto da mesma forma que fizemos anteriormente quando treinamos o modelo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/bd2f95b4c651661af895445e6b29c83e/href">https://medium.com/media/bd2f95b4c651661af895445e6b29c83e/href</a></iframe><p>Agora basta escolher uma string e ver o seu modelo fazer previsões!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BlvhYyPOx294oMlXua21tw.png" /><figcaption>Exemplo de previsão com o modelo treinado</figcaption></figure><h3>Fazendo mais previsões!</h3><p>Agora que temos um modelo treinado, podemos usar plataformas como o <a href="https://streamlit.io/">Streamlit</a> e o <a href="https://www.heroku.com/">Heroku</a> para fazer a versão com o deploy do nosso modelo.</p><p>Com o Streamlit conseguimos facilmente carregar o nosso modelo, construir uma interface para o usuário escrever a string inicial, e então fazer as previsões do texto. Por fim, utilizamos o Heroku para colocar o que construimos com o Streamlit em uma url compartilhável.</p><p>Com essas duas plataformas, chegamos em um resultado final assim:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*AqH2DQjQB9NKYQab783_Lg.png" /></figure><p>Se quiser brincar com o modelo que construímos, basta acessar o site: <a href="http://gerador-texto-guimaraes.herokuapp.com/">http://gerador-texto-guimaraes.herokuapp.com/</a> .</p><p>Nesse Turing Talks não vamos entrar em detalhes sobre como fazer o deploy do modelo (quem sabe em um próximo texto!). Mas se você quiser ver o código, ele está todo disponível neste repositório:</p><p><a href="https://github.com/turing-usp/gerador-texto-guimaraes">turing-usp/gerador-texto-guimaraes</a></p><h3>Conclusão</h3><p>É claro que os nossos resultados estão longe de gerar um texto como um conto ou obra de João Guimarães Rosa, mas justamente pela linguagem muito característica do autor, repleta de neologismos e marcada pelo falar popular do sertão, é curioso ver como o nosso modelo consegue replicar alguns desses padrões, gerando resultados, no mínimo, divertidos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/917/1*ZwI1oH7SmhZ4y7qb74zOIg.png" /></figure><p>Usando uma representação como essa, conseguimos criar vários outros modelos língua com corpus diferentes. Podemos ensinar uma IA a escrever como <a href="http://karpathy.github.io/2015/05/21/rnn-effectiveness/">Shakespeare</a>, <a href="https://github.com/christian-doucette/tolkein_text">J. R. R. Tolkien</a>, e muitos outros! Basta termos um dataset e tratá-lo para essa tarefa.</p><p>Se você gostou dessa abordagem, saiba que RNNs são apenas o começo dentre vários outros tipos de redes que podemos usar para construir modelos de língua. Hoje, temos modelos muito mais sofisticados para modelar a linguagem e gerar resultados ainda mais surpreendentes, como o <a href="https://openai.com/blog/better-language-models/">GPT-2</a>, <a href="https://gpt3examples.com/#examples">GPT-3</a> e, o mais recente, <a href="https://blog.google/products/search/introducing-mum/">Google MUM</a>.</p><p>Por fim, não deixe de acompanhar o Turing USP no <a href="https://www.facebook.com/turing.usp">Facebook</a>, <a href="https://www.linkedin.com/company/turing-usp/">Linkedin</a>, <a href="https://www.instagram.com/turing.usp/">Instagram</a> e, claro, nossos posts do <a href="https://medium.com/turing-talks">Medium</a>!</p><p>Bons estudos e até a próxima!</p><blockquote>“O real não está na saída nem na chegada: ele se dispõe para a gente é no meio da travessia.”</blockquote><blockquote>João Guimarães Rosa</blockquote><blockquote>Agradecimento especial à <a href="https://medium.com/u/5fd88f4905dc">Luísa Mendes Heise</a> pela ajuda na coleta do corpus</blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=313d7d1b1acb" width="1" height="1" alt=""><hr><p><a href="https://medium.com/turing-talks/consegue-uma-intelig%C3%AAncia-artificial-escrever-como-guimar%C3%A3es-rosa-313d7d1b1acb">Consegue uma Inteligência Artificial escrever como Guimarães Rosa?</a> was originally published in <a href="https://medium.com/turing-talks">Turing Talks</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Teoria Moderna do Portfólio em Python]]></title>
            <link>https://medium.com/turing-talks/teoria-moderna-do-portf%C3%B3lio-em-python-e8bad41ebb8b?source=rss-d9117f8de7a2------2</link>
            <guid isPermaLink="false">https://medium.com/p/e8bad41ebb8b</guid>
            <category><![CDATA[mercado-financeiro]]></category>
            <category><![CDATA[finanças-quantitativas]]></category>
            <category><![CDATA[grupo-turing]]></category>
            <category><![CDATA[otimização]]></category>
            <dc:creator><![CDATA[Julia Pocciotti]]></dc:creator>
            <pubDate>Sun, 11 Apr 2021 11:32:18 GMT</pubDate>
            <atom:updated>2021-04-11T13:46:44.801Z</atom:updated>
            <content:encoded><![CDATA[<p>Otimize a sua carteira de investimentos com a teoria de Harry Markowitz</p><blockquote>Texto escrito por <a href="https://www.linkedin.com/in/juliapocciotti/">Julia Pocciotti</a></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2o6Q1pe0Yn_MU2OtU5ge8w.jpeg" /></figure><p>Quando falamos sobre &quot;Otimização de Portfólios&quot;, estamos comentando sobre o processo utilizado para selecionarmos a melhor distribuição de ativos em uma carteira a fim de atingirmos um objetivo comum. Esse objetivo pode variar de acordo com o perfil de cada tipo de investidor, pode ser que para um seja preferível maximizar o retorno esperado de seu portfólio, enquanto, para outro, o objetivo seria investir em uma carteira com o menor risco possível, por exemplo.</p><p>Hoje, vamos falar sobre todos esses conceitos e como otimizar um portfólio utilizando a chamada <em>Teoria Moderna do Portfólio</em>, do laureado com o prêmio Nobel da Economia, Harry Markowitz.</p><h3>Introdução</h3><p>A essência da Teoria Moderna do Portfólio está ligada ao <em>trade off</em> existente entre o <strong>Retorno</strong> e <strong>Risco</strong>. Segundo Markowitz, os investidores seriam avessos ao risco, e, por isso, só estariam dispostos a aumentar o risco de sua carteira a fim de alcançarem um retorno esperado mais alto.</p><p>Faz sentido, certo? Então a pergunta que iremos trabalhar aqui vai ser a seguinte: &quot;Considerando um certo nível de risco, qual carteira me dará o maior retorno?&quot;.</p><p>Para isso, vamos antes entender melhor como calcular o Retorno e o Risco de um portfólio.</p><h3>Retorno</h3><p>Para calcularmos os retornos simples dos nossos ativos em python, podemos simplesmente utilizar a função pct_change() da biblioteca pandas. Aqui, para exemplificar o nosso portfólio, estaremos usando uma carteira composta por ações da Amazon, Google, Microsoft e Netflix:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b51db14c14bccb2bb774f108178332d3/href">https://medium.com/media/b51db14c14bccb2bb774f108178332d3/href</a></iframe><p>Porém, como não estamos lidando as ações unicamente, precisamos calcular o retorno do portfólio como um todo. Para isso, vamos distribuir a porcentagem que cada ativo receberá na nossa carteira criando um vetor de pesos (w) e multiplicando-o pelos retornos simples dos ativos:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/8224595de20f5e42f3bee9a37689f81b/href">https://medium.com/media/8224595de20f5e42f3bee9a37689f81b/href</a></iframe><h3>Risco</h3><p>Existem várias formas diferentes para se calcular o risco de um ativo, mas no geral, essas métricas estarão relacionadas a quão volátil é uma ação. A ideia principal é que ativos muitos voláteis, ou seja, que variam muito, não são muito seguros. Sendo assim, a forma mais comum de se obter esse tipo de métrica para uma ação é através do cálculo de seu desvio padrão:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/212a24da63342d08e8068116a9fdb06d/href">https://medium.com/media/212a24da63342d08e8068116a9fdb06d/href</a></iframe><p>Intuitivamente, poderíamos pensar que para calcular o risco de uma carteira, bastaria multiplicar o risco de cada uma de suas ações pelo vetor de pesos de seu portfólio, mas é aí que entra a grande sacada de Markowitz.</p><p>Em um portfólio, o seu risco não será igual à média do risco de cada um de seus ativos, pois nesse caso precisamos levar em conta como que todas as ações estão se movimentando em conjunto. Para isso, precisamos antes calcular a matriz de covariância das médias dos retornos:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6f87196c6111c4ee704be6804690e184/href">https://medium.com/media/6f87196c6111c4ee704be6804690e184/href</a></iframe><p>Tendo calculado a matriz de covariância ( C ), e com os nossos vetores de pesos (w), em seguida, vamos utilizar esta fórmula para calcular o risco do portfólio:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/242/1*yOY8NEwSdHGi5puMxb9fwA.png" /><figcaption>Fórmula para cálculo do risco do portfólio</figcaption></figure><p>Sua implementação em Python fica assim:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/40ce59744a586eeadc8c47ff6d7dfed7/href">https://medium.com/media/40ce59744a586eeadc8c47ff6d7dfed7/href</a></iframe><h4>Sharpe Ratio</h4><p>Todo investimento possui uma certa taxa de risco associada a ele, mas é certo que alguns investimentos são mais seguros do que outros, certo?</p><p>O Sharpe Ratio é uma métrica utilizada para nos ajudar a analisar se estamos sendo devidamente recompensados por uma taxa adicional de risco assumido. Para isso, ele compara o retorno de um investimento que possui um risco associado com um outro de &quot;risco livre&quot;. No caso de uma carteira de ações na bolsa brasileira, ele poderia comparar o retorno dela com um o retorno de um investimento em renda fixa, por exemplo.</p><p>Para calcular o sharpe ratio subtraimos o taxa de risco livre do retorno do portfólio e dividimos esse valor pelo risco do portfólio:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/484/1*oDqrblJ5JP60Mxy4fDNGcQ.png" /><figcaption>Fórmula do Sharpe Ratio</figcaption></figure><p>Quanto maior for o valor do Sharpe Ratio, mais atraente será esse investimento dado o risco associado. Porém, um valor negativo significa que a taxa livre de risco é maior que o retorno do portfólio. De maneira geral, um sharpe ratio maior que 1 é considerado bom.</p><h3>Simulando Portfólios</h3><p>Agora que já entendemos como calcular o <strong>retorno</strong> e o <strong>risco</strong> de um portfólio, vamos simular várias carteiras com pesos diferentes e observar qual delas irá nos retornar o portfólio com o maior Sharpe Ratio.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f6d927ebd9a927eb8cd22d15e0b2a05e/href">https://medium.com/media/f6d927ebd9a927eb8cd22d15e0b2a05e/href</a></iframe><p>Com o código acima estamos gerando várias carteiras com vetores de pesos diferentes. Nessa função, ela retorna um dicionário com todos os pesos, retornos, riscos e sharpe ratios de todos os portfólios. Para descobrirmos qual carteira obteve o melhor Sharpe Ratio, utilizamos a seguinte função:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/e7e082ca7ec2927d8d8177900e49157e/href">https://medium.com/media/e7e082ca7ec2927d8d8177900e49157e/href</a></iframe><p>Fazendo uma simulação com as funções que descrevemos acima, a carteira que nos retornaria o maior Sharpe Ratio seria a com a seguinte distribuição de pesos:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kclvwGcBtYjYRxRq8uHcpQ.png" /></figure><p><em>Lembre-se que a simulação dos pesos que estamos utilizando é aleatória! Então se você tentar reproduzir esse código, os resultados dos pesos serão diferentes!</em></p><h3>A Fronteira Eficiente</h3><p>Se pegarmos todos os portfólios que foram gerados e plotarmos em um gráfico, tendo como referência os retornos no eixo y, e os riscos no eixo x, temos um esquema que é conhecido como a &quot;Fronteira Eficiente&quot;. Antes de entrarmos a fundo na sua interpretação, vamos implementá-lo em Python utilizando o Matplotlib:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/75fd94c5343452b7d0617c7d098d4aa2/href">https://medium.com/media/75fd94c5343452b7d0617c7d098d4aa2/href</a></iframe><p>Utilizando a função com a carteira que estamos usando de exemplo até agora, temos o seguinte gráfico:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/984/1*y7W3tKqCNYqUBUz7O9KzpQ.png" /></figure><p>Mas afinal, o que é a fronteira eficiente?</p><p>A fronteira eficiente nada mais é do que a linha que representa os retornos máximos que podemos obter com um portfólio dado um certo nível de risco. Portfólios ótimos sempre devem estar na linha da fronteira, pois, para qualquer portfólio abaixo da linha, há uma carteira disponível com o mesmo risco associado, porém com um retorno maior. Qualquer portfólio acima da fronteira é impossível.</p><h3>Afinal, o que é um bom portfólio?</h3><p>Para calcular o nosso melhor portfólio, utilizamos como métrica o maior Sharpe Ratio, porém, analisando o que acabamos de ver sobre a fronteira eficiente, você pode estar se perguntando o que constituiria um bom portfólio no final das contas, e a resposta é: depende!</p><p>Um bom portfólio vai depender do tipo de investidor e o que ele espera ganhar com os seus investimentos. Para uma pessoa que está próxima da aposentadoria, talvez seja preferível um portfólio que oferece um risco menor, já para uma pessoa mais jovem, talvez aumentar seus retornos com um portfólio um pouco mais arriscado seja uma opção mais atraente.</p><p>Independente do nível de risco que o investidor estará disponível a aceitar, o importante é estar na linha da fronteira.</p><p>Tendo isso em mente, podemos modificar o nosso código para adicionar métodos para retornar a carteira com o menor risco e o maior retorno:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/2c967d760ec219f72dc81a66aeb22938/href">https://medium.com/media/2c967d760ec219f72dc81a66aeb22938/href</a></iframe><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/afff0b0123bf8f5964eb4e6f10ea6bd6/href">https://medium.com/media/afff0b0123bf8f5964eb4e6f10ea6bd6/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3eBBBGqXTMPFd3TMLJd_xQ.jpeg" /><figcaption>À esquerda temos o gráfico gerado com o portfólio de maior retorno indicado, e à direita, o portfólio de menor risco.</figcaption></figure><h3>Conclusões</h3><p>Hoje você deu seus primeiros passos com otimização de investimentos conhecendo um pouco mais sobre a teoria de Harry Markowitz.</p><p>A <em>Teoria Moderna do Portfólio</em> abriu espaço depois para que outras teses de otimização de portfólios também fossem desenvolvidas. Também temos um Turing Talks que comenta uma outra estratégia para tal, chamada <em>Paridade de Risco Hierárquica, </em>você pode conferi-lo aqui:</p><p><a href="https://medium.com/turing-talks/otimiza%C3%A7%C3%A3o-de-investimentos-com-intelig%C3%AAncia-artificial-548cf34dad4d">Otimização de investimentos com Inteligência artificial</a></p><p>Caso tenha perdido alguma parte do código, a implementação está toda disponível na biblioteca turingquant:</p><p><a href="https://github.com/GrupoTuring/turingquant/blob/master/turingquant/optimizers.py">GrupoTuring/turingquant</a></p><p>Por fim, não deixe de acompanhar o Grupo Turing no <a href="https://www.facebook.com/grupoturing.usp">Facebook</a>, <a href="https://www.linkedin.com/company/grupo-turing/">Linkedin</a>, <a href="https://www.instagram.com/grupoturing.usp/">Instagram</a> e, claro, nossos posts do <a href="https://medium.com/turing-talks">Medium</a>!</p><p>Bons estudos e até a próxima!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e8bad41ebb8b" width="1" height="1" alt=""><hr><p><a href="https://medium.com/turing-talks/teoria-moderna-do-portf%C3%B3lio-em-python-e8bad41ebb8b">Teoria Moderna do Portfólio em Python</a> was originally published in <a href="https://medium.com/turing-talks">Turing Talks</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Ferramentas para Processamento de Linguagem Natural em Português]]></title>
            <link>https://medium.com/turing-talks/ferramentas-para-processamento-de-linguagem-natural-em-portugu%C3%AAs-977c7f59c382?source=rss-d9117f8de7a2------2</link>
            <guid isPermaLink="false">https://medium.com/p/977c7f59c382</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[pln]]></category>
            <category><![CDATA[grupo-turing]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <dc:creator><![CDATA[Julia Pocciotti]]></dc:creator>
            <pubDate>Sun, 07 Mar 2021 11:33:41 GMT</pubDate>
            <atom:updated>2021-06-10T13:26:15.931Z</atom:updated>
            <content:encoded><![CDATA[<h4>Um guia para as principais bibliotecas para se trabalhar com NLP em português</h4><blockquote>Texto escrito por <a href="https://www.linkedin.com/in/juliapocciotti/">Julia Pocciotti</a> e <a href="https://medium.com/@vitoria.27.07">Vitoria Rodrigues</a></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*AapbLuWsSdv2frMzyHi81Q.jpeg" /></figure><p>Olá, leitores! Bem vindos novamente a mais um Turing Talks de <em>Processamento de Linguagem Natural!</em> No texto de hoje vamos conhecer um pouco mais sobre as seguintes ferramentas de NLP para a língua portuguesa, com uma breve introdução a cada uma delas:</p><ol><li><a href="#af7d"><strong>NLTK</strong></a></li><li><a href="#a5f5"><strong>spaCy</strong></a></li><li><a href="#db61"><strong>Enelvo</strong></a></li><li><a href="#8eb7"><strong>NILC embeddings</strong></a></li><li><a href="#8eec"><strong>Opinando</strong></a></li><li><a href="#bf50"><strong>BERTimbau</strong></a></li></ol><p>Antes de tudo, não deixem de ler alguns dos nossos outros textos de NLP, eles ajudarão muito em conceitos básicos que serão abordados aqui:</p><ul><li><a href="https://medium.com/turing-talks/introdu%C3%A7%C3%A3o-ao-processamento-de-linguagem-natural-com-baco-exu-do-blues-17cbb7404258">Introdução a NLP</a></li><li><a href="https://medium.com/turing-talks/uma-an%C3%A1lise-de-dom-casmurro-com-nltk-343d72dd47a7">Introdução a NLTK</a></li><li><a href="https://medium.com/turing-talks/introdu%C3%A7%C3%A3o-a-bag-of-words-e-tf-idf-43a128151ce9">Introdução a Bag of Words e TFIDF</a></li><li><a href="https://medium.com/turing-talks/word-embedding-fazendo-o-computador-entender-o-significado-das-palavras-92fe22745057">Word embeddings</a></li></ul><p>Vamos lá?</p><h3>NLTK</h3><p>A biblioteca NLTK é uma das mais antigas no meio de NLP e ainda é usada para uma série de tarefas básicas, como remover <em>stopwords, lemmatizar, tokenizar,</em> etc. Por se tratar de uma lib grande com muitas funções, com o tempo ela foi sendo adaptada para outras línguas, entre elas o <strong>português</strong>.</p><p>No nosso <a href="https://medium.com/turing-talks/uma-an%C3%A1lise-de-dom-casmurro-com-nltk-343d72dd47a7">texto introdutório à essa biblioteca</a> já mostramos diversas funções importantes, inclusive como importar corpus completos do Machado de Assis e fazer um pré-processamento e uma análise com eles. Porém, aqui iremos mostrar mais duas funcionalidades dessa biblioteca:</p><h4>Stopwords em português</h4><p>A remoção de <em>stopwords</em> é uma passo importante no pré-processamento de um texto. Essa biblioteca oferece uma variedade de palavras do português classificadas como <em>stopwords</em> e facilita a remoção delas, para isso você só precisar seguir os seguintes passos:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/d3e069e82d07ecab0c8d73b14912b581/href">https://medium.com/media/d3e069e82d07ecab0c8d73b14912b581/href</a></iframe><p>Vamos ver quais são as primeiras 20 <em>stopwords</em>:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/5e3ff108acc1c035536e6d345bb1a536/href">https://medium.com/media/5e3ff108acc1c035536e6d345bb1a536/href</a></iframe><p>Para rever como fazer a função de pré-processamento que remove stopwords, basta dar olhada no <a href="https://medium.com/turing-talks/uma-an%C3%A1lise-de-dom-casmurro-com-nltk-343d72dd47a7">texto</a> que citamos anteriormente.</p><h4><strong>Corpus de POS-tagger</strong></h4><p>A NLTK oferece diversos tipos de corpus para as mais diversas tarefas, um corpus interessante é o <em>“MacMorpho”</em>, que reúne milhões de palavras retiradas de textos jornalísticos da Folha de São Paulo já com suas determinadas marcações (verbo, substantivo, adjetivo, etc). Para ter acesso ao corpus basta fazer o seu download e seguir esses passos:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/92f740108a51a0611da71b2cbca10264/href">https://medium.com/media/92f740108a51a0611da71b2cbca10264/href</a></iframe><p>Para conhecer mais sobre as funcionalidades da biblioteca para português é só dar uma olhada na <a href="http://www.nltk.org/howto/portuguese_en.html">sua documentação</a>.</p><h3>spaCy</h3><p>spaCy é uma biblioteca para Processamento de Linguagem Natural desenvolvida principalmente para ajudar desenvolvedores a construir projetos de forma rápida e prática. Nela, podemos encontrar várias features interessantes para trabalhar com NLP, como tokenizador, POS-tagger, NER, word vectors pré-treinados, dentre outras coisas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HTtQseukwrBiREJf8MSVcA.jpeg" /></figure><p>Além disso tudo, o spaCy possui vários modelos treinados em línguas diversas, como em chinês, grego, italiano, e claro, português!</p><p>Instalar o spaCy pode ser facilmente feito usando o pip:</p><p>$ pip install spacy</p><p>Para instalar o modelo em português, basta rodar:</p><p>$ python -m spacy download pt_core_news_sm</p><p>A partir disso, podemos simplesmente carregar esse modelo pré-treinado dessa forma:</p><p>nlp = spacy.load(&quot;pt_core_news_sm&quot;)</p><p>Vamos ver algumas das funcionalidades da biblioteca em português:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/e3c98eea244ee18c6e7f5bf1f0870100/href">https://medium.com/media/e3c98eea244ee18c6e7f5bf1f0870100/href</a></iframe><p>Caso queira explorar explorar mais a biblioteca, você pode checar a documentação com todos os modelos <a href="https://spacy.io/usage/linguistic-features">aqui</a>. Além disso, você também pode conferir a explicação de algumas dessas features neste <a href="https://github.com/GrupoTuring/Aulas-NLP/blob/main/4-spaCy/Aula_SpaCy.ipynb">notebook</a>:</p><p><a href="https://github.com/turing-usp/Aulas-NLP">turing-usp/Aulas-NLP</a></p><h3>Enelvo</h3><p>A biblioteca <em>Enelvo</em> é muito importante para diversas tarefas de Processamento de Linguagem Natural em português porque possui a capacidade de <em>normalizar</em> textos, ou seja, corrige abreviações, gírias, erros ortográficos, capitaliza letras no começo das frases, de nomes próprios e acrônimos. Ela também possui uma função própria para remover pontuações e emojis.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*XUAH9CWtJLP-8wec" /></figure><p>Para instalar a biblioteca podemos utilizar um pip install:</p><p>$ pip install enelvo</p><p>Com ela instalada, vamos ver suas funcionalidades:</p><h4>Normalizador</h4><p>Essa é a principal função dessa lib, então vamos vê-la primeiro. O normaliser “arruma” abreviações (por exemplo: <em>vc</em>, <em>gnt</em>, <em>oq</em>, <em>pq</em>, etc.) e erros ortográficos. Vamos ver como preparar esse primeiro comando:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ec113d80bd7ce8ccb6f9bed7056d514c/href">https://medium.com/media/ec113d80bd7ce8ccb6f9bed7056d514c/href</a></iframe><p>Agora vamos passar uma mensagem para ser normalizada para testarmos nosso normalizador:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6b355177484e4f4ac1f4dd4f9084a9e0/href">https://medium.com/media/6b355177484e4f4ac1f4dd4f9084a9e0/href</a></iframe><h4>Capitalizar nomes próprios, acrônimos e primeiras palavras na frase</h4><p>Para fazer esses processos de capitalização, basta apenas adicionar os argumentos corretos ao <em>Normaliser, </em>vamos ver cada um deles:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/fcc7644e12499adcb7109d99e1b56b0a/href">https://medium.com/media/fcc7644e12499adcb7109d99e1b56b0a/href</a></iframe><h4>Removendo pontuações e emojis</h4><p>O argumento sanitizeremove pontuações e emojis, esse é um pré-processamento comum e importante na área de NLP e essa funcionalidade da Enelvo pode ajudar muito na agilidade dessa etapa. Assim como vimos acima, para usar essa ferramenta basta passar o respectivo argumento para o <em>Normaliser:</em></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/2ddaea3428fd7e90c03729ba78931a18/href">https://medium.com/media/2ddaea3428fd7e90c03729ba78931a18/href</a></iframe><p>Por fim, para criar um normalizador que realiza todas essas funções, basta passar todos os argumentos juntos:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/04d29d085371765b227ed555109da475/href">https://medium.com/media/04d29d085371765b227ed555109da475/href</a></iframe><p>Vamos testar?</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/28d1055e9fdcde641de5aa1f7e809c31/href">https://medium.com/media/28d1055e9fdcde641de5aa1f7e809c31/href</a></iframe><p>Veja mais sobre as funcionalidades dessa biblioteca na <a href="https://pypi.org/project/enelvo/">documentação</a>.</p><h3>NILC embeddings</h3><p>O NILC (Núcleo Institucional de Linguística Computacional) é um grupo originário da USP São Carlos e seus projetos e pesquisas englobam diferentes áreas de NLP, como tradução automática, sumarização de texto, criação de léxicos e dicionários, etc.</p><p>Dentre esses recursos, o NILC dispõe de um repositório de embeddings treinados em português a partir de dezessete corpus, totalizando 1,395,926,282 tokens. Esses embeddings são disponibilizados em várias dimensões diferentes e seus treinamentos são feitos em algoritmos como Word2Vec, FastText, Wang2Vec e Glove.</p><p>Para acessar o repositório, basta clicar <a href="http://nilc.icmc.usp.br/nilc/index.php/repositorio-de-word-embeddings-do-nilc">aqui</a>.</p><p>Assim que você tiver feito o download dos embeddings escolhidos, para utilizá-los com o <a href="https://radimrehurek.com/gensim/index.html">gensim</a>, basta rodar o seguinte:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/08702ead821d7c9ed22823d7054742f1/href">https://medium.com/media/08702ead821d7c9ed22823d7054742f1/href</a></iframe><p>Se quiser saber mais sobre word embeddings e Word2Vec, você pode conferir o nosso Turing Talks sobre o tema aqui:</p><p><a href="https://medium.com/turing-talks/word-embedding-fazendo-o-computador-entender-o-significado-das-palavras-92fe22745057">Word Embedding: fazendo o computador entender o significado das palavras</a></p><h3>Opinando — NILC</h3><p>O <a href="https://sites.google.com/icmc.usp.br/opinando/">Opinando</a> foi um projeto desenvolvido por uma equipe do ICMC-USP para oferecer ferramentas para diversas tarefas de análise em Português, trata-se de um trabalho bem extenso com muitas opções de abordagens, ele é dividido em aplicações e ferramentas.</p><h4>Aplicações</h4><p>As aplicações do <em>Opinando</em> são projetos realizados pela equipe, algumas delas são:</p><ul><li><a href="http://www.google.com/url?q=http%3A%2F%2Fnilc-fakenews.herokuapp.com%2F&amp;sa=D&amp;sntz=1&amp;usg=AFQjCNF2RnOGWytbStVQOm7bhpw0-5DH-A"><strong>Automatic Fake News Detection for Portuguese</strong></a><strong> </strong>— um detector de Fake News, feito com um modelo de Machine Learning;</li><li><a href="https://github.com/roquelopez/opizer"><strong>Opizer </strong></a>— métodos para produzir um resumo sobre as opiniões de um determinado produto de interesse;</li><li><a href="http://www.google.com/url?q=http%3A%2F%2Fgithub.com%2Fraphsilva%2Fcontrastive-summarization&amp;sa=D&amp;sntz=1&amp;usg=AFQjCNGGQt67pksLpCHcl8WjA39LLOpLwA"><strong>Constrastive opinion summarization</strong></a><strong> — </strong>um método igual ao anterior, mas que compara informações do produto.</li></ul><h4>Ferramentas</h4><p>Algumas das ferramentas disponíveis pelo Opinando:</p><ul><li><a href="https://www.google.com/url?q=https%3A%2F%2Fgithub.com%2Favanco%2FLBC&amp;sa=D&amp;sntz=1&amp;usg=AFQjCNFQX5gityU-x4Sd8FVzqz-tTgpt0Q"><strong>LBC</strong></a><strong> </strong>— Um classificador baseado em léxico para análise de sentimentos em português;</li><li><a href="https://www.google.com/url?q=https%3A%2F%2Fgithub.com%2Froneysco%2FTopX&amp;sa=D&amp;sntz=1&amp;usg=AFQjCNGwgXX56CamQzPX0nuoS4-ZxY0J9Q"><strong>TOP (X) v2</strong></a><strong> </strong>— um sistema para estimar o grau de importância de um comentário gerado por um usuário;</li><li><a href="https://drive.google.com/file/d/1uSUs9xLbN4q9ojQohDZFMZ9rUbUvgpw2/view?usp=sharing"><strong>OpinionC</strong></a><strong> </strong>— Um classificador de opinião completo, incluindo léxico e machine learning;</li><li><a href="https://www.google.com/url?q=https%3A%2F%2Fgithub.com%2Fegmaziero%2Fcstparser&amp;sa=D&amp;sntz=1&amp;usg=AFQjCNHdIxV7Tfj8AkRoF33HJCC3KAf8Qg"><strong>CSTParser v2</strong></a><strong> </strong>— um analisador de discursos.</li></ul><p>O projeto também conta com vários <em>corpus</em> e léxicos do Português para auxiliar nas mais determinadas tarefas, como o <a href="https://www.google.com/url?q=https%3A%2F%2Fbitbucket.org%2FHBrum%2Ftweetsentbr%2Fsrc%2Fmaster%2F&amp;sa=D&amp;sntz=1&amp;usg=AFQjCNEL6OkfwhSBGC9-w3lHGr7qSLTH0Q">TweetSentBR</a>, um corpus classificado manualmente com 15 mil tweets divididos entre positivo, negativo e neutro.</p><p>Por se tratar de um trabalho extenso, não seria possível listar aqui todos os projetos, ferramentas e recursos, portanto para aprender mais sobre o Opninando, dê uma olhada no <a href="https://sites.google.com/icmc.usp.br/opinando/">site</a> deles, garantimos que vale a pena!</p><p><a href="https://sites.google.com/icmc.usp.br/opinando/">OPINANDO</a></p><h3>BERTimbau</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/270/1*1MNwTsz8gcW0CgMzn5nalg.png" /></figure><p>Um dos grandes desafios que temos ao trabalhar com linguagem é a quantidade de dados disponíveis, pois, apesar da língua estar sempre presente ao nosso redor, acabamos dependendo de datasets anotados de forma muito específica para realizarmos algumas tarefas de NLP, como para análise de sentimentos, <em>question answering</em>, dentre outros.</p><p>Para esse problema, uma técnica comum em Deep Learning, já muito utilizada em Visão Computacional, é o <em>Transfer Learning</em>, ou seja, treinamos uma rede em um problema conhecido com uma grande quantidade de dados, e depois realizamos o <em>fine-tuning </em>para a nossa tarefa específica.</p><p>Lançado em 2018 pela equipe do Google AI, o <a href="https://github.com/google-research/bert">BERT</a> (<em>Bidirectional Encoder Representations from Transformers</em>) causou uma agitação em toda a comunidade de Deep Learning na época por apresentar resultados estado da arte em várias aplicações de NLP.</p><p>De uma maneira resumida, O BERT aplica um treinamento bidirecional em uma arquitetura de Transformers para treinar um modelo de língua. Com isso, o modelo consegue aprender relações contextuais entre as palavras de um texto.</p><p>Vamos utilizar o BERT para fazer exatamente esse processo de Transfer Learning em NLP, mas, como sempre, dependemos da língua em que o modelo foi treinado. Para usarmos o BERT pré-treinado em português, temos o <a href="https://github.com/neuralmind-ai/portuguese-bert">BERTimbau</a>, modelo treinado pela <a href="https://www.googleadservices.com/pagead/aclk?sa=L&amp;ai=DChcSEwie4rXG2JTvAhVJDZEKHdHFCe0YABACGgJjZQ&amp;ae=2&amp;ohost=www.google.com&amp;cid=CAESQeD2RCxfKMi3_1NuLOon8-BqXpmWRoeXc2Wv1RgCry5NEVIeAAARQx4fbKRL_FlEC90GtZb_-ZbIueCWPJ_mGebq&amp;sig=AOD64_3tFftok1FNBFbbZN_3SxV8idDAGg&amp;q&amp;adurl&amp;ved=2ahUKEwiTqKPG2JTvAhUhHbkGHRuKCzkQ0Qx6BAgKEAE&amp;dct=1">NeuralMind</a>, que fornece dois modelos: o BERT Base e o BERT Large. Podemos acessá-lo através da própria biblioteca do <a href="https://huggingface.co/neuralmind/bert-base-portuguese-cased">Hugging Face</a> dessa forma:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6c07dd48c9bfa6eded3319cf6f82b497/href">https://medium.com/media/6c07dd48c9bfa6eded3319cf6f82b497/href</a></iframe><h3>Conclusão</h3><p>Nesse texto abordamos algumas ferramentas para trabalhar com NLP em português. Para aprender e fixar os conteúdos recomendamos que você treine cada uma das ferramentas com a sua própria abordagem de escolha e que leia os textos e as documentações recomendadas.</p><p>Conhece alguma outra ferramenta legal para trabalhar com Processamento de Linguagem Natural em português que não comentamos aqui? Agora o Grupo Turing tem uma comunidade no Discord! Compartilhe lá com a gente:</p><p><a href="https://discord.gg/26RGmBS">Join the Comunidade Turing Discord Server!</a></p><p>Por fim, não deixe de acompanhar o Grupo Turing no <a href="https://www.facebook.com/grupoturing.usp">Facebook</a>, <a href="https://www.linkedin.com/company/grupo-turing/">Linkedin</a>, <a href="https://www.instagram.com/grupoturing.usp/">Instagram</a> e, claro, nossos posts do <a href="https://medium.com/turing-talks">Medium</a> =)</p><p>Bons estudos e até a próxima!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=977c7f59c382" width="1" height="1" alt=""><hr><p><a href="https://medium.com/turing-talks/ferramentas-para-processamento-de-linguagem-natural-em-portugu%C3%AAs-977c7f59c382">Ferramentas para Processamento de Linguagem Natural em Português</a> was originally published in <a href="https://medium.com/turing-talks">Turing Talks</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Manipulação de Séries Temporais com Pandas]]></title>
            <link>https://medium.com/turing-talks/manipula%C3%A7%C3%A3o-de-s%C3%A9ries-temporais-com-pandas-db4ee39a0c1b?source=rss-d9117f8de7a2------2</link>
            <guid isPermaLink="false">https://medium.com/p/db4ee39a0c1b</guid>
            <category><![CDATA[pandas]]></category>
            <category><![CDATA[ciência-de-dados]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[séries-temporais]]></category>
            <dc:creator><![CDATA[Julia Pocciotti]]></dc:creator>
            <pubDate>Sun, 28 Feb 2021 12:29:40 GMT</pubDate>
            <atom:updated>2021-02-28T12:29:40.857Z</atom:updated>
            <content:encoded><![CDATA[<h4>Seus primeiros passos para trabalhar com Séries Temporais em Ciência de Dados</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*zSb0SATOaxWykF9f" /></figure><p>Olá, seja bem-vindo a mais um <strong><em>Turing Talks</em></strong>! Hoje iremos abordar os principais conceitos básicos envolvendo Séries Temporais e como manuseá-las utilizando uma das principais bibliotecas para Data Science. Vamos lá!</p><h3>O que é uma série temporal?</h3><p>De maneira resumida, uma série temporal pode ser definida como um conjunto de observações ordenadas no tempo, como, por exemplo, os valores mensais de temperatura registrados na cidade de São Paulo, o salário mensal de uma pessoa durante um ano, e claro, o preço de ações em um determinado período de tempo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/720/1*wxmmMOKN8FL0OXchTAnlQw.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*X9t7ybs-QkQHfXeCvRfeTg.png" /><figcaption><em>Exemplos de séries temporais</em></figcaption></figure><h3>Datas e horários no Pandas</h3><h4><strong>Conceitos básicos</strong></h4><p>Antes de qualquer coisa, vamos entender como que o Pandas representa datas e horários.</p><p>Nessa biblioteca, uma combinação de objetos nativos do Python são utilizadas, como o datetime e dateutil, além do numpy.datetime64. Com essas ferramentas, o Pandas nos fornece um tipo de objeto chamado Timestamp, que representa um único ponto no tempo.</p><p>Vamos ver um exemplo com uma única data:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a911dd17673c386ecc8f58b4bb7986e9/href">https://medium.com/media/a911dd17673c386ecc8f58b4bb7986e9/href</a></iframe><p>Uma das maiores utilidades em usar Pandas para trabalhar com Séries Temporais é a facilidade em indexar datas. Com o Pandas, fazemos isso utilizando um objeto DatetimeIndex, que nada mais é do que um agrupamento de vários Timestamps. Com isso, podemos indexar datas em um panda Series ou em um DataFrame:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/87a2e01fec3ce505852fd811e13becfc/href">https://medium.com/media/87a2e01fec3ce505852fd811e13becfc/href</a></iframe><p>Como vimos, os objetos fundamentais para trabalhar com Séries Temporais no pandas são Timestamp e DatetimeIndex.</p><p>Além de trabalhar com essas classes diretamente, é muito comum utilizar a função pd.to_datetime()para manusear esse tipo de dados. Vamos ver isso em mais detalhes a seguir.</p><h4><strong>date_range e </strong><strong>to_datetime</strong></h4><p>pd.date_range() é um método que retorna uma frequência fixa de DatetimeIndex. Ele pode ser muito útil quando queremos criar nossa própria série temporal, basta passarmos uma data de início e outra de término, e, se necessário, podemos especificar também a frequência na qual queremos esses dados. Vamos ver alguns exemplos:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f3dcb67cf134aa942a705a8b750ec57b/href">https://medium.com/media/f3dcb67cf134aa942a705a8b750ec57b/href</a></iframe><p>Além dos exemplos que já vimos anteriormente, pd.to_datetime() pode ser usado para converter um DataFrame para uma série datetime:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ffc9107a86a746dd1642bf97fd02d0c3/href">https://medium.com/media/ffc9107a86a746dd1642bf97fd02d0c3/href</a></iframe><h3>Trabalhando com os dados</h3><h4><strong>Importando os dados</strong></h4><p>Para exemplo de série temporal, iremos trabalhar aqui com os preços históricos das ações da Google. Temos várias formas diferentes para importar esses dados, mas para esse exemplo vamos utilizar o pandas-datareader:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/fc0f63f876589f7cd8c8fbb25f8cf977/href">https://medium.com/media/fc0f63f876589f7cd8c8fbb25f8cf977/href</a></iframe><h3><strong>Resampling, Shifting, Windowing</strong></h3><h4>Resampling (Reamostragem)</h4><p>Uma necessidade comum em séries temporais é reamostrar os dados em uma frequência maior ou menor. De maneira geral, existem duas formas principais de reamostragem:</p><ul><li>Upsampling: Séries temporais são reamostradas de uma frequência baixa para uma frequência alta (ex: mensal para diária)</li><li>Downsampling: Séries temporais são reamostradas de uma frequência alta para uma frequência baixa (ex: semanal para mensal)</li></ul><p>Essas duas técnicas podem ser utilizadas em situações nas quais os nossos dados não estão disponíveis na mesma frequência em que queremos as nossas predições. Além disso, a reamostragem pode ser utilizada como um instrumento para <em>feature engineering</em>, pois podemos alterar a frequência dos dados para prover insights em um problema de aprendizado supervisionado, por exemplo.</p><p>Com o Pandas, isso pode ser feito utilizando o método resample() ou asfreq(). A diferença principal entre esses dois é que o resample() acaba sendo utilizado como ferramenta de <em>data aggregation</em> , enquanto asfreq() é fundamentalmente utilizado para <em>data selection</em>.</p><p>Vamos pegar os preços de fechamento do Google e comparar o retorno dos dois métodos com a reamostragem dos dados no final do ano:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/908678adce0d797c5cb341c3addd67f5/href">https://medium.com/media/908678adce0d797c5cb341c3addd67f5/href</a></iframe><p>Podemos ver a diferença entre os dois com esse gráfico. Em cada ponto, resample reporta a média do ano anterior, enquanto o asfreq reporta o valor no final do ano.</p><p>No código acima usamos a string &#39;BA&#39; como parâmetro dos dois métodos de reamostragem. Além desse, o Pandas oferece uma série de abreviações para diferentes tipos de frequências (ou <em>offsets</em>), você pode conferir todos na documentação da biblioteca clicando <a href="https://pandas.pydata.org/pandas-docs/stable/user_guide/timeseries.html#offset-aliases">aqui</a>.</p><h4>Shifting</h4><p>Outra operação comum em séries temporais é mudar os dados no tempo. Pandas possui dois métodos para isso também: shift() e tshift(). A diferença principal é que o tshift altera apenas o index, enquando o shift faz isso para os dados.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/77864a284b1f66d4ab537c9fcb8febe9/href">https://medium.com/media/77864a284b1f66d4ab537c9fcb8febe9/href</a></iframe><h4>Windowing</h4><p>Usamos o método rolling() de objetos do tipo Series e DataFrames, que retornam uma view similar a que usamos em um tipo de operação groupby.</p><p>Vamos utilizar como exemplo uma rolling view com média e desvio padrão centrada nos preços das ações do Google:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/aa08fa54321be90414eeb4d7c4fdda1a/href">https://medium.com/media/aa08fa54321be90414eeb4d7c4fdda1a/href</a></iframe><h3>Conclusão</h3><p>Nesse texto introduzimos os principais conceitos para trabalhar com Séries Temporais utilizando Pandas. Vimos como representar datas e horários e como manipular esses dados utilizando alguns dos principais métodos para Séries Temporais da biblioteca.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*CYclU46blfQKgCps" /></figure><p>Caso você queira se aventurar mais utilizando Pandas em Séries Temporais, você pode acessar a documentação da biblioteca <a href="https://pandas.pydata.org/pandas-docs/stable/user_guide/timeseries.html">aqui</a>.</p><p>Não deixe de acompanhar o Grupo Turing no <a href="https://www.facebook.com/grupoturing.usp">Facebook</a>, <a href="https://www.linkedin.com/company/grupo-turing/">Linkedin</a> e no <a href="https://www.instagram.com/grupoturing.usp/">Instagram</a>! Além disso, também temos uma comunidade no <a href="https://discord.gg/26RGmBS">Discord</a> agora! Sinta-se livre para mandar alguma dúvida ou comentário por lá se desejar.</p><h3>Referências</h3><ul><li><a href="https://jakevdp.github.io/PythonDataScienceHandbook/03.11-working-with-time-series.html">Working with Time Series</a></li><li><a href="https://www.kaggle.com/thebrownviking20/everything-you-can-do-with-a-time-series">Everything you can do with a time series</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=db4ee39a0c1b" width="1" height="1" alt=""><hr><p><a href="https://medium.com/turing-talks/manipula%C3%A7%C3%A3o-de-s%C3%A9ries-temporais-com-pandas-db4ee39a0c1b">Manipulação de Séries Temporais com Pandas</a> was originally published in <a href="https://medium.com/turing-talks">Turing Talks</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>