<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Everton Tomalok on Medium]]></title>
        <description><![CDATA[Stories by Everton Tomalok on Medium]]></description>
        <link>https://medium.com/@everton.tomalok?source=rss-ff23e86ae43b------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*5Phl7A10HmKDhgFdQP2o-w.png</url>
            <title>Stories by Everton Tomalok on Medium</title>
            <link>https://medium.com/@everton.tomalok?source=rss-ff23e86ae43b------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 21:19:01 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@everton.tomalok/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Word2Vec e sua importância na etapa de pré-processamento]]></title>
            <link>https://medium.com/@everton.tomalok/word2vec-e-sua-import%C3%A2ncia-na-etapa-de-pr%C3%A9-processamento-d0813acfc8ab?source=rss-ff23e86ae43b------2</link>
            <guid isPermaLink="false">https://medium.com/p/d0813acfc8ab</guid>
            <category><![CDATA[skip-gram]]></category>
            <category><![CDATA[cbow]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[word2vec]]></category>
            <dc:creator><![CDATA[Everton Tomalok]]></dc:creator>
            <pubDate>Fri, 23 Aug 2019 20:06:20 GMT</pubDate>
            <atom:updated>2019-08-27T01:30:17.014Z</atom:updated>
            <content:encoded><![CDATA[<h4>Entendendo as words embeddings representadas através de tensores densos</h4><h3>Introdução</h3><p>Word2Vec é um método estatístico para aprender eficientemente um Word Embedding independente, a partir de um corpus de texto.</p><p>Word2Vec tornou-se um dos método mais utilizados no pré-processamento de dados em formato de textos, para realizar tarefas relacionadas ao processamento de linguagem natural (daqui para frente utilizarei a abreviação em inglês NLP), tais como análise de sentimento, tradução de textos, reconhecimento de entidades nomeadas (NER para os mais chegados), ou até mesmo geração de textos carácter a carácter ou palavra a palavra.</p><p>Foi desenvolvido por Tomas Mikolov, et al. no Google em 2013 como uma resposta para tornar o treinamento de embeddings baseados em redes neurais mais eficiente.</p><h3>A moda antiga</h3><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FxsF1FSDbjguis%2Ftwitter%2Fiframe&amp;url=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2FxsF1FSDbjguis%2Fgiphy.mp4&amp;image=https%3A%2F%2Fi.giphy.com%2Fmedia%2FxsF1FSDbjguis%2Fgiphy.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="227" frameborder="0" scrolling="no"><a href="https://medium.com/media/4a5b932533eacd0544303a205c614d93/href">https://medium.com/media/4a5b932533eacd0544303a205c614d93/href</a></iframe><p>Antes da grande explosão de Deep Learning, e o interesse por esta tecnologia, o pré-processamento era realizado de uma forma um pouco diferente.</p><p>Para nosso cérebro, é extremamente fácil o entendimento de uma palavra em um contexto, porém para o computador, é muito mais complicado. Este não compreende uma frase em si carácter a carácter, mas sim bytes (ou para ser ainda mais técnico ainda, o computador lida com passagem ou não de corrente elétrica por seus circuitos).</p><p>Por muito tempo a técnica utilizada para expressar palavras em um formato que o computador pudesse entender, foi utilizar uma matriz de co-ocorrência. Desta forma, cada palavra alvo presente no texto ou frase, era representado no formato binário; onde 0 representa que a palavra atual no vetor não é a palavra alvo, e 1 indica que a posição contém a palavra alvo.</p><p>Vamos visualizar o exemplo a baixo de matrix de co-ocorrência, para compreender o conceito:</p><ul><li>Texto analisado: “O cachorro corre atrás do gato. O gato corre atrás do rato.”</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/724/1*mySVkCnVbu_LK9f642K_8g.png" /></figure><p>Para cada palavra alvo, foi gerado um vetor contendo as posições onde a palavra se encontra no texto. Porém é fácil perceber que não conseguimos extrair grande conhecimento desses vetores de palavras, pois o mesmo são vetores horizontais (também conhecidos como one-hot-vectors). <br>Está foi uma grande sacada dos pesquisadores, porém conseguimos apenas extrair a frequência da palavra no texto, e se a palavra está contida no texto ou não, mas não conseguimos obter praticamente nenhum significado semântico.</p><p>Mesmo sendo considerada uma técnica ultrapassada, muitos feitos foram obtidos utilizando matriz de co-ocorrência, como por exemplo a análise de sentimento de textos, utilizando <em>bag of words</em> e aplicando o algoritmo de Nayve Bayes para realizar inferências propabilísticas.</p><h3>A mágica do Word Embedding gerado por redes neurais</h3><p>Com Word Embedding, conseguimos aprender o mapa de características das palavras, através de seus valores numéricos, que são passados ao modelo de treinamento.</p><p>Aqui não foi utilizado o vetor one-hot-encoded, mas sim um mapa de vetores multidimensional, que é uma forma algébrica de representar o texto através de coordenadas, onde cada vetor irá representar uma palavra/sentença; desta forma conseguimos utilizar a matemática a nosso favor, para efetuarmos cálculos, tais como a distância entre cada vetor, e diversas outras operações utilizando as propriedades dos vetores.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/720/1*b06OA4v3x3yhQiFNNzbzow.png" /></figure><p>Agora, a grande sacada foi a seguinte: ao invés de passar apenas informações ao modelo da frequência de cada palavra no texto, foi fornecido muito mais informações que o modelo poderá explorar para aumentar seu “aprendizado” sobre o conjunto de texto.</p><p>Agora, com ou em posse de todas as palavras mapeadas como vetores não lineares de múltiplas dimensões, podemos por exemplo, verificar a distância entre cada vetor.</p><p>Na imagem abaixo, visualizamos um exemplo gerado, utilizando Word2Vec.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DZq97iVDfEeixcmQleUvqA.png" /></figure><p>Podemos notar que diversos vetores foram agrupados, o que indica uma certa proximidade linguística entre as palavras. Por exemplo, a palavra is está mais próxima das palavras the , word2vec e yet do que das palavras first e more.</p><p>Outro exemplo seria, que a diferença entre os vetores and e first resultaria em algum vetor do agrupamento entre one , second ,another e final .</p><p>and — first = one|second|another|final</p><h3>Arquitetura do Word2Vec</h3><p>O word2vec utiliza dois modelos de rede neurais em sua arquitetura, os quais possuem uma camada de entrada, uma camada oculta e uma camada de saída .</p><h4>CBOW</h4><p>Este modelo é utilizado para descobrir a palavra central de uma sentença, baseado nas palavras que a cercam. Para representação, utilizaremos a seguinte notação:</p><p>([palavras de contexto], palavra alvo)</p><p>Para este exemplo, utilizaremos uma janela de contexto de tamanho 2, o que significa que “olharemos” apenas para uma palavra anterior e outra após a palavra alvo.</p><p>Então vejamos como a frase O cachorro correu atrás do gato pode ser representada:</p><ol><li>([O, correu], cachorro)</li><li>([cachorro, atrás], correu)</li><li>([correu, do], atrás)</li><li>([atrás, gato], do)</li></ol><p>Com estes dados, pretendemos “ensinar” ao modelo a predizer uma palavra alvo, baseada em palavras de contexto.</p><p>O modelo CBOW esta representado na imagem abaixo, onde a camada de entrada receberá os dados pré-processados, como acima, e em sua saída terá uma palavra que representa a maior probabilidade para a palavra alvo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/328/1*bkrBASpteKfCaxZDEEeN6g.png" /><figcaption>Fonte: <a href="https://arxiv.org/pdf/1301.3781.pdf">https://arxiv.org/pdf/1301.3781.pdf</a> Mikolov el al.</figcaption></figure><h4>SKIP-GRAM</h4><p>Este é o segundo modelo utilizado no Word2Vec, porém aqui ao invés de tentarmos descobrir a palavra central, faremos o processo inverso; da palavra central, tentaremos descobrir as palavras de contexto.</p><p>Utilizaremos a mesma frase O cachorro correu atrás do gato , e a notação (palavra central, [palavras de contexto] .</p><ol><li>(cachorro, [O, correu])</li><li>(correu, [cachorro, atrás])</li><li>(atrás, [correu, do])</li><li>(do, [atrás, gato])</li></ol><p>Abaixo visualizamos a arquitetura do modelo Skip-Gram, onde na camada de entrada, temos apenas a palavra alvo, e em sua saída temos diferentes probabilidades, cada uma contendo palavras de contexto possíveis.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/338/1*SiAMnzq7twezLitaFOwRlw.png" /><figcaption>Fonte: <a href="https://arxiv.org/pdf/1301.3781.pdf">https://arxiv.org/pdf/1301.3781.pdf</a> Mikolov el al.</figcaption></figure><h3>Conclusão</h3><p>Neste artigo, vimos superficialmente o porque a utilização de word embeddings podem agregar mais valor que um algoritmo one hot encoding , e também visualizamos como a arquitetura do Word2Vec é formada.</p><p>Posteriormente falaremos mais sobre o Word2Vec, e como este pode ser utilizado em redes neurais recorrentes para algumas tarefas.</p><h3>Referências</h3><ul><li><a href="https://www.tensorflow.org/tutorials/representation/word2vec">https://www.tensorflow.org/tutorials/representation/word2vec</a></li><li><a href="https://arxiv.org/pdf/1301.3781.pdf">https://arxiv.org/pdf/1301.3781.pdf</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d0813acfc8ab" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Criando seu sumarizador automático de textos — Part II]]></title>
            <link>https://medium.com/@everton.tomalok/criando-seu-sumarizador-autom%C3%A1tico-de-textos-part-ii-75b3e2119f7e?source=rss-ff23e86ae43b------2</link>
            <guid isPermaLink="false">https://medium.com/p/75b3e2119f7e</guid>
            <category><![CDATA[text-mining]]></category>
            <category><![CDATA[naturallanguageprocessing]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[nltk]]></category>
            <dc:creator><![CDATA[Everton Tomalok]]></dc:creator>
            <pubDate>Mon, 03 Dec 2018 14:01:02 GMT</pubDate>
            <atom:updated>2018-12-03T14:01:02.347Z</atom:updated>
            <content:encoded><![CDATA[<h3>Criando seu sumarizador automático de textos — Part II</h3><h4>Neste artigo, vamos criar de fato nosso sumarizador de textos, utilizando as técnicas abordadas na parte I (<a href="https://medium.com/@everton.tomalok/criando-seu-sumarizador-autom%C3%A1tico-de-textos-part-i-390744715744">https://medium.com/@everton.tomalok/criando-seu-sumarizador-automático-de-textos-part-i-390744715744</a>). Se ainda não leu, corre lá e dê uma olhada :P</h4><h3>Conhecendo nosso texto base</h3><p>Vamos utilizar o texto abaixo, extraído do <strong>g1.com</strong>, como base para criar nosso sumarizador:</p><blockquote>Os governos de China e Argentina ampliaram neste domingo (2), em Buenos Aires, a sua associação estratégica com a assinatura de 30 acordos de comércio e investimentos, em uma cerimônia liderada pelos presidentes Xi Jinping e Mauricio Macri. <strong>&lt;SENTENÇA 1&gt;</strong></blockquote><blockquote>“Fortalecemos a cooperação em matéria econômica, agrícola, de infraestrutura e financeira, entre outros campos. O objetivo é promover a longa amizade entre os dois povos”, disse Xi em um evento na residência presidencial argentina em Olivos, na periferia norte. <strong>&lt;SENTENÇA 2&gt;</strong></blockquote><blockquote>Além disso, Macri disse que a assinatura de uma declaração conjunta demonstra “o importante consenso alcançado em termos de desenvolvimento em longo prazo. Foi uma reunião muito produtiva”, detalhou. <strong>&lt;SENTENÇA 3&gt;</strong></blockquote><blockquote>Xi foi o único presidente estrangeiro a concluir uma visita de Estado ao país sul-americano, enquanto era realizada a cúpula do G20, que terminou neste sábado (dia 1º). <strong>&lt;SENTENÇA 4&gt;</strong></blockquote><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FcRH5deQTgTMR2%2Ftwitter%2Fiframe&amp;display_name=Giphy&amp;url=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2FcRH5deQTgTMR2%2Fgiphy.mp4&amp;image=https%3A%2F%2Fi.giphy.com%2Fmedia%2FcRH5deQTgTMR2%2Fgiphy.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="326" frameborder="0" scrolling="no"><a href="https://medium.com/media/5a07eff79b039a9c2f85f725e8dd86c4/href">https://medium.com/media/5a07eff79b039a9c2f85f725e8dd86c4/href</a></iframe><h3>Criando nosso tokenizer</h3><p>Poderíamos utilizar um tokenizer genérico (processo de obter todas as frases do texto), de qualquer framework de NLP, porém, todos eles são limitados para a língua portuguesa. Por exemplo, palavras compostas como “terça-feira”, não são reconhecidas, e são separadas. Também queremos manter as aspas duplas e simples (“ e ‘), pois, normalmente para textos, quando o autor abre e fecha aspas, ele irá fazer alguma citação importante.</p><p>Utilizaremos o módulo <strong>re</strong> do python, para criarmos as 3 regras de agrupamento de nosso tokenizer, para recuperarmos apenas o que nos interessa, e analisar com base nisto.</p><p>Falei sobre regex, em 2 artigos, e sobre tokenizador, neste artigo(<a href="https://medium.com/@everton.tomalok/usando-regex-a-seu-favor-part-ii-12ef89066217">https://medium.com/@everton.tomalok/usando-regex-a-seu-favor-part-ii-12ef89066217</a>).</p><p><em>Primeira regra, recuperando palavras compostas (ex.: segunda-feira):</em></p><pre>&gt;&gt; <strong>import</strong> re</pre><pre># padrão: palavra-palavra</pre><pre># Legenda: <strong>\w+</strong> -&gt; representa palavras   <strong>\-+</strong>: representa o traço &#39;-&#39;<br>&gt;&gt; palavra_composta = r&#39;\w+\-+\w+&#39;</pre><p><em>Segunda regra (palavras):</em></p><pre>&gt;&gt; <strong>import</strong> re</pre><pre># padrão: palavra</pre><pre># Legenda: <strong>\w+</strong> -&gt; representa palavras<br>&gt;&gt; palavra = r&#39;\w+&#39;</pre><p><em>Terceira regra, recuperando aspas duplas e simples (‘ “):</em></p><pre>&gt;&gt; <strong>import</strong> re</pre><pre># padrão: &#39; ou &quot;</pre><pre># Legenda: <strong>[&#39;&quot;]{1}</strong> -&gt; representa o alfabeto de aspas, onde cada ocorrência é recuperada<br>&gt;&gt; palavra = r&#39;[&#39;&quot;]{1}&#39;</pre><p>Juntando todos as regras, usando o <strong>PIPE</strong> “|”, que representa <em>‘ou’</em> em linguagem regex:</p><pre>&gt;&gt; import re</pre><pre>&gt;&gt; PATTERN = r&quot;&quot;&quot;\w+\-+\w+<strong>|</strong>\w+<strong>|</strong>[&#39;&quot;]{1}&quot;&quot;&quot;</pre><pre># criando a função de tokenizar</pre><pre>&gt;&gt; <strong>def</strong> meu_tokenizer(input_string):<br>        <strong>return</strong> re.findall(PATTERN, input_string)</pre><h3>Contando quantas vezes cada token aparece no texto (Gerando um dicionário token:peso)</h3><p>Para esta tarefa, usaremo o método embutido do python, pertencente ao módulo <strong>collections</strong> do python, chamado de <strong>Counter</strong>, e dessa forma conseguiremos, visualizar quais palavras apareceram mais em nosso texto.</p><p>Nossa função ficará assim:</p><pre>&gt;&gt; <strong>from</strong> collections <strong>import</strong> Counter, OrderedDict</pre><pre>&gt;&gt; <strong>def</strong> contador(input_tokens):<br>       <strong>return</strong> Counter(input_tokens)</pre><p>O Counter, irá retornar um dicionário com a contagem de todos os tokens, e quantas vezes os mesmos apareceram no texto:</p><pre>Counter({&#39;&quot;&#39;: 4,<br>         &#39;1º&#39;: 1,<br>         &#39;2&#39;: 1,<br>         &#39;30&#39;: 1,<br>         &#39;a&#39;: 7,<br>         &#39;acordos&#39;: 1,<br>         &#39;agrícola&#39;: 1,<br>         &#39;aires&#39;: 1,<br>         &#39;alcançado&#39;: 1,<br>         &#39;além&#39;: 1,<br>         &#39;americano&#39;: 1,<br>         &#39;amizade&#39;: 1,<br>         &#39;ampliaram&#39;: 1,<br>         &#39;ao&#39;: 1,<br>         &#39;argentina&#39;: 2,<br>         &#39;assinatura&#39;: 2,<br>         &#39;associação&#39;: 1,<br>         &#39;buenos&#39;: 1,<br>         &#39;campos&#39;: 1,<br>         &#39;cerimônia&#39;: 1,<br>         &#39;china&#39;: 1,<br>         &#39;com&#39;: 1,<br>         &#39;comércio&#39;: 1,<br>         &#39;concluir&#39;: 1,<br>         &#39;conjunta&#39;: 1,<br>         &#39;consenso&#39;: 1,<br>         &#39;cooperação&#39;: 1,<br>         &#39;cúpula&#39;: 1,<br>         &#39;de&#39;: 7,<br>         &#39;declaração&#39;: 1,<br>         ...<br>})</pre><p>Para facilitar a visualização, utilizei a função abaixo, que retorna os dados do Counter ordenado, mas apenas para visualização:</p><pre><strong>from</strong> collections <strong>import</strong> Counter, OrderedDict</pre><pre><strong>def</strong> contador_ordenado(input_tokens):<br>    <br>    tok = OrderedDict(Counter(input_tokens))<br>    <br>    return OrderedDict(sorted(tok.items(), key=<strong>lambda</strong> x: x[1], reverse=<strong>True</strong>))</pre><p>Utilizando essa função acima, obtivemos de nosso texto que as palavras que mais aparecem, são <strong>artigos, preposições </strong>e/ou <strong>palavras que não oferecem tanta relevância a análise do conjunto</strong>. Como nosso texto de análise é pequeno, <strong>não</strong> iremos retirar, mas em 95% das atividades em NLP, artigos e preposições, devem ser retiradas.</p><pre>Counter([(&#39;<strong>de</strong>&#39;, 7),<br>         (&#39;<strong>em</strong>&#39;, 7),<br>         (&#39;<strong>a</strong>&#39;, 7),<br>         (&#39;<strong>e</strong>&#39;, 4),<br>         (&#39;<strong>uma</strong>&#39;, 4),<br>         (&#39;&quot;&#39;, 4),<br>         (&#39;xi&#39;, 3),<br>         (&#39;o&#39;, 3),<br>         (&#39;argentina&#39;, 2),<br>         (&#39;neste&#39;, 2),<br>         (&#39;assinatura&#39;, 2),<br>         ...<br>         ])</pre><h3><strong>Calculando o peso de cada sentença:</strong></h3><p>Agora o que temos que fazer, é passar pela <strong>SENTENÇA 1 </strong>até<strong> </strong>a<strong> SENTENÇA 4, </strong>calculando o peso de cada uma, com base no peso de cada token.</p><p>Note que os tokens<em> ‘de’</em>, <em>‘em’</em> e <em>‘a’</em>, tem o peso de 7 cada um. Em caso de uma aplicação real, as mesmas devem ser removidas do texto, para não enviesar e/ou preujudicar seus modelos/aplicações.</p><p><strong>Exemplo</strong>: Suponhamos que teríamos a sentença:<em> “A Argentina e uma assinatura.”</em></p><p>Teríamos nessa sentença, um peso de 18:</p><pre><em>1</em>   +    <strong>7</strong>  +    <em>4</em>   +  <strong>4</strong>    +     <em>2          =       18</em></pre><pre><em>A</em>    <strong>Argentina</strong>   <em>e</em>     <strong>uma</strong>      <em>assinatura</em>  </pre><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2F3o6Zt16nOfEI0C9sPu%2Ftwitter%2Fiframe&amp;url=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2F3o6Zt16nOfEI0C9sPu%2Fgiphy.mp4&amp;image=https%3A%2F%2Fi.giphy.com%2Fmedia%2F3o6Zt16nOfEI0C9sPu%2Fgiphy.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="328" frameborder="0" scrolling="no"><a href="https://medium.com/media/234f693061c7a483935989bea4832478/href">https://medium.com/media/234f693061c7a483935989bea4832478/href</a></iframe><h3><strong>Voltando ao nosso texto exemplo do começo do artigo:</strong></h3><p>Aplicando esse exemplo a nosso texto, teríamos:</p><p>Sentença 1 = peso <strong>99</strong></p><p>Sentença 2 = peso <strong>97</strong></p><p>Sentença 3 = peso <strong>80</strong></p><p>Sentença 4 = peso <strong>57</strong></p><p>Com base em nosso dicionário de <em>token:peso</em>, visualizamos que após a soma de pesos, a sentença 1 (baseada em nossas regras de criação), seria nossa sentença que mais representa o texto em si, sem perder o contexto, que o autor utilizou. Para uma aplicação, pode ser interessante retornar as duas sentenças com maiores pontuações, para ter um entendimento melhor do assunto. Nosso texto agora está sumarizado, com apenas 2 de 4 sentenças (a primeira e a segunda).</p><blockquote>Os governos de China e Argentina ampliaram neste domingo (2), em Buenos Aires, a sua associação estratégica com a assinatura de 30 acordos de comércio e investimentos, em uma cerimônia liderada pelos presidentes Xi Jinping e Mauricio Macri. <strong>&lt;SENTENÇA 1 peso 99&gt;</strong></blockquote><blockquote>“Fortalecemos a cooperação em matéria econômica, agrícola, de infraestrutura e financeira, entre outros campos. O objetivo é promover a longa amizade entre os dois povos”, disse Xi em um evento na residência presidencial argentina em Olivos, na periferia norte. <strong>&lt;SENTENÇA 2 peso 97&gt;</strong></blockquote><p>Sabendo o conceito dessa técnica, o limite de utilização e aperfeiçoamento, é a lua!</p><p>Falei apenas por cima, bem resumidamente sobre o tema, apenas para atiçar ainda mais a curiosidade de vocês, sobre processamento de linguagem natural. Quem tiver dúvidas, sugestões, ou querer bater um papo, estou a disposição.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FmkwIewjLgCyHFd4VQ4%2Ftwitter%2Fiframe&amp;url=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2FmkwIewjLgCyHFd4VQ4%2Fgiphy.mp4&amp;image=https%3A%2F%2Fi.giphy.com%2Fmedia%2FmkwIewjLgCyHFd4VQ4%2Fgiphy-downsized-large.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="515" frameborder="0" scrolling="no"><a href="https://medium.com/media/c2b744bcda797d5e9e9742f197219530/href">https://medium.com/media/c2b744bcda797d5e9e9742f197219530/href</a></iframe><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=75b3e2119f7e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Criando seu sumarizador automático de textos — Part I]]></title>
            <link>https://medium.com/@everton.tomalok/criando-seu-sumarizador-autom%C3%A1tico-de-textos-part-i-390744715744?source=rss-ff23e86ae43b------2</link>
            <guid isPermaLink="false">https://medium.com/p/390744715744</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[pnl]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Everton Tomalok]]></dc:creator>
            <pubDate>Mon, 19 Nov 2018 17:21:25 GMT</pubDate>
            <atom:updated>2018-11-19T17:32:58.712Z</atom:updated>
            <content:encoded><![CDATA[<h3>Criando seu sumarizador automático de textos — Part I</h3><h4>Neste artigo, iremos ver uma técnica de Programação Natural de Linguagens (PNL), simples e eficiente para gerarmos um resumo automático de textos. Existem outros métodos de extração, como á baseada em grafos, ou utilizando deep learning; porém essa técnica além de simples, também mantém o resumo fiel ao que o autor escreveu, sem perdermos o contexto.</h4><p>Antes de começarmos “á pôr a mão na massa”, vamos entender alguns conceitos básicos de PNL, para transformarmos um documento (texto bruto), em um formato amigável, que nos permita realizar inferências.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FxUOxeTwAzIULo8oTM4%2Ftwitter%2Fiframe&amp;display_name=Giphy&amp;url=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2FxUOxeTwAzIULo8oTM4%2Fgiphy.gif&amp;image=https%3A%2F%2Fi.giphy.com%2Fmedia%2FxUOxeTwAzIULo8oTM4%2Fgiphy.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="435" frameborder="0" scrolling="no"><a href="https://medium.com/media/9726e02d4e01b5d2ca4d2f5f57660288/href">https://medium.com/media/9726e02d4e01b5d2ca4d2f5f57660288/href</a></iframe><h3>Ferramentas necessárias</h3><p>Para trabalharmos com PNL, iremos utilizar o NLTK e python. Para instalar este módulo é bem simples:</p><pre>pip install nltk</pre><p>Precisaremos de duas extensões, que o NLTK oferece a parte. Então temos de fazer o download de ambos. Para isso, abra um shell, execute o python, e digite:</p><pre>&gt;&gt; python</pre><pre>&gt;&gt;&gt; import nltk<br>&gt;&gt;&gt; ntlk.download(&#39;stopwords&#39;)<br>&gt;&gt;&gt; nltk.download(&#39;punkt&#39;)</pre><p>Você deve receber duas mensagens de ‘True’, informando que os pacotes foram instalados com sucesso.</p><h3>Quebrando um ‘texto bruto’ em sentenças</h3><p>Iremos considerar o texto a seguir, como nosso documento a ser processado:</p><blockquote><em>“Em Heartlands, diretamente ao leste de Valentine e ao nordeste de Citadel Rock. A árvore fica entre o trilho do trem e a estrada, não muito longe da ponte que passa por cima do trilho.”</em></blockquote><p>Para que possamos encontrar quais são os trechos do texto mais relevantes, precisamos primeiro,<em> “quebrar o texto”</em>, que pode conter diversar linhas, e diversos parágrafos, para uma lista, que irá conter todas as ocorrências de frases.</p><p>Nesse nosso documento exemplo, teríamos 2 sentenças<em>:</em></p><blockquote><em>“Em Heartlands, diretamente ao leste de Valentine e ao nordeste de Citadel Rock.”</em></blockquote><blockquote><em>“A árvore fica entre o trilho do trem e a estrada, não muito longe da ponte que passa por cima do trilho.”</em></blockquote><p>O NLTK, já nos oferece o método <strong>sent_tokenize</strong> para criarmos a lista de sentenças. Veja abaixo, como realizar essa tarefa:</p><pre>&gt;&gt; <strong>from</strong> nltk <strong>import</strong> sent_tokenize</pre><pre>&gt;&gt; texto = &quot;Em Heartlands, diretamente ao leste de Valentine e ao nordeste de Citadel Rock. A árvore fica entre o trilho do trem e a estrada, não muito longe da ponte que passa por cima do trilho.&quot;</pre><pre>&gt;&gt; sents = <strong>sent_tokenize</strong>(texto)</pre><pre>&gt;&gt; sents</pre><pre>&gt;&gt; [&#39;Em Heartlands, diretamente ao leste de Valentine e ao nordeste de Citadel Rock.&#39;,<br> &#39;A árvore fica entre o trilho do trem e a estrada, não muito longe da ponte que passa por cima do trilho.&#39;]</pre><p>Exatamente o que esperávamos, uma lista com as 2 sentenças! Agora podemos avançar para a próxima etapa, onde vamos quebrar as sentenças, em palavras, para contabilizarmos quantas vezes cada palavra aparece no documento.</p><h3>“Quebrando sentenças” em palavras</h3><p>Essa etapa, também é conhecida como tokenização, que é exatamente isto, extrair palavras de um documento, e a pontuação também (exclamação, ponto final, etc). O NLTK também nos oferece o módulo <strong>word_tokenize,</strong> para realizarmos essa tarefa.</p><pre>&gt;&gt; <strong>from</strong> nltk <strong>import</strong> word_tokenize</pre><pre>&gt;&gt; texto = &quot;Em Heartlands, diretamente ao leste de Valentine e ao nordeste de Citadel Rock. A árvore fica entre o trilho do trem e a estrada, não muito longe da ponte que passa por cima do trilho.&quot;</pre><pre>&gt;&gt; words = <strong>words_tokenize</strong>(texto)</pre><pre>&gt;&gt; [&#39;Em&#39;, &#39;Heartlands&#39;, &#39;,&#39;, &#39;diretamente&#39;, &#39;ao&#39;,<br> &#39;leste&#39;, &#39;de&#39;, &#39;Valentine&#39;, &#39;e&#39;, &#39;ao&#39;, &#39;nordeste&#39;,<br> &#39;de&#39;, &#39;Citadel&#39;, &#39;Rock&#39;, &#39;.&#39;, &#39;A&#39;, &#39;árvore&#39;, &#39;fica&#39;,<br> &#39;entre&#39;, &#39;o&#39;, &#39;trilho&#39;, &#39;do&#39;, &#39;trem&#39;, &#39;e&#39;, &#39;a&#39;,<br> &#39;estrada&#39;, &#39;,&#39;, &#39;não&#39;, &#39;muito&#39;, &#39;longe&#39;, &#39;da&#39;, &#39;ponte&#39;,<br> &#39;que&#39;, &#39;passa&#39;, &#39;por&#39;, &#39;cima&#39;, &#39;do&#39;, &#39;trilho&#39;, &#39;.&#39;]</pre><p>Muito bom, agora temos todas as palavras do documento, devidamente separada. Mas temos 1 problema:</p><ul><li>Estão inclusos em nossa lista de tokens, pontuações (<em>vírgula</em> e <em>ponto final</em>), além de preposições como <em>“de” </em>e <em>“da”</em>, e outras palavras como <em>“e”</em>, <em>“o”</em>, que não irão gerar muito valor a nosso texto, além de enviesar nosso <em>ranking/frequência</em> de palavras(nossa próxima tarefa). Precisamos remover esses tokens de nossa lista.</li></ul><p>O NLTK oferece uma lista com todas palavras, previamente definidas pela comunidade como palavras que não são tão relevantes ao documento, que englobam as que citei acima, além de diversas outras. O nome dado a essas palavras é ‘stopwords’.</p><p>Abaixo importo as stopwords do NLTK, e mostro as 5 primeiras:</p><pre>&gt;&gt; <strong>from</strong> nltk.corpus <strong>import</strong> stopwords</pre><pre># precisamos definir o idioma que queremos recuperar as stopswords<br>&gt;&gt; stops = stopwords.words(&#39;portuguese&#39;)<br>&gt;&gt; stops[:5]</pre><pre>&gt;&gt; [&#39;de&#39;, &#39;a&#39;, &#39;o&#39;, &#39;que&#39;, &#39;e&#39;]</pre><p>Agora só precisamos adicionar as pontuações que desejamos que sejam excluídas, juntamente das stops words. Podemos importar essas pontuações, do módulo <strong>string</strong> do python:</p><pre>&gt;&gt; <strong>from</strong> string <strong>import</strong> punctuation</pre><pre># Transformando punctuation em uma lista, e inserindo na lista das stops_words<br>&gt;&gt; punctuation<br>&gt;&gt; &#39;!&quot;#$%&amp;\&#39;()*+,-./:;&lt;=&gt;?@[\\]^_`{|}~&#39;</pre><pre>&gt;&gt; punctuation = list(punctuation)<br>&gt;&gt; punctuation<br>&gt;&gt; [&#39;!&#39;, &#39;&quot;&#39;, &#39;#&#39;, &#39;$&#39;, &#39;%&#39;, &#39;&amp;&#39;, &quot;&#39;&quot;, &#39;(&#39;, &#39;)&#39;, &#39;*&#39;, &#39;+&#39;, &#39;,&#39;,<br> &#39;-&#39;, &#39;.&#39;, &#39;/&#39;, &#39;:&#39;, &#39;;&#39;, &#39;&lt;&#39;, &#39;=&#39;, &#39;&gt;&#39;, &#39;?&#39;, &#39;@&#39;, &#39;[&#39;, &#39;\\&#39;, &#39;]&#39;,<br> &#39;^&#39;, &#39;_&#39;, &#39;`&#39;, &#39;{&#39;, &#39;|&#39;, &#39;}&#39;, &#39;~&#39;]</pre><pre># Juntando as duas listas em uma só<br>&gt;&gt; stops.extend(punctuation)</pre><p>Agora vamos remover as stopwords e pontuação de nosso documento. Para essa tarefa, o python nos oferece um método builtin para ser realizado essa tarefa, o <a href="https://docs.python.org/3/library/functions.html#filter">filter()</a>:</p><pre># Este é o método menos comum, e menos legível<br># Filtramos todas as palavras, uma por uma... A que não for uma stop word ou uma pontuação, é retornada, e depois transformada em uma lista<br></pre><pre># Vamos sobrepor o valor antigo de words, para a nova lista sem stopwords e pontuações<br>&gt;&gt; words = list(filter(lambda word: word not in stops, words))</pre><pre>&gt;&gt; words<br>[&#39;Em&#39;, &#39;Heartlands&#39;, &#39;diretamente&#39;, &#39;leste&#39;, &#39;Valentine&#39;, &#39;nordeste&#39;, &#39;Citadel&#39;, &#39;Rock&#39;, &#39;árvore&#39;, &#39;fica&#39;, &#39;trilho&#39;, &#39;trem&#39;,<br> &#39;estrada&#39;, &#39;longe&#39;, &#39;ponte&#39;, &#39;passa&#39;, &#39;cima&#39;, &#39;trilho&#39;]</pre><p>A outra forma, muito mais utilizada e legível, é utilizando <a href="https://www.pythonforbeginners.com/basics/list-comprehensions-in-python">List Comprehension</a>:</p><pre>&gt;&gt; words = [word <strong>for</strong> word <strong>in</strong> words <strong>if</strong> word <strong>not in</strong> stops]<br>&gt;&gt; words<br>[&#39;Em&#39;, &#39;Heartlands&#39;, &#39;diretamente&#39;, &#39;leste&#39;, &#39;Valentine&#39;, &#39;nordeste&#39;, &#39;Citadel&#39;, &#39;Rock&#39;, &#39;árvore&#39;, &#39;fica&#39;, &#39;trilho&#39;, &#39;trem&#39;,<br> &#39;estrada&#39;, &#39;longe&#39;, &#39;ponte&#39;, &#39;passa&#39;, &#39;cima&#39;, &#39;trilho&#39;]</pre><h3>Gerando contagem da frequência das palavras</h3><p>Após gerarmos as sentenças, e as todas as palavras do documento (com excessão de pontuação e as stopwords), nós temos tudo preparado, para a última fase do sumarizador.</p><p>O que precisamos fazer agora, é contar a frequência em que cada palavra ocorre no documento. Por exemplo, o verbo ‘jogar’ aparece duas vezes no documento abaixo:</p><blockquote>“Eu gosto de <strong>jogar</strong> futebol. Mas é uma pena que não sei <strong>jogar</strong> direito.”</blockquote><p>Além do ‘<em>jogar</em>’, podemos calcular a frequência que todas as outras palavras ocorrem. Então teríamos:</p><ul><li>‘jogar’ ocorre 2 vezes</li><li>‘Eu’ ocorre 1 vez</li><li>‘gosto’ ocorre 1 vez</li><li>E assim por diante, para todas as outras frases</li></ul><p>Novamente, o NLTK (esses caras são fod4s ❤), já tem um método que faz esta contagem para nós, e esse método se chama <strong>FreqDist</strong>!!!</p><p>Esse método, espera que seja passado uma lista de tokens(palavras), o que não será um problema para nós, já que geramos esta lista acima, e salvamos ela na variável <em>words, </em>onde efetuamos também as stopwords.</p><pre>&gt;&gt; <strong>from</strong> nltk.probability <strong>import</strong> FreqDist</pre><pre>&gt;&gt; freq = <strong>FreqDist</strong>(<em>words</em>)</pre><pre>&gt;&gt; FreqDist({&#39;Citadel&#39;: 1,<br>             &#39;Em&#39;: 1,<br>             &#39;Heartlands&#39;: 1,<br>             &#39;Rock&#39;: 1,<br>             &#39;Valentine&#39;: 1,<br>             &#39;cima&#39;: 1,<br>             &#39;diretamente&#39;: 1,<br>             &#39;estrada&#39;: 1,<br>             &#39;fica&#39;: 1,<br>             &#39;leste&#39;: 1,<br>             &#39;longe&#39;: 1,<br>             &#39;nordeste&#39;: 1,<br>             &#39;passa&#39;: 1,<br>             &#39;ponte&#39;: 1,<br>             &#39;trem&#39;: 1,<br>             &#39;trilho&#39;: 2,<br>             &#39;árvore&#39;: 1})</pre><p>O FreqDist irá nos retornar um dicionário, nos informando um número inteiro, de quantas vezes cada palavra na lista passada, foram detectadas.</p><p>Por enquanto, eu paro por aqui. Acredito que já foi uma descarga enorme de conhecimento em poucos minutos; e se continuasse escrevendo neste artigo, iria estender demais o assunto.</p><p>Mas o próximo artigo, eu irei trazer detalhadamente, como utilizar os conceitos acima, para detectar quais as sentenças mais relevantes dentro do documento, e gerar um texto resumo, utilizando as sentenças mais relevantes no documento.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FjUwpNzg9IcyrK%2Ftwitter%2Fiframe&amp;display_name=Giphy&amp;url=https%3A%2F%2Fgiphy.com%2Fgifs%2Fthe-simpsons-scared-homer-simpson-jUwpNzg9IcyrK&amp;image=https%3A%2F%2Fmedia3.giphy.com%2Fmedia%2FjUwpNzg9IcyrK%2Fgiphy.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="326" frameborder="0" scrolling="no"><a href="https://medium.com/media/6d0f7af0873fc6458af6f30f0b990f3d/href">https://medium.com/media/6d0f7af0873fc6458af6f30f0b990f3d/href</a></iframe><p>Ps.: Eu tenho um script, que efetua o crawler de notícias em diversas fontes, separadas por grupos. Porém, como não tenho muito tempo disponível durante o dia, implementei um sumarizador de texto, que efetua o resumo de cada notícia, e as que eu acho que eu acho interessante, eu sigo ao link, e leio a notícia completa.</p><p>O script esta disponível neste <a href="https://github.com/EvertonTomalok/reader_rss">link</a> (<a href="https://github.com/EvertonTomalok/reader_rss">https://github.com/EvertonTomalok/reader_rss</a>)</p><p>A função de sumarizar encontra-se no diretório ‘controles’, arquivo __init__.py</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FQNnKbtl03OGsM%2Ftwitter%2Fiframe&amp;url=https%3A%2F%2Fgiphy.com%2Fgifs%2Fbath-bathroom-al-pacino-QNnKbtl03OGsM&amp;image=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2FQNnKbtl03OGsM%2Fgiphy.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="183" frameborder="0" scrolling="no"><a href="https://medium.com/media/b4699c6a1a56ff5163bf0e8413cbd3c8/href">https://medium.com/media/b4699c6a1a56ff5163bf0e8413cbd3c8/href</a></iframe><p>Até breve, e um abraço!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=390744715744" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Calculando similaridades entre strings]]></title>
            <link>https://medium.com/@everton.tomalok/calculando-similaridades-entre-strings-ebbea21d5b7a?source=rss-ff23e86ae43b------2</link>
            <guid isPermaLink="false">https://medium.com/p/ebbea21d5b7a</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-mining]]></category>
            <category><![CDATA[distância-de-edição]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[levenshtein-distance]]></category>
            <dc:creator><![CDATA[Everton Tomalok]]></dc:creator>
            <pubDate>Sun, 04 Nov 2018 21:32:00 GMT</pubDate>
            <atom:updated>2018-11-13T10:04:10.212Z</atom:updated>
            <content:encoded><![CDATA[<h3>Calculando similaridade entre strings</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*A-pfXQnyl9h-YvWHF7RaaA.gif" /></figure><p>Com crescimento exponêncial de textos disponíveis na internet e outras fontes, a análise de textos esta cada vez mais em alta no mercado.</p><p>Quando você está navegando pela internet, ou escrevendo em seu celular, provavelmente utiliza diversas técnicas ligadas ao processamento de texto, e nunca se deu conta. O google usa e abusa de machine learning, para realizar buscas em seu imenso banco de dados, e trazer o resultado mais próximo do que você pesquisou.</p><p>Outro exemplo, muito comum de utilização destas técnicas, é o corretor ortográfico em seu celular, que enquanto você digita uma mensagem para alguém no what’s up, por exemplo, corrige frases digitadas incorretamente. Outros exemplo onde isto ocorre, é no Word, ou em qualquer outro lugar que disponha desta tecnologia de correção, onde você digita um texto, e caso tenha alguma palavra, ou sentença escrita errada, o aplicativo gera um aviso de possível correção.</p><p>Existem diversas formas de se corrigir strings, e/ou <em>busca exata</em> de strings. Para o segundo caso, a busca exata de strings, eu já mencionei anteriormente, uma ferramenta muito utilizada para extração de frases em uma string. Abaixo, seguem os links para visualizar a parte 1 e a parte 2 do artigo:</p><ul><li><a href="https://medium.com/@everton.tomalok/usando-regex-a-seu-favor-3289599d58d">Usando Regex a seu Favor — Part 1</a></li><li><a href="https://medium.com/@everton.tomalok/usando-regex-a-seu-favor-part-ii-12ef89066217">Usando Regex a seu Favor — Part II</a></li></ul><p>Neste artigo, nosso foco será outro. Iremos ver uma técnica amplamente utilizada, para comparar a similaridade entre strings.</p><p>O método de nome “cálculo de distância de Levenshtein”, também conhecida como <em>cálculo de edição, </em>foi pensado pelo cientista matemático russo Vladimir Levenshtein, o qual calcula o número mínimo de inserções, remoções e substituições que devem ser realizadas para fazer com que uma cadeia de caracteres seja transformada em outra.</p><p>Vamos visualizar com exemplos esta definição:</p><p>Legenda: <strong>I</strong>=inserção, <strong>S</strong>=substituição</p><ul><li>Para transformarmos a string <em>gato</em> em <em>grato, </em>nós teremos o custo de 1, pois foi necessário a inserção de 1 carácter.</li></ul><pre>   gato<br>  g<strong><em>r</em></strong>ato<br>   <strong>I</strong></pre><ul><li>Para transformamos a string <em>amor</em> em <em>calor</em>, teríamos um custo de 2, pois teríamos uma inserção e uma substituição. Temos a inserção do carácter<em> ‘c’ </em>e a substituição do carácter<em> ‘m’</em> pelo <em>‘l’</em></li></ul><pre>   a<strong><em>m</em></strong>or<br>  <strong><em>c</em></strong>a<strong><em>l</em></strong>or<br>  <strong>I S</strong></pre><p>A intuição desse método é simples. Vamos agora entender o cálculo matemático por trás deste mecanismo.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2F3o7aCWDyW0PJCsxHna%2Ftwitter%2Fiframe&amp;display_name=Giphy&amp;url=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2F3o7aCWDyW0PJCsxHna%2Fgiphy.gif&amp;image=https%3A%2F%2Fi.giphy.com%2Fmedia%2F3o7aCWDyW0PJCsxHna%2Fgiphy.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="244" frameborder="0" scrolling="no"><a href="https://medium.com/media/32e8888e405e09cfb308d2755d0514b3/href">https://medium.com/media/32e8888e405e09cfb308d2755d0514b3/href</a></iframe><h3><strong>Usando programação dinâmica</strong></h3><p><strong>Programação dinâmica</strong> é um método para a construção de <a href="https://pt.wikipedia.org/wiki/Algoritmo">algoritmos</a> para a resolução de problemas computacionais, em especial os de <a href="https://pt.wikipedia.org/wiki/Otimiza%C3%A7%C3%A3o_combinat%C3%B3ria">otimização combinatória</a>. Ela é aplicável a problemas nos quais a solução ótima pode ser computada a partir da solução ótima previamente calculada e memorizada — de forma a evitar recálculo — de outros subproblemas que, sobrepostos, compõem o problema original. (<a href="https://pt.wikipedia.org/wiki/Programa%C3%A7%C3%A3o_din%C3%A2mica">Definição do wikipedia</a>)</p><p>Através do uso da programação dinâmica, os dados são tabelados para evitar o recálculo das várias combinações possíveis. O algoritmo para calcular a distância de edição utilizando a técnica de programação dinâmica é O(mn), onde <strong>m</strong> corresponde ao tamanho da primeira string <strong>A</strong>, e<strong> n</strong> ao tamanho da segunda string <strong>B</strong>. O algoritmo está descrito abaixo.</p><pre>1: {inicialização} <br>2: m = tamanho de <strong>A</strong> <br>3: n = tamanho de <strong>B</strong> <br>4: para i ← 0 até m faça <br>5:    M(i, 0) ← i <br>6: fim para <br>7: para j ← 0 até n faça <br>8:    M(0, j) ← j <br>9: fim para <br>10: {calcula cada elemento levando em conta os resultados anteriores} <br>11: para i ← 1 até m faça <br>12:    para j ← 1 até n faça <br>13:       se A(i) = B(j) então <br>14:          C ← 0 <br>15:       senão <br>16:          C ← 1 <br>17:       fim se <br>18:       M(i, j) ← min (M(i − 1, j − 1) + C; M(i − 1, j) + 1; M(i, j − 1) + 1 )<br>19:   fim para <br>20: fim para <br>21: retornar M(m, n)</pre><p>O ponto chave do algoritmo está na linha 16, onde a recorrência foi definida, adicionando 1 ao valor da célula, caso seja necessário adicionar, remover ou substituir um carácter. A solução do problema se da através da utilização de resultados anteriores previamente calculados e memorizados. Esta é uma características presente em todos os problemas solúveis com programação dinâmica.</p><p>Traduzindo esse cálculo, nós iremos percorrer a matriz toda, linha por linha, percorrendo todas as células da linhas (coluna por coluna), efetuando as operações de deleção, substituição ou inserção, e iremos pegar o valor menor das 3 operações, e atribuir a célula corrente.</p><pre><strong>    </strong>g a t o<strong><br></strong><br>r<strong>   <em>1</em></strong> 2 3 4<br>a<strong>   </strong>1 <strong><em>1</em></strong> 2 3<br>t<strong>   </strong>1 2 <strong><em>1</em></strong> 2<br>o<strong>   </strong>1 2 3 <strong><em>1</em></strong></pre><p>A sequência de operações que se deve realizar para igualar as duas palavras pode ser obtida através da análise dos itens em negrito na matriz. Pode-se alterar o algoritmo para armazenar em uma segunda matriz, com as mesmas dimensões de M, um indicativo de qual item foi selecionado em cada execução da linha 16. Assim, se o item selecionado foi:</p><ul><li>M(i − 1, j − 1) e M(i − 1, j − 1) = M(i, j) então não fazer nada;</li><li>M(i − 1, j − 1) e M(i − 1, j) = M(i, j) então substituir A(i) por B(j);</li><li>M(i − 1, j) então remover A(i);</li><li>M(i, j − 1) então inserir B(j) depois de A(i).</li></ul><p>Então através do calculo recursivo, comprovamos que para transformarmos a string ‘<em>gato’</em> em ‘<em>rato’</em>, tivemos de realizar 1 substituição, ocorrida na posição M(1,1), onde substituímos o carácter <em>‘g’</em> por<em> ‘r’</em>.</p><h3><strong>Convertendo a fórmula para o Python</strong></h3><p>Abaixo esta descrito um código em Python, para efetuar este cálculo da distância entre as strings, onde o nome de nossa função é levenshtein, e devem ser passadas duas strings como parâmetros.</p><pre><strong>def</strong> levenshtein(s1, s2):</pre><pre>    # nas duas linhas abaixo asseguramos que 2 strings devem ser passadas por paramêtro<br>    <strong>assert</strong> <strong>isinstance</strong>(s1, str), &quot;s1 isn&#39;t a string&quot;<br>    <strong>assert</strong> <strong>isinstance</strong>(s2, str), &quot;s2 isn&#39;t a string&quot;</pre><pre>    <strong>if</strong> <strong>len</strong>(s1) <strong>&lt;</strong> len(s2):<br>        <strong>return</strong> levenshtein(s2, s1)<br><br>    <strong>if</strong> <strong>len</strong>(s2) <strong>==</strong> 0:<br>        <strong>return</strong> len(s1)<br><br>    previous_row = range(len(s2) + 1)</pre><pre>    &quot;&quot;&quot;Vamos calcular todas as linhas e colunas da matriz, para<br>    obtermos os valores mínimos de cada operação<br>    &quot;&quot;&quot;<br>    <strong>for</strong> i, c1 <strong>in</strong> enumerate(s1):<br>        current_row = [i + 1]<br>        <strong>for</strong> j, c2 <strong>in</strong> enumerate(s2):</pre><pre>            # Cálculo da inserção na posição <em>j + 1</em> mais custo de 1<br>            insertions = previous_row[j + 1] + 1</pre><pre>            # Cálculo da deleção na posição j mais custo de 1<br>            deletions = current_row[j] + 1</pre><pre>            # Cálculo da substituição na posição <em>j + 1</em> mais custo de 1 caso a substituição ocorra. <em>Caso não ocorra, o custo é 0</em><br>            substitutions = previous_row[j] + (c1 != c2)<br></pre><pre>        # Recuperamos o menor valor das 3 operações e salvamos no<br>        current_row <br>   <br>        current_row.append(min(insertions, deletions, substitutions))<br>        previous_row = current_row<br>    <br>    <strong>return</strong> previous_row[-1]</pre><p>Utilizando a função:</p><pre>&gt;&gt; <strong>levenshtein</strong>(&#39;gato&#39;, &#39;rato&#39;)<br>1</pre><p>No Python temos diversos módulos, para calcular a distância de edição, entre eles o python-levenshtein e o jellyfish. Este módulos são amplamente otimizados no custo de memória, e velocidade de cálculo. Por escolha, irei utilizar o jellyfish, que nos da suporte a diversas outras atividades, além do cálculo de edição, como por exemplo, a detecção fonética.</p><pre>pip install --user jellyfish</pre><p>Utilizando o método levenshtein_distance:</p><pre>&gt;&gt;&gt; import jellyfish as jf<br>&gt;&gt;&gt; jf.levenshtein_distance(&#39;gato&#39;, &#39;rato&#39;)<br>1</pre><pre># No exemplo abaixo, manteremos <em>4 caracteres sem a necessidade de alteração</em>(&#39;<em>ver</em>&#39; e o ultimo carácter &#39;<em>o</em>&#39;), e teremos de inserir 2 caracteres (<strong>in</strong>) e substituir 1 (<strong>ã</strong> por <strong>n</strong>), no total de <em>3 alterações</em><br>&gt;&gt; jf.levenshtein_distance(&#39;verão&#39;, &#39;inverno&#39;)<br>3</pre><p>Simples e prático!</p><p>Sabendo como funciona o cálculo de edição, podemos implementar um dicionário com palavras corretas, aonde nosso script recebera um input de palavras, para verificar se as mesmas se encontram em nosso dicionário, e caso não existisse, deveríamos calcular as respectivas distâncias, e julgarmos qual seria as alternativas mais adequada as palavras digitadas.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FxT9IgzUuC5Ss6ZnTEs%2Ftwitter%2Fiframe&amp;display_name=Giphy&amp;url=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2FxT9IgzUuC5Ss6ZnTEs%2Fgiphy.gif&amp;image=https%3A%2F%2Fi.giphy.com%2Fmedia%2FxT9IgzUuC5Ss6ZnTEs%2Fgiphy-downsized-large.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="292" frameborder="0" scrolling="no"><a href="https://medium.com/media/cbfd6d142eeb312cbd6e1da1ee989f37/href">https://medium.com/media/cbfd6d142eeb312cbd6e1da1ee989f37/href</a></iframe><p>Porém, deixarei para o próximo post a implementação deste algoritmo.</p><p>Nos vemos em breve.</p><p>Abraços!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ebbea21d5b7a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Usando Regex a seu Favor — Part II]]></title>
            <link>https://medium.com/@everton.tomalok/usando-regex-a-seu-favor-part-ii-12ef89066217?source=rss-ff23e86ae43b------2</link>
            <guid isPermaLink="false">https://medium.com/p/12ef89066217</guid>
            <category><![CDATA[naturallanguageprocessing]]></category>
            <category><![CDATA[regex]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-mining]]></category>
            <category><![CDATA[text-mining]]></category>
            <dc:creator><![CDATA[Everton Tomalok]]></dc:creator>
            <pubDate>Mon, 29 Oct 2018 15:01:02 GMT</pubDate>
            <atom:updated>2018-10-29T16:14:24.153Z</atom:updated>
            <content:encoded><![CDATA[<h3><a href="https://medium.com/p/3289599d58d?source=your_stories_page---------------------------">Usando Regex a seu Favor</a> — Part II</h3><h4>Após vermos <a href="https://medium.com/@everton.tomalok/usando-regex-a-seu-favor-3289599d58d">um artigo introdutório de Regex em Python</a>, vamos ao que interessa: As grandes façanhas que conseguimos fazer com essa ferramenta.</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/720/1*J7uozbOFdRZqKaM9rd8qSA.gif" /></figure><p>Antes de começarmos a ver suas utilidades avançadas, gostaria de introduzir mais algumas ferramentas de uma regex.</p><h3>Recuperando agrupamentos de padrões nomeados em uma string</h3><p>Podemos criar grupos de valores a serem extraídos, utilizando parenteses ().</p><pre>a<strong>(</strong>bc<strong>)</strong>          os parenteses criam um grupo para <strong>capturar valores bc               </strong></pre><pre>a<strong>(?P&lt;foo&gt;</strong>bc<strong>)</strong>   usando <strong>?P&lt;foo&gt;</strong> nós nomeamos nosso grupo de captura para <strong>foo</strong></pre><p>Por exemplo, podemos procurar por um grupo de captura, como <a href="https://medium.com/@everton.tomalok/usando-regex-a-seu-favor-3289599d58d">fizemos no primeiro artigo, aonde gostaríamos de capturar (Gro)(ot).</a></p><p>Poderíamos então nomear esses grupos de capturas, como no exemplo abaixo, utilizando (?P&lt;nome_variavel&gt;<strong>pattern</strong>):</p><pre>&gt;&gt; import re</pre><pre>&gt;&gt; frase = &quot;Eu sou o Groot&quot;</pre><pre>&gt;&gt; # Nomeando os grupos de extração<br>&gt;&gt; pattern = r&quot;(?P&lt;primeiro&gt;<strong>Gro</strong>)(?P&lt;segundo&gt;<strong>ot</strong>)&quot;<br>&gt;&gt; # Vamos capturar grupos de caracteres &#39;<strong>Gro</strong>&#39; e &#39;<strong>ot</strong>&#39;</pre><pre>&gt;&gt; match = re.search(pattern, frase)</pre><pre>&gt;&gt; # Recuperando o grupo de nome &#39;primeiro&#39;<br>&gt;&gt; match.group(&#39;primeiro&#39;)<br>&gt;&gt; &#39;Gro&#39;</pre><pre>&gt;&gt; &gt;&gt; # Recuperando o grupo de nome &#39;segundo&#39;<br>&gt;&gt; match.group(&#39;segundo&#39;)<br>&gt;&gt; &#39;ot&#39;</pre><p>Sabendo desta técnica, podemos minerar em textos, em busca de datas, aonde podemos definir o padrão de captura.</p><p>Em nosso exemplo, iremos utilizar o padrão de datas <strong>dd</strong>/<strong>mm</strong>/<strong>aaaa</strong>.</p><p>Vamos ao exemplo:</p><pre>&gt;&gt; import re</pre><pre>&gt;&gt; frase = &quot;Eu gostaria de viajar para o passado. Acho uma data boa para retornar, no dia <strong>15</strong>/<strong>06</strong>/<strong>1999</strong>.&quot;</pre><pre>&gt;&gt; pattern = r&#39;(?P&lt;dia&gt;[0-9]{2})/(?P&lt;mes&gt;[0-9]{2})/(?P&lt;ano&gt;[0-9]{4})&#39;</pre><pre>&gt;&gt; match = re.search(pattern, frase)</pre><pre>&gt;&gt; match.group(&#39;dia&#39;)<br>&gt;&gt; 15</pre><pre>&gt;&gt; match.group(&#39;mes&#39;)<br>&gt;&gt; 06</pre><pre>&gt;&gt; match.group(&#39;ano&#39;)<br>&gt;&gt; 1999</pre><h3>Encontrando frases em uma string</h3><p>Com regex, conseguimos procurar por determinados padrões, dentro de uma string, e gerar “um looping” de buscas.</p><p>Por exemplo, desejo procurar pela palavra “brincar”, todas as vezes em que ela aparece em um string. O método .finditer(pattern, text), onde pattern passaremos o padrão de regex a ser buscada, e o texto, a string que deve ser scaneada; onde o retorno deste método é um um objeto iterável (que poder ser percorrido por um “for”).</p><p>Cada elemento encontrado dentro dessa string, terá alguns outros métodos possíveis. No momento, utilizaremos apenas o<em> .start()</em> para recuperar o começo da string, e o<em> .end() </em>para recuperarmos o index do ultimo carácter da frase procurada.</p><p>Vejamos o exemplo abaixo:</p><pre>&gt;&gt; import re</pre><pre>&gt;&gt; # Texto<br>&gt;&gt; text = &quot;Uau, ele gosta mesmo de <strong>brincar</strong> com aquela outra criança. Mas <strong>brincar</strong> faz bem para saúde.&quot;</pre><pre>&gt;&gt; # Padrão<br>&gt;&gt; pattern = r&#39;brincar&#39;</pre><pre>&gt;&gt; # Buscando uma string e identificando sua localização<br>&gt;&gt;  for <em>match</em> in <em>re.finditer(pattern, text)</em>:<br>&gt;&gt;     s = match.start()<br>&gt;&gt;     e = match.end()<br>&gt;&gt;     print(&#39;Encontrado &quot;%s&quot; com inicio em %de  final em %d&#39; % (text[s:e], s, e))<br>&gt;&gt;     print(&quot;\n&quot;)</pre><pre>&gt;&gt; Encontrado &quot;<strong>brincar</strong>&quot; com inicio em 24 e final em 31<br>&gt;&gt; Encontrado &quot;<strong>brincar</strong>&quot; com inicio em 62 e final em 69</pre><h3>Substituindo substrings em um texto</h3><p>Todos conhecemos o poder do Python, ao processarmos strings em Python, inclusive já citei o método .replace(). Com ‘re’, conseguimos fazer ainda mais.</p><p>Vamos começar no básico, substituindo uma frase estática de uma string, utilizando o método .sub(frase_a_ser_substituida, nova_frase, string):</p><pre>&gt;&gt; import re</pre><pre>&gt;&gt; # Substituir palavras<br>&gt;&gt; endereco = &#39;<strong>Avenida</strong> Paulista, 1500, São Paulo&#39;<br>&gt;&gt; re.sub(&#39;Avenida&#39;, &#39;Av.&#39;, endereco)<br>&gt;&gt; &#39;<strong>Av.</strong> Paulista, 1500, São Paulo&#39;</pre><p>Porém, este método nos permite, ir muito além. Podemos inclusive, definir um um padrão, que contenha um certo número de letras, e substituir todas substrings que se encaixem a este padrão.</p><p>No exemplo, vamos substituir todas palavras, que contenham 5 caracteres, por outra substring de valor “<strong>alterado</strong>”.</p><p><em>Obs.: </em>o <em>\w</em> é o <em>metacaracter</em> que indica todo <em>carácter</em> de valor alfa-numérico (“<em>0 a 9</em>” e de “<em>a até z</em>”).</p><pre>&gt;&gt; import re</pre><pre>&gt;&gt; frase = &#39;Eu <strong>gosto</strong> de <strong>torta</strong> &#39;<br>&gt;&gt; re.sub(r&#39;\w{5}&#39;, &#39; alterado &#39;, frase)<br>&gt;&gt; &quot;Eu <strong>alterado</strong> de <strong>alterado</strong>&quot;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/1*U-FXZ8ya_tBuYRp7ghk7iw.gif" /></figure><h3><strong>Utilizando regex para gerar tokens</strong></h3><p>Tokenização, em processamento de linguagem natural, é extrair de uma string, sentenças e todas as frases dentro de um texto.</p><p>Ex:</p><ul><li>“Eu sou uma sentença. Esta é outra sentença!”</li><li>Palavras sentença 1 : “Eu” , “sou”, “uma”, “sentença”, “.”</li><li>Palavras sentença 2: “Esta”, “é”, “outra”, “sentença”, “!”</li></ul><p>Como podemos ver, cada token representa uma palavra, onde cada uma tem seu significado sintático, como por exemplo “<strong>sou</strong>”, que representa um <strong>verbo</strong>.</p><p>Podemos ver também que sinais de pontuação como o <strong>ponto final</strong> e o <strong>sinal de exclamação</strong>, são considerados tokens.</p><p>Poderiamos utilizar o método<em> .split()</em> do Python para nos auxiliar a gerar tokens.</p><pre>&gt;&gt; text = &quot;Eu sou uma sentença. Esta é outra sentença!&quot;</pre><pre>&gt;&gt; text.split()</pre><pre>&gt;&gt; [&#39;Eu&#39;, &#39;sou&#39;, &#39;uma&#39;, &#39;<strong>sentença.</strong>&#39;, &#39;Esta&#39;, &#39;é&#39;, &#39;outra&#39;, &#39;<strong>sentença!</strong>&#39;]</pre><p>Muito bom, porém os sinais de pontuação não foram separados da palavra ‘sentença’, como na definição vista acima.</p><p>Utilizando Regex, utilizando o metacaracter <em>\w+</em>, indicamos um pattern de recuperação de conjuntos alfa-númericos, que tenham de pelo menos um carácter, ou seja, será quebrado nos espaços, e irá retornar todas as frases encontradas. Para recuperarmos todas as ocorrência, de uma única vez, utilizaremos o método <strong>.findall()</strong> do <em>re</em>, que irá nos retornar uma lista, com todas as ocorrências.</p><p>Vejamos o exemplo abaixo:</p><pre>&gt;&gt; import re</pre><pre>&gt;&gt; text = &quot;Eu sou uma sentença. Esta é outra sentença!&quot;</pre><pre>&gt;&gt; pattern = r&#39;\w+&#39;</pre><pre>&gt;&gt; tokens = re.findall(pattern, text)</pre><pre>&gt;&gt; [&#39;Eu&#39;, &#39;sou&#39;, &#39;uma&#39;, &#39;sentença&#39;, &#39;Esta&#39;, &#39;é&#39;, &#39;outra&#39;, &#39;sentença&#39;]</pre><p>A extração foi muito boa. Porém os sinais de pontuação foram eliminados, pois estes não são caracteres alfa-numéricos.</p><p>Em alguns casos, teremos de fazer análise léxica e morfológica, para entendermos o contexto em que este token está inserido, e os sinais de pontuação, podem nos ajudar nessa interpretação. Até mesmo para identificar sujeito e predicados, os sinais de pontuações podem nos ajudar.</p><p>Então, para preservamos os sinais de pontuação, teremos de adaptar nossa regex. Utilizaremos o sinal <strong>“|” pipe</strong>, que indica “<strong>ou</strong>”.</p><p>Após o metacaracter <em>\w</em>, iremos acrescentar a o sinal <strong>“ou”</strong> seguido de todas as pontuações que julgarmos necessárias, dentro do limitadores de alfabeto <strong>[]</strong>. Utilizaremos também o sinal quantitativo <strong>“+”</strong>, para indicarmos que o sinal de pontuação deve ocorrer uma ou mais vezes, para que seja recuperado.</p><p>Nossa regex ficará assim:</p><p><em>pattern = r”\w+|[,.!?]+”</em></p><p>Traduzindo esse regex, ficará assim: “Recupere todos caracteres alfa-numéricos que ocorram mais de uma vez <strong>ou</strong> todos os sinais de pontuação delimitados no [] que ocorram mais de uma vez”</p><pre>&gt;&gt; import re</pre><pre>&gt;&gt; text = &quot;Eu sou uma sentença. Esta é outra sentença!&quot;</pre><pre>&gt;&gt; pattern = r&quot;\w+|[,.!?]+&quot;</pre><pre>&gt;&gt; re.findall(pattern, text)<br>&gt;&gt; [&#39;Eu&#39;, &#39;sou&#39;, &#39;uma&#39;, &#39;sentença&#39;, <strong>&#39;.&#39;</strong>, &#39;Esta&#39;, &#39;é&#39;, &#39;outra&#39;, &#39;sentença&#39;, <strong>&#39;!&#39;</strong>]</pre><p>Agora sim, nossos tokens foram corretamente separados!</p><p>Inclusive, nossa regex, é capaz de separar mais de um sinal de pontuação com mais de uma ocorrência seguida, por exemplo as reticências <strong>‘… ‘ </strong>, como veremos abaixo:</p><pre>&gt;&gt; import re</pre><pre>&gt;&gt; text = &quot;Olá... tudo bem?&quot;</pre><pre>&gt;&gt; pattern = r&quot;\w+|[,.!?]+&quot;</pre><pre>&gt;&gt; re.findall(pattern, text)</pre><pre>&gt;&gt; [&#39;Olá&#39;, &#39;<strong>...</strong>&#39;, &#39;tudo&#39;, &#39;bem&#39;, &#39;<strong>?</strong>&#39;]</pre><p>Quando comecei a estudar Processamento de Linguagem Natural (PLN), achei do car@lho vendo essas técnicas, de como podemos utilizar regex, para facilitar nosso trabalho, no pré processamento de textos.</p><p>E isso, é só o começo. Regex está fortemente ligada a PLN.</p><p>Podemos criar stemmers, que removem a palavra para seu radical; por exemplo <em>gostar</em>, <em>gostando</em>, <em>gostei</em>, o seu radical comum será <strong>‘gost’</strong>, pois deste radical, podemos gerar todas suas outras combinações.</p><p>Além do Stem, temos outra técnica, conhecida como “<em>Lematização</em>”, que é através da conjugação verbal do token (caso seja etiquetado como um verbo), trazer esse token para o infinitivo. Utilizando o mesmo exemplo, <em>gostar</em>, <em>gostando e gostei</em>, o seu Lema será o <strong>‘gostar’</strong>, a forma infinitiva do verbo.</p><p>Porém, pretendo mais a frente, falar com mais calma sobre esses dois temas, e dar uma explicação mais detalhada.</p><p>E por hoje, isso é tudo pessoal!</p><p>Novamente, me disponho a eventuais dúvidas!</p><p>Abraços!!!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/200/1*BGpyhBT_87OneL5FDR6BOQ.gif" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=12ef89066217" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Usando Regex a seu Favor]]></title>
            <link>https://medium.com/@everton.tomalok/usando-regex-a-seu-favor-3289599d58d?source=rss-ff23e86ae43b------2</link>
            <guid isPermaLink="false">https://medium.com/p/3289599d58d</guid>
            <category><![CDATA[python3]]></category>
            <category><![CDATA[re]]></category>
            <category><![CDATA[pre-processing]]></category>
            <category><![CDATA[data-mining]]></category>
            <category><![CDATA[regex]]></category>
            <dc:creator><![CDATA[Everton Tomalok]]></dc:creator>
            <pubDate>Sun, 21 Oct 2018 23:04:55 GMT</pubDate>
            <atom:updated>2018-10-23T00:16:52.881Z</atom:updated>
            <content:encoded><![CDATA[<h3>Usando Regex a seu Favor — Part 1</h3><h4>Uma rápida abordagem de como REGEX podem ser uteis para trabalharmos com padrãos em textos.</h4><p>Decidi escrever este artigo, após perceber como Regex (uma ferramenta tão útil e poderosa ao trabalharmos com identificação de padrões em textos, data mining, pré processamento de texto, e diversas outras aplicações), é deixada de lado, por muitos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4ampyVNrdQ1k7Hlw_MmJEA.jpeg" /></figure><p>Começarei falando de ferramentas auxiliares, que o Python nos oferece ao trabalhar com strings, que são nada mais, que uma sequência de caracteres. Por exemplo, a frase <em>“Eu sou o Groot”</em>, é uma string que contém 14 caracteres (sim, o espaço é considerado um caracter).</p><p>No Python, assim como em outras linguagens, a indexação irá começar pela posição 0, e não pelo 1. Então, a substring “Eu”, ocupa a posição 0 e 1, da string “Eu sou o groot”.</p><p>Sem mais delongas, vamos ao que interessa!</p><h3><strong>Métodos:</strong></h3><p><strong>.find(‘substring’):</strong> Este método, procura por um caracter ou uma substring, em uma string, e irá retornar com a posição do primeiro caracter encontrado. Caso não exista, irá retornar o valor inteiro -1.</p><p>No trecho de código abaixo, iremos procurar na <em>string</em>, pela <em>substring</em> ‘sou’. Como ela existe na <em>string</em>, irá nos retornar o valor do indice do primeiro caracter. No caso, o ‘s’ de ‘sou’, tem seu inicio alocado a posição 3.</p><pre>&gt;&gt; #         0123<br>&gt;&gt; string = &quot;Eu sou o Groot&quot;</pre><pre>&gt;&gt; string.find(&#39;sou&#39;)<br>&gt;&gt; 3</pre><p><strong>.split(): </strong>“Quebra” a <em>string</em> em diversas <em>substrings</em>, sempre que o caracter passado por parametro, for encontrado. O valor padrão, é o ‘espaço’.e o retorno do método, será uma <em>list.</em></p><pre>&gt;&gt; string = &quot;Eu sou o Groot&quot;</pre><pre>&gt;&gt; string.split()<br>&gt;&gt; [&#39;Eu&#39;, &#39;sou&#39;, &#39;o&#39;, &#39;Groot&#39;]</pre><p><strong>.join(‘caracter’):</strong> Este método, faz o caminho inverso do split. Devemos passar uma <em>list</em>, que contenha um ou mais <em>caracteres</em>, ou <em>substrings</em>, que irá ligar todos os elementos desta mesma.</p><pre>&gt;&gt; lista_string = [&#39;Eu&#39;, &#39;sou&#39;, &#39;o&#39;, &#39;Groot&#39;]</pre><pre>&gt;&gt; &#39;-&#39;.join(lista_string)<br>&gt;&gt; &quot;Eu-sou-o-Groot&quot;</pre><p><strong>.replace(t, u):</strong> Sempre que a <em>substring/caracter</em> ‘t’ for encontrada na string, o mesmo será trocado pela <em>substring/caracter ‘c’. </em>Caso não exista ocorrência na string, nada será alterado.</p><pre>&gt;&gt; string = &quot;Eu sou o Groot&quot;</pre><pre>&gt;&gt; string.replace(&#39;sou&#39;, &#39;amo&#39;)<br>&gt;&gt; &quot;Eu amo o Groot&quot;</pre><h3><strong>Let’s be friends Regex</strong> ❤</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/259/1*V9DRZu92nsoBYeXlNTutKQ.png" /></figure><p>Neste artigo, não irei me aprofundar muito na parte teórica e da estrutura de uma Regex, e sim desejo mostrar o potencial e utilidade da mesma.</p><p>Prometo, em um futuro próximo, desbravar este mar turbulento =P</p><p>Porém, vamos entender o básico, de uma Regex.</p><p>Expressões regulares permitem que padrões sejam <strong>“achados”</strong> ou <strong>“casados”</strong> dentro de strings. Ações como substituição podem ser feitas na string se a expressão regular <strong>“casar”</strong> com alguma parte da string. O módulo que cuida de expressões regulares no Python é o <em>re</em>.</p><p>Existem dois métodos para achar padrões em strings com o módulo <em>re</em>:</p><ul><li><em>search</em> e <em>match</em>.</li></ul><p>Vamos dar uma olhada no <em>search</em>.</p><ul><li>O método search do “re”, solicita dois parâmetros de entrada. O primeiro, é um string regex ( por isso o<strong> ‘sou’ </strong>tem um<strong> “r”</strong> à esquerda das aspas duplas, que sinaliza ao interpretador do Python, que esta string deve ser <em>entendida como uma regex</em>). O segundo parâmetro, é a string a qual desejamos realizar o <em>scan</em>, em busca do padrão passado.</li></ul><pre>&gt;&gt; import re</pre><pre>&gt;&gt; string = &quot;Eu sou o Groot&quot;</pre><pre>&gt;&gt; resultado = re.search(r&quot;sou&quot;, string)</pre><p>Para extrairmos o resultado, devemos usar .group():</p><pre>&gt;&gt; resultado.group(0)<br>&gt;&gt; &#39;sou&#39;</pre><p>O zero, deve ser passado como parâmetro, pois o <strong>.group()</strong>, irá agrupar todos os “casamentos” encontrados dentro da string.</p><p>Por exemplo, poderíamos passar ao método search, mais de um padrão de busca. Para que isso seja possível, utilizaremos os padrões dentro de “parenteses”.</p><pre>&gt;&gt; string = &quot;Eu sou o Groot&quot;</pre><pre>&gt;&gt; resultado = re.search(r&#39;(Gro)(ot)&#39;, string)</pre><pre>&gt;&gt; resultado(1)<br>&gt;&gt; &quot;Gro&quot;</pre><pre>&gt;&gt; resultado(2)<br>&gt;&gt; &quot;ot&quot;</pre><p>Porém, nem sempre teremos um “texto fixo” para ser procurado em uma string. Para isso, temos alguns auxiliares, que podem nos ajudar a extrair elementos de uma string.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*xIowfKxAiQl1oRDXy34K2A.png" /><figcaption>Créditos ao Rodrigo Branas por esta imagem</figcaption></figure><p>Antes de prosseguirmos, precisamos entender os delimitadores ^ e $.</p><p>O ^(acento circunflexo) indica “começar”, ou seja, eu desejo que apenas strings que comecem com determinado padrões, devem ser recuperados.</p><p>Já o $ (dóllar), indica “terminar”, ou seja, eu desejo que a string termine com um determinado padrão.</p><pre>&gt;&gt; string = &quot;Eu sou o Groot&quot;</pre><pre># Substring que comece com &#39;Eu&#39;<br>&gt;&gt; resultado_inicio = re.search(r&#39;^Eu&#39;, string)</pre><pre>&gt;&gt; resultado_inicio.group(0)<br>&gt;&gt; &quot;Eu&quot;</pre><pre># Substring que termine com &#39;Groot&#39;<br>&gt;&gt; resultado_final = re.search(r&#39;Groot$&#39;, string)</pre><pre>&gt;&gt; resultado_final.group(0)<br>&gt;&gt; &quot;Groot&quot;</pre><p>Sei que esses delimitadores, nos confundem ao primeiro contato. Porém, tentarei exemplificar melhor. Caso utilizarmos um regex para recuperar todas frases que comecem com “Eu” e terminem com “Groot”, independente do que venha no meio dos dois delimitadores, poderíamos utilizar essa notação.</p><p>Vamos ao exemplo:</p><pre>&gt;&gt; string = &quot;Eu sou o Groot&quot;</pre><pre># String que comece com &#39;Eu&#39; não importa o meio da sentença mas tem # que terminar com &quot;Groot&quot;<br>&gt;&gt; resultado = re.search(r&#39;^Eu\s(.)*\sGroot$&#39;, string)</pre><pre>&gt;&gt; resultado.group()<br>&gt;&gt; &#39;Eu sou o Groot&#39;</pre><p>Vamos entender este trecho de regex <strong>r”^Eu\s(.)*\sGroot$”</strong>, antes de prosseguirmos:</p><ul><li>Esta regex traduzida, significa -&gt; Encontre toda string que comece com <em>“Eu”</em>, e que contenha um <strong>carácter <em>“espaço”</em> logo em seguida</strong>, e após o <em>espaço,</em><strong> qualquer carácter é válido</strong>, e o final da string deve conter um <strong>caracter <em>“espaço”</em> e logo após a substring <em>“Groot”</em></strong>.</li><li>O <strong>ponto (.)</strong> é o metacaracter citado acima, que representa o casamento com qualquer caracter (Ex.: A, b, c , 1, 2, _, @) .</li><li>O <strong>\s</strong> é o metacaracter que representa o caracter <em>espaço</em>.</li><li>O <strong>asterisco *,</strong> faz menção ao tamanho do padrão, que deve ser encontrado. Traduzindo, o asterisco, significa que o padrão deve conter no texto, 0 ou mais vezes, não limitando o tamanho máximo. Aproveitando o gancho, o metacaracter<strong> ponto de interrogação “?”</strong>, indica que o padrão entre parenteses, deve ocorrer 0 ou no máximo 1 vez. Já o metacaracter <strong>mais “+”</strong>, indica que o elemento deve ocorrer no minimo 1 vez, e não limita o máximo de ocorrências.</li></ul><p>Agora que entendemos o que a regex significa, vamos mostrar na prática o que a mesma pode capturar:</p><pre>&gt;&gt; string_2 = &quot;Eu  não sou o Groot&quot;</pre><pre>&gt;&gt; resultado = re.search(r&#39;^Eu\s(.)*\sGroot$&#39;, string_2)</pre><pre># Nossa regex capturou a string<br>&gt;&gt; resultado.group()<br>&gt;&gt; &#39;Eu não sou o Groot&#39;</pre><p>Mais outro exemplo:</p><pre>&gt;&gt; string_3 = &quot;Eu não conheço o Groot&quot;</pre><pre>&gt;&gt; resultado = re.search(r&#39;^Eu\s(.)*\sGroot$&#39;, string_3)</pre><pre># Nossa regex capturou a string<br>&gt;&gt; resultado.group()<br>&gt;&gt; &#39;Eu não conheço o Groot&#39;</pre><p>Um exemplo em que nossa regex não pode capturar a string, pois nossa string não termina com “Groot”:</p><pre>&gt;&gt; string_not_ecsiste = &quot;Eu não conheço o Groot e não faço a mínima ideia de quem ele seja&quot;</pre><pre>&gt;&gt; resultado = re.search(r&#39;^Eu\s(.)*\sGroot$&#39;, string_not_ecsiste)</pre><pre># Nossa regex não capturou a string<br>&gt;&gt; resultado.group()<br>&gt;&gt; AttributeError: &#39;NoneType&#39; object has no attribute &#39;group&#39;</pre><p>E o porquê dessa except, que foi levantada?</p><p>É bem simples. Por definição dos desenvolvedores do Python, o método search, sempre que não puder encontrar um<em> “casamento” </em>entre regex e string, irá retornar o <strong>singleton None</strong>, ao invés de um<strong> objeto <em>“re”,</em></strong> que possui o método group. Essa except de tipo AttributeError, nos diz exatamente isso: <em>“Não existe método ‘group’ em um objeto ‘NoneType’. ”</em></p><p>Para contornamos esse problema, podemos utilizar <em>“if”</em> e <em>“else”</em>, para não <em>“quebrar”</em> nosso programa.</p><pre>&gt;&gt; string_not_ecsiste = &quot;Eu não conheço o Groot e não faço a minima ideia de quem ele seja&quot;</pre><pre>&gt;&gt; resultado = re.search(r&#39;^Eu\s(.)*\sGroot$&#39;, string_not_ecsiste)</pre><pre>&gt;&gt; if resultado is None:<br>&gt;&gt;     print(&#39;Nada encontrado&#39;)<br>&gt;&gt; else:<br>&gt;&gt;     resultado.group()</pre><pre>&gt;&gt; &#39;Nada encontrado&#39;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/250/1*elfHMZbASeVvkeQNTNKPVA.png" /></figure><h3><strong>Vamos entender mais sobre delimitação de caracteres em uma regex</strong></h3><p>Existe outra forma de delimitarmos o tamanho de um padrão contido em uma regex, para que uma substring seja extraída. Podemos utilizar a notação {n,m}, onde n é o número mínimo de elementos, e m o número máximo.</p><p>Por exemplo, na string “O capitão América é mais legal que o Homem de Ferro”, eu desejo recuperar substrings que comecem com ‘c’ e tenham no mínimo 7 caracteres, e no máximo 8 caracteres. Utilizaremos o metacaracter “\w” para indicar que após o “c”, qualquer carácter alfa numérico, poderá ser incorporada na substring extraída.</p><pre>&gt;&gt; text= &quot;O capitão América é mais legal que o Homem de Ferro&quot;<br>&gt;&gt; r = re.search(r&quot;c\w{7,8}&quot;, text)<br>&gt;&gt; r.group(0)<br>&gt;&gt; &quot;capitão&quot;</pre><p>Com este padrão de regex, conseguimos recuperar <em>“capitão”, </em>pois esta substring, “casou” com o que desejávamos recuperar.</p><blockquote>Caso você nunca tenha ouvido falar de regex, ou deseja se aprofundar no conhecimento de regex (<em>selo de recomendação Everton!</em>), você pode visualizar a <a href="https://docs.python.org/3/library/re.html">documentação ‘re’ oficial do Python</a>, a qual é bem didática e de fácil entendimento! Também recomendo assistir a este <a href="https://www.youtube.com/watch?v=9r48XuOB4DA">vídeo do Rodrigo Branas</a>, o qual, com sua excelente didática, mostra quão fácil é lidar com REGEX.</blockquote><p>Agora, que sabemos o básico, vamos mais adiante.</p><h3>Exemplos Práticos usando Regex</h3><p>1 — Recuperando telefones:</p><p>Abaixo, esta listada uma regex<strong><em> </em>r’\(?\d{2,3}\)?\.?\s*\d{4,5}-?\.?\s*\d{4}’</strong>, que é capaz de recuperar qualquer dos números nacionais listados, tanto celular, quanto telefones fixos, com 3 ou 2 dígitos de DDD ( 11 ou 011 por exemplo) :</p><ul><li>(xx) yyyyy-wwww</li><li>xx yyyyy wwww</li><li>xxyyyyywww</li><li>(xx)yyyyywwww</li><li>(xx)yyyyy.wwww</li><li>(xx) yyyyy-wwww</li><li>xx yyyy wwww</li><li>xxyyyywww</li><li>(xx)yyyywwww</li><li>(xx)yyyy.wwww</li></ul><pre>&gt;&gt; string = &quot;O meu telefone para contato é: (011) 99999-8888... você pode me ligar depois das 17h.&quot;</pre><pre>&gt;&gt; finder = re.search(r&#39;\(?\d{2,3}\)?\.?\s*\d{4,5}-?\.?\s*\d{4}&#39;, string)<br>&gt;&gt; finder.group()<br>&gt;&gt; &quot;(011) 99999-8888&quot;</pre><p>Um adendo ao<strong> barra invertida \</strong> que informa ao interpretador do Python, que o carácter a seguir deve ser escapado (não deve ser considerado como seu valor de carácter). Então o <strong>“\(“</strong> e o <strong>“\)”</strong> informados na regex, são exatamente isso, que os parenteses devem ser considerado em seu valor de carácter, e não como o metacaracter de inicio de padrão “(“ , e o de final de padrão “)”.</p><p>Utilizando esta técnica, conseguimos recuperar telefones que comecem com (xx)</p><p>Outro exemplo, é <strong>escapar o ponto final (.), </strong>que como visto anteriormente, significa qualquer carácter, em seu significado de metacaracter. E no nosso caso, desejamos utilizar o carácter <strong>ponto exclusivamente</strong>, para que possamos capturar telefones xx.yyyy.wwww</p><p>Então esta é a técnica, escapando metacaracteres para serem utilizados com seu valor de caracter utilizando \, para capturar telefones com <strong>ponto</strong> entre os números.</p><h3>Finalizando!!!</h3><p>Este foi o primeiro tema, introdutório a REGEX. Poderia escrever um livro, só de possíveis utilizações delas.</p><p>Em um próximo post, irei mostrar um pouco mais sobre regex, e sua utilização avançada.</p><p>Caso surjam dúvidas, estou disponível para ajudar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/185/1*f6CyzEWU6xGm7HO417IhkA.png" /></figure><p>Abraços!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3289599d58d" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>