<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[EscuelaDeInteligenciaArtificial - Medium]]></title>
        <description><![CDATA[Todo sobre Inteligencia Artificial, Computer Vision, Procesamiento de Lenguaje Natural (NLP) y Machine Learning - Medium]]></description>
        <link>https://medium.com/escueladeinteligenciaartificial?source=rss----2ab3616fe58a---4</link>
        <image>
            <url>https://cdn-images-1.medium.com/proxy/1*TGH72Nnw24QL3iV9IOm4VA.png</url>
            <title>EscuelaDeInteligenciaArtificial - Medium</title>
            <link>https://medium.com/escueladeinteligenciaartificial?source=rss----2ab3616fe58a---4</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 14:32:36 GMT</lastBuildDate>
        <atom:link href="https://medium.com/feed/escueladeinteligenciaartificial" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Funciones de activación para redes neuronales]]></title>
            <link>https://medium.com/escueladeinteligenciaartificial/funciones-de-activaci%C3%B3n-para-redes-neuronales-de00fefb7150?source=rss----2ab3616fe58a---4</link>
            <guid isPermaLink="false">https://medium.com/p/de00fefb7150</guid>
            <category><![CDATA[softmax]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[redes-neuronales]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <category><![CDATA[funciones-de-activación]]></category>
            <dc:creator><![CDATA[Farid Murzone]]></dc:creator>
            <pubDate>Sun, 04 Apr 2021 13:01:34 GMT</pubDate>
            <atom:updated>2021-04-03T12:52:02.897Z</atom:updated>
            <content:encoded><![CDATA[<p>Imaginémonos que nuestra red se encuentra en un camino frente a una bifurcación. ¿Cómo decide por qué lado ir? Esa es la tarea de las funciones de activación.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*rQ9BIEYJrSN7zjuznEBY-Q.jpeg" /></figure><p>La función de activación recibe un valor de entrada y se encarga de devolver una salida que corresponde a la decisión o el peso determinado a partir de la entrada. Habitualmente los valores de salida están normalizados en rangos entre [0,1] o [-1,1].</p><p>Se trata de funciones matemáticas simples, característica que les permite no ser pesadas computacionalmente, lo que es sumamente importante teniendo en consideración que las funciones de activación se ejecutan para cada neurona de la red, por cada muestra y por cada ciclo. Por ejemplo si tenemos 1500 muestras con 10 features cada un con 4 capas de 64 neuronas cada una esto se traduce en millones de ejecuciones en un entrenamiento (3840000 ejecuciones para el ejemplo dado por cada iteración).</p><p>Las funciones de activación nos permitirán reducir la complejidad de cómputo y evaluar el rango resultante en valores más manejables. Para comenzar a analizar su utilidad veamos qué es lo que pasa si no tuvieramos ninguna transformación:</p><p><strong>Función lineal</strong></p><p>El resultado de una transformación sin transformación en su resultado nos daría una función lineal. Para cada valor de la función en x (es decir, <strong>f(x)</strong>) obtenemos un valor x. Es lo mismo que decir <strong>x = y, </strong>para quien no esté familiarizado con notación de funciones. ¿Y esto que implica? Que para cada valor de entrada voy a obtener el mismo valor de salida. Sin importar cuan grande o chico sea. Veamoslo graficado:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/684/1*QPTC01MIREOoO22qmwP98A.png" /></figure><p>Para f(x) donde x sea 1, x sigue valiendo 1. Si fuera 2, seguiría valiendo 2. Como decíamos su ecuación es la conocida f(x) = x y tanto su rango como su dominio van de (-∞, +∞). La salida no se limita en ningún rango ya que al crecer o decrecera f(x), x lo hace en la misma medida. Por tal motivo no ayuda demasiado a reducir complejidad para nuestra red neuronal. En cambio hay otras funciones que sí lo hacen. Veamos:</p><p><strong>Función sigmoide</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Ts0PhqsoTor4JSZVsZijVg.png" /></figure><p>La función sigmoide lleva todos nuestros valores entre (0, 1). Por lo tanto, se usa especialmente para modelos en los que tenemos que predecir la probabilidad de algo, ya que utilizamos 0 como 0% y 1 como 100%.<br>La función es diferenciable, es decir, podemos encontrar la pendiente de la curva sigmoidea en dos puntos cualesquiera. Además la función es monótona, pero la derivada de la función no lo es.<br>Ocasionalmente pueden encontrarse con que este tipo de funciones de activación llegado a un determinado porcentaje de accuracy y con muchas clases en el entrenamiento se trabe y no mejore. En este sentido la función softmax es una función de activación logística más generalizada que se utiliza para la clasificación multiclase.</p><p><strong>Función tangencial hiperbólica (tanh)</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/428/1*KUxK7tcAgSng47dkPChT5w.png" /></figure><p>A diferencia de la función de activación sigmoide el rango de la función tanh es de (-1, 1). A este tipo de funciones (tanto a la sigmoide como a la tanh) también se las denomina sigmoideas y se pueden identificar rápidamente por su forma de S.</p><p>La ventaja que tienen las tangenciales hiperbólicas (tanh) es que las entradas negativas se mapearán fuertemente negativas y las entradas positivas se mapearán fuertemente positivas. Los resultados tienden a los extremos.<br>Al igual que en la sigmoide la función es diferenciable y monótona mientras que su derivada no lo es.<br>La función tanh se utiliza principalmente para la clasificación entre dos clases. Ya que si la tendencia es hacia uno de los lados la función lo arrastrará más aún para ese lado.</p><p><strong>Función ReLu</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_zrb2LXkTpUbGk4jqPa_RQ.png" /></figure><p>La ReLU es la función de activación más utilizada en el mundo en estos momentos, ya que se utiliza en casi todas las redes neuronales convolucionales o de deep learning.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/300/1*5gpoBPWH41BA98azuw_Ezw.png" /><figcaption>Para todo valor de x menor que 0, f(x) vale 0</figcaption></figure><p>Como se ve en el gráfico la ReLU se mantiene permanente al principio, f(x) es cero cuando x es menor que cero y luego se dispara hacia arriba en forma lineal donde f(x) es igual a x cuando x es superior o igual a cero.</p><p>Su rango o codominio es [0, +∞) y tanto la función como su derivada son monótonas.</p><p>Se preguntarán, si la función lineal f(x) = x nos resultaba de poca ayuda. ¿Cuál es la diferencia en la ReLU? La clave está en que todos los valores negativos se vuelven cero, y eso significa que cualquier entrada negativa dada a la función de activación de ReLU convierte el valor en cero inmediatamente. Esto puede ayudar mucho en la simplificación computacional ya que todos los valores iguales a 0 son inmediatamente descartados (dichas neuronas son irrelevantes). A su vez esto puede disminuir la capacidad del modelo para ajustarse o entrenarse a partir de los datos correctamente. En general la función ReLU tiene buena performance en redes convolucionales.</p><p><strong>Leaky ReLU</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/490/1*c2MdtOKAoM0bpFGjfvvOCQ.png" /></figure><p>Leaky ReLU es una variante de la función anterior que viene a corregir el descarte masivo que mencionabamos anteriormente. Para ello mantiene los valores cuando x es menor que 0 pero dándoles menor peso.</p><p>Su ecuación es:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/325/1*OfCG81B10rc4LYTb8XvWJw.png" /><figcaption>Para todo x menor que 0 se multiplica x por un factor</figcaption></figure><p>Tiene todas las virtudes de la ReLU pero además en lugar de descartar los valores negativos los rectifica con un coeficiente pequeño.</p><p><strong>Softmax</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/709/1*4SzRNtEHnN58XaiQZdqAtg.png" /></figure><p>La función softmax es una de las funciones estrella en la última capa de la red. Ya que permite realizar una clasificación categórica multiclase. Esto se debe a que por su forma sigmoidea clasifica entre valores de 0 y 1 (probabilidad) pero a diferencia de la sigmoide o de la tanh es muy diferenciable y no empuja la salida hacia los extremos 0 y 1 (o -1 y 1 para el caso de tanh).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/266/1*1zGZ-iv_uOTCfqXm4on2yw.png" /></figure><p>Como se ve en la ecuación, la función aplica una función exponencial para cada valor de z y lo normaliza dividiéndolo por la sumatoria de todos los exponenciales del vector. Este tipo de funciones se utilizan tanto en modelos de Deep Learning para clasificar salidas como en modelos de Reinforcement Learning para calcular probabilidades de acción.</p><p><strong>Palabras finales</strong></p><p>Existen otras funciones de activación como la binaria, maxout, ELU, Prelu, softplus entre otras. Todas estas funciones no lineales nos facilitan la generalización o adaptación del modelo con una gran variedad de datos y permiten diferenciar entre los resultados.</p><p>Tener la representación gráfica y en consideración su dominio, rango y si las funciones o sus derivadas son monótonas nos permiten elegir mejor a la hora de construir nuestra red.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=de00fefb7150" width="1" height="1" alt=""><hr><p><a href="https://medium.com/escueladeinteligenciaartificial/funciones-de-activaci%C3%B3n-para-redes-neuronales-de00fefb7150">Funciones de activación para redes neuronales</a> was originally published in <a href="https://medium.com/escueladeinteligenciaartificial">EscuelaDeInteligenciaArtificial</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[¿Dónde están los datos? Arma tu propio dataset]]></title>
            <link>https://medium.com/escueladeinteligenciaartificial/d%C3%B3nde-est%C3%A1n-los-datos-arma-tu-propio-dataset-2040959ffb08?source=rss----2ab3616fe58a---4</link>
            <guid isPermaLink="false">https://medium.com/p/2040959ffb08</guid>
            <category><![CDATA[ingenieria-de-datos]]></category>
            <category><![CDATA[dataset]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[scraping]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <dc:creator><![CDATA[Farid Murzone]]></dc:creator>
            <pubDate>Tue, 13 Oct 2020 13:37:57 GMT</pubDate>
            <atom:updated>2020-10-13T13:37:56.969Z</atom:updated>
            <content:encoded><![CDATA[<p>En general como analistas de datos o programadores de inteligencia artificial lo primero que queremos es desarrollar nuestro modelo. Sin embargo en mi experiencia he visto que uno de los funnels más grandes de los científicos de datos está en buscar y ordenar la información. En general los cursos de data science comienzan en la etapa de preprocesado de los datos, su limpieza, tokenización, etc. ¿Pero de dónde sacamos esos datos sucios? En varias ocasiones me he encontrado con científicos de datos que ante la propuesta de un problema y su solución me contestaron: ¿Y de dónde saco el dataset? Cuando esto debería ser la tarea más sencilla dada la abundancia de datos en la actualidad. En este artículo expondré algunas ideas de cómo abordar ese problema.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/498/1*EFIJGv80QOi3RN5gKAHeCA.gif" /></figure><h3>Datos en todas partes.</h3><p>En el mundo actual datos es lo que sobran, en eso estamos todos de acuerdo. Pero en general estamos tan abrumados por la abundancia de datos que no sabemos organizar nuestra mirada para tomar una parte de ellos, organizarlos y construir nuestro dataset.</p><p>Me gusta pensar en Neo de Matrix cuando logra ver lo que hay detrás de lo que la matrix nos oculta. Es exactamente así. Por un lado es una práctica cotidiana de la mayoría de las personas compartir datos de manera pública: comentarios en redes sociales, foros y comunidades, videos, albumes de fotos. Por otro hay espacios colaborativos como Wikipedia y/o grandes repositorios de datos en los que la humanidad se ha dedicado a cargar su manera de interpretar e interactuar con el mundo.</p><p>Algunas de las fuentes más habituales son:</p><p>Existe una enorme cantidad de APIs y datasets públicos que nos permiten tener un primer acercamiento para entrenar nuestros modelos. Algunas de las empresas más grandes (y por ende con más datos) del mundo comparten habitualmente datasets. Por ejemplo (clic en los links para ver los datasets):</p><ul><li><a href="http://jmcauley.ucsd.edu/data/amazon/">Amazon</a>: Empresas como Amazon y Google suelen compartir datasets publicos.</li><li><a href="https://datasetsearch.research.google.com/">Google Dataset</a>: es un potente buscador de datasets.</li><li><a href="https://nlp.stanford.edu/sentiment/code.html">Stanford</a>: la universidad de Stanford tiene un departamento muy importante de NLP. Una libreria muy famosa (stanza) y multilenguaje está desarrollada por ellos.</li><li><a href="http://www.cs.jhu.edu/~mdredze/datasets/sentiment/">John Hopkings</a>: La universidad John Hopkings también está a la vanguardia en NLP y suele compartir datasets y papers SOTA.</li><li><a href="https://www.kaggle.com/iarunava/imdb-movie-reviews-dataset">IMDB</a> la famosa página de películas tiene un dataset enorme que se suele usar para sentiment analysis.</li><li><a href="https://archive.ics.uci.edu/ml/index.php">Machine Learning Repository</a></li><li><a href="https://www.kaggle.com/">Kaggle</a>: La meca de los data scientists. Allí suelen compartirse no sólo miles de datasets, también maneras de analizarlos, desafíos y cuenta con una gran comunidad.</li><li>Datos de instituciones públicas: Acá hay demasiado y de muchas fuentes, lo dejo para que googlees… la mayoría de los gobiernos tienen repositorios de datos a partir de sus instituciones de estadísticas. Por poner el ejemplo Argentino: <a href="https://datos.gob.ar/">https://datos.gob.ar/</a> o el de México: <a href="https://datos.gob.mx/">https://datos.gob.mx/</a></li></ul><h3>Consiguiendo / armando un dataset que no está armado</h3><p>De todas formas hay muchas veces que no tenemos un dataset armado para nuestras necesidades. Entonces entra nuestra creatividad. Hay dos enfoques principales cuando no tenemos un dataset que nos brinda de una la información que necesitamos:</p><h3>Utilizar un dataset o modelo y adaptarlo</h3><p>Supongamos que queremos hacer un análisis de sentimientos de comentarios de nuestra página de películas. Pero todavía tenemos muy pocos comentarios y performa muy mal. Bueno, una opción sería entrenarlo con otro dataset y despues testearlo contra el nuestro. Por ejemplo si quisieramos ver los comentarios positivos y negativos podríamos entrenar el modelo de IMDB, que además de los comentarios nos brinda las estrellitas que le pusieron los usuarios a una película, por ende tenemos ya una clasificación de comentarios positivos y negativos vinculando el comentario con la calificación otorgada. Una vez que tengamos ese modelo entrenado podemos utilizarlo con nuestros comentarios.</p><p>Un enfoque similar es el de <strong>fine tuning</strong> y <strong>transfer learning</strong>, un proceso mediante el cual podemos utilizar un modelo entrenado con un objetivo pero que se ajusta muy bien a otro. Este enfoque se utilizó mucho en los últimos dos años sobre todo para imagenes, donde podemos tener un modelo de clasificación de imágenes entrenado con miles o millones de fotos de objetos o animales (perros, gatos, caballos) entre los que tal vez no se encuentra la clasificación que nosotros queremos hacer (supongamos unicornios rojos y unicornios verdes). En ese caso podemos tomar el modelo ya entrenado y transferir sus pesos al nuestro, reentrenar el nuestro con pocos datos y obtener un resultado muy satisfactorio. En general (y muy resumido) el proceso de <em>transfer learning</em> consiste en tomar el modelo ya reentrenado y agregar una capa de entrenamiento con los features de nuestro dataset (unicornios rojos vs verdes) con lo cual tomará de todas las capas previas otras características como formas, bordes, texturas y tomará de la nuestra el color o el cuerno del unicornio para diferenciar la forma del que ya reconocía antes (caballo).</p><h3>Data scraping</h3><p>El término de data scraping suele asustar. Y en realidad es mucho más sencillo de lo que parece. Existe una variopinta cantidad de librerías destinadas a obtener datos de fuentes online. Entre las fuentes tenemos algunas ya mencionadas como comunidades, foros, redes sociales. Y otras que pueden provenir de datos que nosotros tengamos en emails, en la computadora o nuestras bases de datos o bien que queramos extraer de una web ajena.</p><p>Tenés que analizar precios productos en el mercado? Se puede hacer scraping de productos de retailers. Necesitás comentarios de alguna noticia en particular? Scraping de páginas de noticias (en general suele ser más fácil porque ofrecen versiones en XML y/u otros feeds)</p><p>Entre las librerías más comunes para scraping que podemos encontrar estan:</p><ul><li><a href="https://requests.readthedocs.io/es/latest/">Requests</a></li><li><a href="https://pypi.org/project/beautifulsoup4/">Beautifoul Soup</a></li><li><a href="https://lxml.de/">lxml</a></li><li><a href="https://selenium-python.readthedocs.io/">selenium</a></li><li><a href="https://scrapy.org/">scrapy</a></li></ul><p>Entre otras a las que hay que sumarle API’s de empresas, cuya diferencia con las mencionadas al principio del artículo es que no nos proveen datasets ya armados pero contienen abundante información a veces accidentalmente tagueada por los propios usuarios. El ejemplo más claro es <a href="https://developer.twitter.com/">Twitter</a> de donde podemos obtener twits relativos a un tema sólo filtrando por un hashtag. Eso nos permite construir muy fácilmente un dataset. También es muy sencillo armarse un dataset de imágenes o videos recurriendo a páginas como google y scrapeando fotos del resultado, de manera que estamos usando todo el potencial de la IA de google para armar un dataset ad hoc a nuestras necesidades.</p><h3>Creatividad</h3><p>Ante todo sé creativo. Los datos están por todas partes. No hay excusas para no desarrollar tu dataset y ponerte manos a la obra. A veces la tarea es más tediosa pero abunda la información, un caso que suelo poner de ejemplo es una clasificación de señales de audio que tuve que realizar basada en el género de la persona. En un primer aproach encontré datasets de audios ya clasificados en hombre/mujer pero en inglés. Como los datos no eran suficientes y las variaciones en lenguaje español eran sustanciales complementé el dataset con audios extraídos de una web de clases de español, en aquella ocasión como no tenía aún suficientes herramientas bajé más de 500 audios a mano, uno por uno, clasificandolos en dos carpetas según el género. Hoy los bajaría con alguna de las librerías mencionadas antes y en lugar de taguear uno por uno desarrollaría una clasificación por los nombres de los usuarios para determinar automáticamente cuáles son de un varón y cuál de una mujer.</p><p>En fin, se trata de pensar el problema una y otra vez, buscar y bucear sobre el oceano de datos e ingeniarselas para ordenarlos. Una vez tenemos eso ya podemos divertirnos con nuestro modelo, en el tema que nosotros queramos y sin depender de que nadie nos arme un dataset.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2040959ffb08" width="1" height="1" alt=""><hr><p><a href="https://medium.com/escueladeinteligenciaartificial/d%C3%B3nde-est%C3%A1n-los-datos-arma-tu-propio-dataset-2040959ffb08">¿Dónde están los datos? Arma tu propio dataset</a> was originally published in <a href="https://medium.com/escueladeinteligenciaartificial">EscuelaDeInteligenciaArtificial</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Extracción de Features con Bag of Words (BOW) y TF-IDF para NLP]]></title>
            <link>https://medium.com/escueladeinteligenciaartificial/extracci%C3%B3n-de-features-con-bag-of-words-bow-y-tf-idf-para-nlp-f89d678abc0e?source=rss----2ab3616fe58a---4</link>
            <guid isPermaLink="false">https://medium.com/p/f89d678abc0e</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Farid Murzone]]></dc:creator>
            <pubDate>Sat, 10 Oct 2020 13:57:26 GMT</pubDate>
            <atom:updated>2020-10-10T13:57:26.870Z</atom:updated>
            <content:encoded><![CDATA[<p>En este artículo veremos como transformar tokens en features, con ello podremos contar cuantas veces o en qué contexto aparecen determinadas palabras y comenzar a darle a nuestra computadora cosas que puede entender.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/564/1*Sboz5mAYq--GBV8izZibTg.jpeg" /></figure><h3>¿Qué es bag of words?</h3><p>Supongamos que queremos detectar determinadas palabras en un texto como <em>buenísima</em> u <em>malísima</em> para realizar un análisis de sentimientos de comentarios de una película en base a la aparición de algunas de estas palabras. Donde <em>buenísima</em> nos indicaría que es un comentario positivo y viceversa.</p><p>La manera de lograr que la computadora pueda interpretar esas palabras se llama <strong>vectorización del texto</strong> y consiste en convertir las oraciones en un vector con la siguiente forma:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/450/1*JclcuBpg2Ws7rnrlvxqKkQ.png" /></figure><p>Si observamos se construyó una matriz con cada una de las palabras que aparecen en alguno de los cometarios. Donde para cada fila se completa con un 0 o un 1 según la aparición (1) o ausencia (0) de esa palabra en la frase. A estor vectores de 0’s y 1’s se los denomina <em>sparse vectors</em>.</p><p>Como vimos en la imagen a simple vista, por la aparición de la palabra <em>malísima</em> hay dos comentarios negativos y por <em>buenisima</em> hay uno positivo. Lo he simplificado al extremo para introducir los conceptos, esto se torna un poco más intrincado si tenemos, en lugar de comentarios de 4 o 5 palabras, un millón de reviews de 1000 palabras ¿Ya empiezan a imaginarse esos vectores? Los animo a pensar en el siguiente problema: ¿Y qué pasa con el orden de las palabras?. Exacto, ya no existe orden, sólo aparición o ausencia de cada una de ellas en un comentario. Es por esto que a esta técnica se la denomina <strong><em>bag of words</em> o <em>bolsa de palabras</em> </strong>en español.</p><h3>Cómo resolver el problema de alteración de orden de las palabras</h3><p>Un primer enfoque para resolver el problema del orden es trabajar con<strong> <em>n-gramas</em> </strong>que nos permiten saber que tan probable es una sentencia conformada por<em> n palabras</em> o qué tan común es en determinados corpus de texto. Los n-gramas pueden estar conformados por una palabra (<em>unigramas</em>), dos palabras (<em>bigramas</em>), tres palabras (<em>trigramas</em>) o cualquier número n de palabras (n-gramas) donde n hace referencia a la cantidad de palabras.</p><p>Veamos algunos ejemplos para la frase “Hola, como estás hoy”:</p><pre>hola, como, estas, hoy -&gt; unigramas<br>como estas -&gt; bigrama<br>como estas hoy -&gt; trigrama</pre><p>El trigrama “como estas hoy” nos aporta una información mucho más completa que “como estás”, y a la vez el bigrama nos aporta información más consisa que las palabras sueltas. El problema de esto ya empieza a saltar a la vista. Al conformar un vector de bigramas tenemos todas las posibles combinaciones de cada palabra con la palabra anterior y con la palabra posterior. A medida que aumentamos n la cantidad de combinaciones crece. Pongamos esto ahora en el contexto de un millón de comentarios de 200 palabras. Es demasiado, no escala.</p><h3>Cómo resolver el problema de combinaciones que crecen exponencialmente en n-gramas</h3><p>Seguimos afinando nuestro problema y ahora debido a la capacidad finita y limitada de procesamiento (por lo menos por ahora) tenemos que acotar el problema. Un buen <em>aproach</em> para disminuir la cantidad de combinaciones es tomar solamente los determinados n-gramas. ¿Y con cuáles nos quedamos? Uno tendería a decir: con los más frecuentes. Pero no, las palabras más frecuentes se encuentran en muchos, a veces en todos los comentarios. Una palabra que aparece siempre no nos aporta realmente demasiada información para el problema que estamos intentando resolver. Palabras como esta, el, la, y, o, a, en, etc (preposiciones, conjunciones, etc) están siempre y no son precisamente las que le otorgan el sentido a la oración. A estas palabras se las denomina <strong>stop words</strong> y en la mayoría de los preprocesados para extracción de features se opta por eliminarlas.</p><p>En el otro extremo tenemos palabras realmente raras que aparecen por ejemplo 1 sola vez en la totalidad de los cometarios. Estas palabras tampoco aportan (en general demasiada información), en la mayoría de los casos corresponden a errores de tipeo o vienen de otro idioma y también es bueno prescindir de ellas para evitar overfiting (sobre ajuste de nuestro modelo). Por ejemplo si hay sólo un comentario que contiene el bigrama “sombriro rojo” y es un comentario positivo, es muy probable que si en un nuevo comentario aparece el mismo bigrama (sombrero mal escrito + la palabra rojo) incline el peso del modelo a pensar que es un comentario positivo, ya que es una palabra que nunca apareció y cuya aparición se dió sólo en el contexto de un comentario positivo.</p><p>¿Entonces con qué nos quedamos? Con la amplia avenida del medio, excluyendo las palabras muy frecuentes (stop words) y a las muy poco frecuentes.</p><h3>TF-IDF</h3><p>Ya logramos acotar bastante la cantidad de n-gramas. Sin embargo análisis muy grandes como el que mencionamos (un millón de comentarios de 200 palabras cada uno) nos vamos a encontrar que sigue siendo demasiado. Para esto se han ideado algunos algoritmos como el que mencionaremos en este apartado: <strong><em>TF-IDF</em></strong>.</p><p>TF proviene del inglés <strong>Term Frecuency</strong>, frecuencia del término. Existen diversas maneras de ver si un término existe en un documento:</p><ul><li>Mediante una clasificación binaria, el término se encuentra o no se encuentra (0 o 1).</li><li>Mediante un conteo exaustivo de apariciones en el documento.</li><li>Term Frecuency: Contar las apariciones del término en el documento y dividirlo sobre la totalidad de términos en el documento.</li><li>Normalización logaritmica: Tomando el logaritmo del recuento.</li></ul><p>IDF proviene del inglés <strong>Inverse Document Frecuency</strong>, frecuencia de documento inversa. Vamos a nomenclar con la letra <strong>N</strong> a la totalidad de comentarios en nuestro corpus y al corpus con la letra <strong>D</strong>, que es el conjunto de todos nuestros comentarios. Ahora veamos cuantos comentarios hay en el corpus que tengan un término específico (por ejemplo “buenísimo”), su representación matemática sería así: <strong><em>|{d ∈ D: t ∈ d}|</em></strong> donde d es cada documento en el corpus y t el término en el documento.</p><p>Con esta simbología ya tenemos la interpretación de IDF:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/307/1*XvhZ0qi3x8zhZv96zww4yg.png" /></figure><p>Que es el logaritmo de N (totalidad de comentarios) sobre comentarios que tengan el término específico en el corpus.</p><p>Con todo lo expuesto ya podemos calcular el TF-IDF como el producto de TF y IDF:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/294/1*9_cZo_AIzq-aLlx8T6-egQ.png" /></figure><p>Para este cálculo hemos requerido, el término a examinar, el documento y el corpus completo de documentos (en nuestro ejemplo comentarios). Una vez procesado este cálculo obtenemos un peso que es la frecuencia en determinado documento. Queríamos encontrar qué términos eran más o menos frecuentes que otros, así que vamos a la parte divertida y hagamoslo en python. Para ello utilizaremos la librería scikit-learn que hará toda la matemática por nosotros:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a47345606f33c2f67c0256635ceb8c79/href">https://medium.com/media/a47345606f33c2f67c0256635ceb8c79/href</a></iframe><p>Para explicar brevemente lo que hicimos:</p><ul><li>En las lineas 1 y 2 importamos TfidVectorizer y pandas</li><li>En la linea 3 armamos una lista de comentarios ficticios para analizar.</li><li>En la linea 4 definimos los parámetros para el TfidVectorizer, min_df y max_df definen un humbral mínimo y máximo de frecuencia (threshold). En síntesis lo que hace es eliminar los n-gramas que tienen una frecuencia demasiado baja y ngram_range define que tipo de ngramas vamos a analizar (en nuestro caso puse unigramas y bigramas) así scikit sabe qué tipo de n-gramas tomar para la vectorización.</li><li>Luego el método fit_transform() ejecuta la instrucción</li><li>La última linea sólo arma la tabla en pandas para visualizarla.</li></ul><p>El output mostrado está resumido, ya que para las 6 frases se encontraron un total de 13 columnas. Tengamos también en cuenta que algunos n-gramas fueron filtrados por el threshold de min_df y max_df. También vemos que la librería normalizó los valores por nosotros en un rango entre 0 y 1. Esto facilita a la computadora poder analizar los pesos en forma relativa a los demás. Los invito a explorar los pesos, ya tenemos nuestro TF-IDF. Si bien el ejemplo es un dataset demasiado chico ya podemos empezar a reconocer cómo para cada frase algunos n-gramas empiezan a ser más determinantes que otros. A medida que crece en volumen nuestro dataset será más y más obvio. Ya estamos listos para entrenar un modelo que clasifique automáticamente.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f89d678abc0e" width="1" height="1" alt=""><hr><p><a href="https://medium.com/escueladeinteligenciaartificial/extracci%C3%B3n-de-features-con-bag-of-words-bow-y-tf-idf-para-nlp-f89d678abc0e">Extracción de Features con Bag of Words (BOW) y TF-IDF para NLP</a> was originally published in <a href="https://medium.com/escueladeinteligenciaartificial">EscuelaDeInteligenciaArtificial</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[¿Qué es Natural Language Processing?]]></title>
            <link>https://medium.com/escueladeinteligenciaartificial/qu%C3%A9-es-natural-language-processing-bab5c16d01b9?source=rss----2ab3616fe58a---4</link>
            <guid isPermaLink="false">https://medium.com/p/bab5c16d01b9</guid>
            <category><![CDATA[naturallanguageprocessing]]></category>
            <category><![CDATA[gpt-3]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <dc:creator><![CDATA[Farid Murzone]]></dc:creator>
            <pubDate>Wed, 07 Oct 2020 10:47:22 GMT</pubDate>
            <atom:updated>2020-10-07T11:26:26.805Z</atom:updated>
            <content:encoded><![CDATA[<p>Natural Language Processing (NLP) es la rama del Machine Learning dedicada a procesar el lenguaje. <a href="https://es.wikipedia.org/wiki/Procesamiento_de_lenguajes_naturales">Wikipedia lo define</a> como un campo de las ciencias de la computación, inteligencia artificial y lingüística que estudia las interacciones entre las computadoras y el lenguaje humano. El NLP se ocupa de la formulación e investigación de mecanismos eficaces computacionalmente para la comunicación entre personas y máquinas por medio del lenguaje natural, es decir, de las lenguas del mundo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LnCRML1dxJpP7DvUb6BI2g.jpeg" /></figure><p>Cuando decimos interacciones entre las computadoras y el lenguaje humano se nos vienen rápidamente a la mente los asistentes como Google Assistant, Siri, Alexa o Cortana. Sí, todas ellas son formas de NLP. Pero el NLP está mucho más presente en nuestra vida cotidiana. En stackoverflow cuando hacemos una pregunta y nos dice si ya fue previamente realizada o nos recomienda tags. En los sistemas de recomendación de redes sociales y plataformas multimedia, donde cáda vez que nos recomiendan una serie o una publicación se analizan las descripciones, etiquetas, actores, géneros y gustos de otras personas con mis datos previos. Nos comunicamos permanentemente con las máquinas, a veces de forma consciente y a veces sin saberlo. Al poner like en una publicación, al escuchar la misma canción o ver la misma serie más de una vez, al elegir siempre películas del mísmo género y con etiquetas muy similares, al taguear un email como Spam o hasta ir a determinados lugares utilizando google maps. Todas estas interacciones son estudiadas por varios campos del Machine Learning, pero también pueden ser interpretadas como interacciones de lenguaje, instrucciones y deseos manifestados por nosotros explícita o implicitamente.</p><p>El NLP se estudia desde la matemática y especialmente desde la estadística. Pero también entran en juego la lingüistica y otras disciplinas. Es importante para comprender una comunicación estudiar la morfología de la misma, pero también su sintaxis, su semántica y su pragmática. Según la rama dentro del NLP puede ser conveniente estudiar la fonología humana o según el objetivo puede aportar al análisis del discurso.</p><p>Con la morfología estudiamos las palábras, con la sintáxis introducimos la relación entre las palabras y cómo se componen (por ejemplo donde está un sujeto y donde un predicado), en la semántica ya nos vamos al plano del significado y llegamos al plano donde el SOTA se está superando ahora. Finalmente, complementamos el análisis con la pragmática, el contexto en el que ese significado tiene sentido.</p><h3>Historia del NLP</h3><p>El NLP surge aproximadamente en los 60’s con los primeros análisis de texto mediante computadora. Un hito para el NLP y la lingüistica fue fue la publicación de <em>Computational Analysis of Present-Day American English</em> en 1967 de los autores Henry Kucera y W. Nelson Francis. En la publicación exponen cómo realizaron computacionalmente el primer corpus de NLP, <em>Brown Corpus of Standard American English</em>. Este corpus contenía aproximadamente un millón de palabras.</p><p>Este trabajo fue el puntapié para que el NLP comenzara a poner foco en la extracción y análisis de elementos lexicales, en los métodos de estados finitos y en las primeras traducciones automáticas.</p><p>En los 70’s se avanza en el análisis de texto y en la creación de técnicas lógicas y de razonamiento para extraer conocimiento de un texto.</p><p>En los 80’s la estadística entra con fuerza al campo para analizar las probabilidades basadas en pesos de que una palabra se encuentre en determinado lugar de la oración. Con esto aparecen también los primeros algoritmos de aprendizaje automático (Machine Learning) supervisados.</p><p>Los 90’s ya comienzan a anticipar una explosión en el campo. En primer lugar el crecimiento exponencial en el poder computacional y en la cantidad de datos almacenados a partir de la explosión de internet permiten extraer grandes cantidades de información de la red. Comienzan a desarrollarse algoritmos para reconocimiento de voz (Speech to text o speech recognition) y surgen algunas técnicas populares aún hoy como Named Entity Recognition (NER) o Part-of-speech tagging.</p><p>Los 2000 explotan al máximo lo logrado en la última década. Los buscadores web son los que se llevan los focos de las cámaras, Google se lleva todos los laureles. No sólo por el sistema de búsquedas sino también por la solidez de Google Translate. Microsoft hace lo suyo en aplicaciones del paquete office, particularmente en Word, reconociendo y recomendando con mucha precisión ya no sólo errores en la ortografía sino en la gramática. También crean CNTK y <a href="https://www.microsoft.com/en-us/research/uploads/prod/2017/01/TR-2007-144.pdf">MSRLM</a>, dos toolkits para NLP. El segundo ya incorpora 40 mil millones de palabras. Recordemos el salto desde 1967 de 1 millón a 2007 de 40mil millones.</p><p>La última década fue una verdadera revolución tecnológica encabezada por la Inteligencia Artificial y el análisis de datos. Para no ser menos el NLP ha tenido unos últimos 3 o 4 años en los que mes a mes se supera el State of The Art (SOTA)… y por mucho. Es habitual leer en las noticias información relativa a algún algoritmo nuevo que permite crear un texto, traducir en realtime lo que decimos o hasta programar un componente de software. En 2018 llegó una de las grandes novedades de la década: BERT. Representación de Codificador Bidireccional de Transformadores (BERT, por sus siglas en inglés) es una técnica basada en redes neuronales elaborada por Google. La gran novedad de BERT es la bidireccionalidad, es decir que juzga las palabras tanto a la izquierda como a la derecha de cada uno de los términos. El SOTA previo (como word2vec o Glove) generaban representaciones únicas para cada palabra, en cambio BERT otorga significado a partir del contexto.</p><p>Por ejemplo:</p><pre>Pedro tiene un perro<br>Pedro es un perro jugando al futbol</pre><p>En la primera frase perro hace referencia al sustantivo animal, mientras que en la segunda hace referencia al adjetivo de calidad de Pedro jugando al futbol. Word2vec le otorgaría el mismo significado a Perro en ambos casos, BERT no. Al día de hoy BERT está disponible en más de 70 idiomas y es utilizado oficialmente por Google en varios de sus productos (inclusive los buscadores).</p><p>Además de BERT la década estuvo plagada de avances en NLP. En los últimos años en especial se han logrado grandes hitos casi mes a mes utilizando aprendizaje profundo. En pocos años hemos visto el éxito de las redes neuronales con LSTM y GRU, combinadas con mecanismos de atención y bidireccionalidad, combinadas en etapas jerárquicas, los modelos de atención como Self-attention, Bahdanau, Luong y Multi-Head. Y a partir de estos últimos especialmente la proliferación de Transformers, reformers, revnets. Todos estos conceptos y otros los expondré en profundidad en artículos en el futuro.</p><p>El año 2020 ha sido el año de los modelos generativos y a la cabeza de muchos ya habrá venido GPT-3. Generative Pre-trained Transformer 3 (GPT-3) es (ya no pero casi) la última novedad en NLP. Vino a superar el Turing Natural Language Generation (T-NLG) de Microsoft presentado apenas unos meses antes. GPT-3 entrena un corpus con unos de 175mil millones de parámetros en su versión completa, comparados con los 17mil millones de su versión previa GPT-2. GPT-3 ha sido capás de redactar artículos científicos enteros, noticias, programar scripts enteros en diferentes lenguajes y responder preguntas sobre sí mismo. En todos estos casos haciendo casi imperceptible la diferencia entre un artículo escrito por un humano y una computadora. Esto fue posible gracias a millones de elementos tomados de Comun Crawl, Wikipedia y Books. Todas estas fuentes abiertas permiten hoy a la comunidad científica seguir desarrollando modelos data-hungry. En los últimos meses han aparecido datasets nuevos que aportan más leña para el fuego como el de arXiv que contienen 1,7 millones de papers científicos. Los algoritmos se siguen mejorando. Algunos resultados preliminares como los <a href="https://arxiv.org/abs/2009.07118">publicados por Timo Schick, Hinrich Schütze</a> permiten vislumbrar que con un 0,01% de los parámetros utilizados por GPT-3 se puede igualar y hasta superar su performance.</p><p>Estamos ante un horizonte realmente excitante. Su alcance aún no es claro, el NLP llegó para quedarse y para cambiar radicalmente el mundo tal cual lo conocemos.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bab5c16d01b9" width="1" height="1" alt=""><hr><p><a href="https://medium.com/escueladeinteligenciaartificial/qu%C3%A9-es-natural-language-processing-bab5c16d01b9">¿Qué es Natural Language Processing?</a> was originally published in <a href="https://medium.com/escueladeinteligenciaartificial">EscuelaDeInteligenciaArtificial</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Procesamiento de Lenguaje Natural: Stemming y Lemmas]]></title>
            <link>https://medium.com/escueladeinteligenciaartificial/procesamiento-de-lenguaje-natural-stemming-y-lemmas-f5efd90dca8?source=rss----2ab3616fe58a---4</link>
            <guid isPermaLink="false">https://medium.com/p/f5efd90dca8</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[naturallanguageprocessing]]></category>
            <category><![CDATA[lemmatization]]></category>
            <dc:creator><![CDATA[Farid Murzone]]></dc:creator>
            <pubDate>Mon, 05 Oct 2020 13:57:14 GMT</pubDate>
            <atom:updated>2020-10-05T13:57:14.042Z</atom:updated>
            <content:encoded><![CDATA[<p>Este artículo es parte de una colección de artículos de Procesamiento de Lenguaje Natural (NLP o PLN en español) en el que analizaremos diferentes aristas y enfoques de una de las ramas más cautivantes de la Inteligencia Artificial. En la primera parte vimos que es un Token en NLP y por qué tokenizar. En esta segunda parte veremos cómo mejorar esa tokenización.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pMUYe2KbHZ5NH99JIgBhtg.jpeg" /></figure><h3>Procesamiento de texto 2 — Token normalization</h3><p>Ya vimos anteriormente que podemos <em>tokenizar</em> un texto para hacerlo más amigable al input de una máquina. Habitualmente nos encontramos con que una palabra puede tener el mismo significado pero se puede representar de varias maneras, en singular, plural, en diferentes tiempos verbales, etc.</p><p>Veamos un ejemplo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b37bf1b0e7ee441f02664a6f35d4c6f4/href">https://medium.com/media/b37bf1b0e7ee441f02664a6f35d4c6f4/href</a></iframe><p>Podemos notar que algunas palabras tienen el mismo significado o muy parecido y nos gustaría tokenizarlas como la misma. Por ejemplo: clavó y clava, clavito y clavitos y Pablito y pablito. Si bien el sustantivo propio con minúscula corresponde a un error, podemos encontrarnos con cosas de este tipo en un corpus de texto real.</p><h3>Stemming y Lemmas</h3><p>Una de las formas de normalizar nuestros tokens es mediante <strong>stemming</strong> y <strong>lemmatization</strong>.</p><p>El <em>stemming</em> consiste en quitar y reemplazar sufijos de la raíz de la palabra. La <em>lemmatización</em> es un poco más compleja e implica hacer un análisis del vocabulario y su morfología para retornar la forma básica de la palabra (sin conjugar, en singular, etc).</p><p>El <em>stemming</em> es una forma rápida pero un poco torpe de tomar las raíces. Para eso utilizaremos SnowballStemmer de NLTK. El algoritmo es bastante simple y se puede ver <a href="http://snowball.tartarus.org/algorithms/spanish/stemmer.html">en este link</a>. Cada idioma tiene sus reglas, en inglés NLTK utiliza el algoritmo de stemming de Porters, en Español toma algunas reglas que, en resumen, remueven diversos sufijos que se atribuyen a acciones (ar, er, ir, ía, en, es, etc), terminaciones plurales, generos y otros. Una vez pasada la palabra por el algoritmo de stemming devuelve un <strong>stem</strong>, que es la palabra sin la terminación o sufijos. Veamos (continuando el ejemplo anterior):</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/dc8c713aa8bceade43031c16efa26e8e/href">https://medium.com/media/dc8c713aa8bceade43031c16efa26e8e/href</a></iframe><p>Vemos que todava puede ser mejorable. A priori se me ocurre que, si bien en esta horación una vez toma el lugar de verbo y otra de sustantivo, clavit y clav hacen referencia a clavo. De la misma manera que pablit hace referencia a Pablo. Es decir, no nos extrajo diminutivos de las palabras.</p><p>La <strong>lemmatization</strong> es un poco más compleja y busca la mejor palabra de origen de las que tenemos. Veamos qué pasa si aplicamos el lemmatizer de NLTK:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/82438dc14d0dbe9e86c49191ee3730ed/href">https://medium.com/media/82438dc14d0dbe9e86c49191ee3730ed/href</a></iframe><p>En primer lugar aclaración sobre download, es necesario bajar el wordnet para nltk antes de usarlo. Pero de todas formas lo que vemos en el output es que… no hizo nada.</p><p>El problema es que al menos hasta la fecha NLTK no tiene incorporada lemmatización para español. Por suerte existen otras librerías que permiten lemmatizar y trabajar el texto como <a href="https://spacy.io/">spacy</a> o <a href="https://stanfordnlp.github.io/stanza/index.html">stanza</a>. Utilizaré para este ejemplo <em>Stanza</em>, una librería del departamento de NLP de la universidad de Stanford.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/360f915c3c0a8788696aab5a1b13cb18/href">https://medium.com/media/360f915c3c0a8788696aab5a1b13cb18/href</a></iframe><p>En primer lugar además de importar stanza (previamente instalado) se descarga el modelo para el idioma Español, Ancora, esto puede demorar algunos minutos ya que pesa aproximadamente 600mb. Luego, a diferencia de los ejemplos anteriores, le pasamos el texto completo. Lo que nos devuelve no sólo los lemmas correspondientes a cada palabra sino algunas características más. Finalmente recorremos la lista para imprimir las palabras con el lemma obtenido.</p><p>Hemos obtenido un listado de tokens bastante bueno. En el que los significados de clavar a pesar de su conjugación se tokenizan como una sola palabra. Lo mismo para clavito y pablito. Como último detalle podriamos pasar todos los tokens a minúsculas. Para simplificar el proceso podemos modificar nuestro string al principio:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/345351fa1371e97681be6677120eeed9/href">https://medium.com/media/345351fa1371e97681be6677120eeed9/href</a></iframe><p>Es todo por ahora ¡Podemos continuar!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f5efd90dca8" width="1" height="1" alt=""><hr><p><a href="https://medium.com/escueladeinteligenciaartificial/procesamiento-de-lenguaje-natural-stemming-y-lemmas-f5efd90dca8">Procesamiento de Lenguaje Natural: Stemming y Lemmas</a> was originally published in <a href="https://medium.com/escueladeinteligenciaartificial">EscuelaDeInteligenciaArtificial</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Procesamiento de texto para NLP 1: Tokenización]]></title>
            <link>https://medium.com/escueladeinteligenciaartificial/procesamiento-de-texto-para-nlp-1-tokenizaci%C3%B3n-4d533f3f6c9b?source=rss----2ab3616fe58a---4</link>
            <guid isPermaLink="false">https://medium.com/p/4d533f3f6c9b</guid>
            <category><![CDATA[inteligencia-artificial]]></category>
            <category><![CDATA[tokenización]]></category>
            <category><![CDATA[lenguaje-natural]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[pln]]></category>
            <dc:creator><![CDATA[Farid Murzone]]></dc:creator>
            <pubDate>Mon, 05 Oct 2020 00:15:22 GMT</pubDate>
            <atom:updated>2020-10-05T00:15:22.912Z</atom:updated>
            <content:encoded><![CDATA[<p>Este artículo es parte de una colección de artículos de Procesamiento de Lenguaje Natural (NLP o PLN en español) en el que analizaremos diferentes aristas y enfoques de una de las ramas más cautivantes de la Inteligencia Artificial.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qmBJg7A_c5Dtx2jt6JW1qQ.gif" /></figure><h3>¿Qué es el texto?</h3><p>Podemos pensar al texto como una secuencia de caracteres, de palabras, de frases y entidades nombradas, de oraciones, párrafos, etc. Vamos a empezar por las más básicas. Podemos pensar en un texto como una secuencia de palabras y a la palabra como una secuencia de letras que juntas le dan forma y nos remiten a algun concepto. Varias palabras, junto con algunos símbolos como signos de puntuación, interrogación o exclamación terminan por otorgarle el significado. Supongamos que tenemos las siguientes secuencias:</p><ul><li>lalaajradeaatengguesosedyartásobremes</li><li>tengosedylajarradeaguaestásobrelamesa</li><li>no tengo la jarra y la sed de agua está sobre mesa</li><li>no tengo sed y la jarra de agua está sobre la mesa</li><li>no, tengo sed y la jarra de agua está sobre la mesa</li></ul><p>Como vemos, la misma secuencia de caracteres o de palabras pueden ser totalmente diferentes, inclusive incomprensibles. Y a veces un sólo signo de puntuación puede darle a la oración el significado exactamente opuesto. Estas reglas que a veces hasta los propios humanos omitimos, o que muchas veces comprendemos gracias a contextos o a la forma de comunicarse de una persona. Cómo hacen las máquinas para entender?</p><p>Algunos idiomas tienen particularidades como palabras compuestas. Por ejemplo el alemán tiene palabras como rechtsschutzversicherungsgesellschaften que significa “compañia de seguros que provee protección legal”. Otros idiomas como el japonés no utilizan espacios. Y sin embargo la mente humana se entrena para comprender cada uno de esos idiomas. ¿Cómo hacemos para entrenar a la computadora de la misma manera?</p><h3>Tokenización</h3><p>La clave es el procesamiento del lenguaje. En NLP el proceso de convertir nuestras secuencias de caracteres, palabras o párrafos en inputs para la computadora se llama <strong>tokenización</strong>. Se puede pensar al token como la unidad para procesamiento semántico.</p><p>Para tokenizar un texto existen varias herramientas. Nosotros utilizaremos NLTK, una librería de python muy popular y potente. Comencemos tokenizando una frase por palabras, separando por espacios:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0e8ffc526c6b350ef59fa8749de4a72b/href">https://medium.com/media/0e8ffc526c6b350ef59fa8749de4a72b/href</a></iframe><p>La salida del texto nos da una lista de palabras. Sin embargo <em>manzana</em> y <em>cuánto</em> figuran con el signo de pregunta. Y si tuvieramos la palabra manzana mencionada otra vez saldría nuevamente como un token diferente. Lo mismo nos sucedería si aparece una coma o un punto ¿Cómo hacemos para evitarlo?</p><p>La opción más popular es utilizar <em>TreebankWordTokenizer</em> en lugar de WhitespaceTokenizer. Pero no es la única manera. También podemos preprocesar el texto quitando comas y signos de puntuación y separar por espacios, o bien utilizar opciones como <em>WordPunctTokenizer</em> que separa por palabras tomando como separadores todo lo que no sea un caracter alfabetico. En inglés donde se utilizan muchos apóstrofes esto suele ser un problema. En español no tanto, por el contrario al estar <em>TreebankWordTokenizer</em> preparado para el inglés puede tener algún efecto negativo, veamos:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/bfd02a83a55aaef2a192561faf24d8a7/href">https://medium.com/media/bfd02a83a55aaef2a192561faf24d8a7/href</a></iframe><p>Como vemos, a pesar de que la opción de <em>TreebankWordTokenizer</em> es la más popular en inglés el signo de apertura de pregunta <em>¿</em> fue un problema para ella. Mientras que la opción de <em>WordPunctTokenizer</em> no tuvo ningún problema (Los hubiera tenido si en español tuvieramos palabras con apóstrofes).</p><p>Continuaremos procesando el texto en el siguiente artículo, donde veremos cómo mejorar los tokens con stemming y lemmatization.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4d533f3f6c9b" width="1" height="1" alt=""><hr><p><a href="https://medium.com/escueladeinteligenciaartificial/procesamiento-de-texto-para-nlp-1-tokenizaci%C3%B3n-4d533f3f6c9b">Procesamiento de texto para NLP 1: Tokenización</a> was originally published in <a href="https://medium.com/escueladeinteligenciaartificial">EscuelaDeInteligenciaArtificial</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>