<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Farid Murzone on Medium]]></title>
        <description><![CDATA[Stories by Farid Murzone on Medium]]></description>
        <link>https://medium.com/@faridmurzone?source=rss-b279f7879807------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*f5jTSXsOTSnpowqjzu28gw.jpeg</url>
            <title>Stories by Farid Murzone on Medium</title>
            <link>https://medium.com/@faridmurzone?source=rss-b279f7879807------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 19:54:44 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@faridmurzone/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[¿Qué es y para qué sirve un StreamBuilder en flutter?]]></title>
            <link>https://medium.com/flutterhispano/qu%C3%A9-es-y-para-qu%C3%A9-sirve-un-streambuilder-en-flutter-5e91111be6cf?source=rss-b279f7879807------2</link>
            <guid isPermaLink="false">https://medium.com/p/5e91111be6cf</guid>
            <category><![CDATA[streambuilder]]></category>
            <category><![CDATA[dart]]></category>
            <category><![CDATA[programación]]></category>
            <category><![CDATA[flutter]]></category>
            <category><![CDATA[firestore]]></category>
            <dc:creator><![CDATA[Farid Murzone]]></dc:creator>
            <pubDate>Tue, 02 Aug 2022 23:25:25 GMT</pubDate>
            <atom:updated>2022-08-02T23:25:25.789Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*a5i0cwcouWkQEck8tL-cEw.jpeg" /><figcaption>StreamBuilders en Dart y Flutter. Cómo manejar eventos asíncronos y snapshots. Ejemplo con Firestore.</figcaption></figure><p>Cuando construimos una aplicación nos encontramos con comportamientos asíncronos, como llamadas a APIs, operaciones en background, carga de ficheros, etc.</p><p>Dart soporta el manejo de datos asíncronos con la clase <a href="https://api.flutter.dev/flutter/dart-async/Stream-class.html">stream</a>. Y en Flutter hacemos uso de stream mediante StreamBuilder.</p><p>Un StreamBuilder nos permite hacer un rebuild del componente cuando ocurre un evento nuevo. Por cada evento que recibamos en nuestro StreamBuilder podemos volver a retornar un widget con los datos actualizados.</p><p>Veamos un ejemplo:</p><pre>StreamBuilder(<br>    stream: _miStream,<br>    builder: (context, snapshot) {<br>        return MiWidget(snapshot.data)<br>    }<br>);</pre><p>donde miStream es el stream que estamos escuchando y el callback utilizado en el parámetro builder retorna el widget MiWidget (el que queremos rebuildear cuando obtenemos data nueva) y la utilización de dos parámetros en el callback:</p><ul><li><strong>snapshot: </strong>nos retorna el evento de miStream del tipo AsyncSnapshot, donde encontraremos propiedades como hasData para verificar si el stream ya retornó el resultado, connectionStatepara verificar en qué estado se encuentra el stream (waiting/active/done) para, por ejemplo, saber si sigue cargando o data para hacer uso del dato retornado por el stream como en el ejemplo de arriba.</li><li><strong>context</strong>: como siempre en flutter el contexto (clase BuildContext) hace referencia a la ubicación del widget dentro de la estructura de árbol de widgets. En la mayoría de los casos simples no necesitaremos usar el context, si te gustaría detalles de cómo funciona context pedimelo en comentarios y escribo un artículo sobre eso!</li></ul><p>Veamos un ejemplo concreto de uso. Quiero traerme de una base de datos (firestore en este caso) los platos de comida que contienen trigo para etiquetarlos como no aptos celíacos. Veamos:</p><pre>class ComidasConTacc extends StatefulWidget {<br>  @override<br>  _ComidasConTacc createState() =&gt; _ComidasConTaccState();<br>}<br><br>class _ComidasConTaccState extends State&lt;ComidasConTacc&gt; {<br>  final Stream&lt;QuerySnapshot&gt; _comidas =<br>    FirebaseFirestore.instance.collection(&#39;comidas&#39;).where(&#39;ingredientes&#39;, arrayContains: &#39;trigo&#39;).snapshots();<br><br>@override<br>  Widget build(BuildContext context) {</pre><pre>  StreamBuilder&lt;QuerySnapshot&gt;(<br>        stream: _comidas,<br>        builder: (context, snapshot) {<br>          if (snapshot.hasData) {<br>            return Column(<br>              children: snapshot.data.docs<br>                  .map((plato) =&gt; Plato(<br>                        plato.data()[&#39;nombre&#39;],<br>                        plato.data()[&#39;precio&#39;]<br>                      ))<br>                  .toList(),<br>            );<br>          } else {<br>            return Container();<br>          }<br>        }));<br>  }<br>}</pre><p>Si prestamos atención en la query se utilizan varias cualidades del StreamBuilder mencionadas antes. Primero invoco al widget StreamBuilder al que le paso los dos parámetros mencionados antes: stream y builder . En stream llamo a una query de firestore con .snapshots() lo que me permite detectar actualizaciones en tiempo real. Cada vez que alguno de los documentos que estoy escuchando cambie en la base de datos, el StreamBuilder me va a notificar el evento llamando nuevamente al builder . Es decir, si alguno de los artículos con harina se modificó, borró o se creó uno nuevo, entonces la función invocada en builder se llamará nuevamente y re-renderizará el widget Plato (No está creado en el ejemplo para simplificar, pero te desafío a crear la card de Plato para invocar ese widget!) otra vez con los datos actualizados. Un flash!</p><p>También estoy usando .hasData para verificar si el snapshot devuelvo en la query tiene datos, y no intentar renderizar un widget con datos vacíos. En caso de que hasData sea False en el ejemplo renderizo un container vacío… podrías poner un mensaje o utilizar la propiedad ConnectionState.waiting para renderizar un spinner de “Loading” mientras se buscan datos.</p><p>Por último dejo la referencia a la <a href="https://api.flutter.dev/flutter/widgets/StreamBuilder-class.html">documentación acá,</a> ya que econtrarás otros parámetros y metodos útiles como initialData, que nos permite arrancar con un valor de snapshot inicial, así como métodos que nos permiten manejar comportamientos antes, durante y después de que ocurre la conexión o la obtención de datos.</p><p>Espero que les resulte útil y cualquier duda o información adicional requerida no dudes en solicitarla! A mi en la diaria StreamBuilder no me falta nunca, y con los snapshdocumentación acá,ots y querys de firestore se lleva de 10!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5e91111be6cf" width="1" height="1" alt=""><hr><p><a href="https://medium.com/flutterhispano/qu%C3%A9-es-y-para-qu%C3%A9-sirve-un-streambuilder-en-flutter-5e91111be6cf">¿Qué es y para qué sirve un StreamBuilder en flutter?</a> was originally published in <a href="https://medium.com/flutterhispano">flutterhispano</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Widget de la semana: IgnorePointer]]></title>
            <link>https://medium.com/flutterhispano/widget-de-la-semana-ignorepointer-a501f1ddf777?source=rss-b279f7879807------2</link>
            <guid isPermaLink="false">https://medium.com/p/a501f1ddf777</guid>
            <category><![CDATA[ignorepointer]]></category>
            <category><![CDATA[widgets-en-flutter]]></category>
            <category><![CDATA[preventdefault]]></category>
            <category><![CDATA[bloquear-widget]]></category>
            <category><![CDATA[flutter]]></category>
            <dc:creator><![CDATA[Farid Murzone]]></dc:creator>
            <pubDate>Sun, 11 Apr 2021 12:28:10 GMT</pubDate>
            <atom:updated>2021-04-11T12:28:10.557Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NfOlEhQ3nY9IMzQL0Pwv5A.png" /></figure><p>Muchas veces les habrá pasado que en la experiencia de usuario resulta raro cuando hay una parte de la aplicación con la que el usuario no debería interactuar pero al cliquearla se colorea el área, o se desplaza o salta un snackbar. <br>En general si no ponemos ningún evento intencionalmente no pasa nada, pero muchas veces hay comportamientos por defecto que se disparan al realizar una acción sobre un widget. Quienes vienen del desarrollo web por ejemplo estarán más que familiarizados con los formularios o botones de submit que al hacer click o enter refrescan la pantalla… y a veces queríamos realizar una acción en la misma pantalla sin refrescar. En desarrollo web agarramos el evento y le pasamos la función preventDefault(), en flutter hay algo muy parecido (y más potente aún) que se llama <strong>IgnorePointer.</strong></p><p>El uso de IgnorePointer es bastante sencillo, sólo necesitamos envolver el componente que queremos que no ejecute acciones con el widget IgnorePointer(). Nos quedará algo así:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/c22dcac759fb4c2226dc3260498a077b/href">https://medium.com/media/c22dcac759fb4c2226dc3260498a077b/href</a></iframe><p>Y cómo seguimos? No hay que seguir más. Es así de fácil. IgnorePointer sólo requiere dos valores, <em>ignoring</em> (true o false) para decirle cuándo queremos ignorarlo y <em>child</em> con el componente que queremos ignorar. Cuando interactuemos con el componente Text éste no va a hacer absolutamente nada. Y si el componente en lugar de ser un text fuera un container, que adentro tuviera un monton de botones y acciones, IgnorePointer anularía todas ellas: <strong>he ahí el poder de IgnorePointer</strong>!.</p><p>Un ejercicio interesante es envolver toda tu app en un IgnorePointer… la app no hará absolutamente nada, acordate de sacarlo ja!.</p><p><strong>Ejemplo de caso de uso.</strong></p><p>Hay ocasiones en las que estamos cliqueando en la pantalla y de repente algo se mueve porque apareció un componente nuevo en nuestra UI. Esto puede llevar al usuario a cliquear accidentalmente en un lugar que en el que no quería, generando una experiencia fastidiosa. Usa IgnorePointer! Bloquea temporalmente el componente nuevo para evitar un desastre (Imagina que estas dando aplausos en esta publicación de medium y en el click 4 cambia el boton de aplausos por el de detonar bomba nuclear. No queremos que eso pase, al aparecer el botón de bomba nuclear lo renderizamos con IgnorePointer, luego de un click o de determinado tiempo le podemos pasar el valor de <em>ignoring</em> a false y listo!</p><p>Espero que les haya gustado este Widget extremadamente simple pero sumamente potente. Para la información oficial del mismo: <a href="https://api.flutter.dev/flutter/widgets/IgnorePointer-class.html">https://api.flutter.dev/flutter/widgets/IgnorePointer-class.html</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a501f1ddf777" width="1" height="1" alt=""><hr><p><a href="https://medium.com/flutterhispano/widget-de-la-semana-ignorepointer-a501f1ddf777">Widget de la semana: IgnorePointer</a> was originally published in <a href="https://medium.com/flutterhispano">flutterhispano</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Widget de la semana: CheckboxListTile]]></title>
            <link>https://medium.com/flutterhispano/widget-de-la-semana-checkboxlisttile-4f1c155dd474?source=rss-b279f7879807------2</link>
            <guid isPermaLink="false">https://medium.com/p/4f1c155dd474</guid>
            <category><![CDATA[flutter]]></category>
            <category><![CDATA[checkbox]]></category>
            <category><![CDATA[checkboxlisttile]]></category>
            <category><![CDATA[listas]]></category>
            <category><![CDATA[tarea]]></category>
            <dc:creator><![CDATA[Farid Murzone]]></dc:creator>
            <pubDate>Sun, 04 Apr 2021 13:00:33 GMT</pubDate>
            <atom:updated>2021-04-04T13:00:33.865Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*uBcpQJcfSmlUaRilOUJhHw.jpeg" /></figure><p>Los checklist están presentes en casi cualquier aplicación. En general nos encontramos en ocasiones que necesitamos sólo uno o dos “checks” y colocar un widget de <a href="https://api.flutter.dev/flutter/material/Checkbox-class.html">checkbox tradicional</a> es una buena opción.</p><p>Pero qué pasa cuando necesitamos hacer una lista de checks, como una lista de tareas o de chequeos técnicos a realizar, donde queremos que al cliquear sobre el texto se seleccione el checkbox, además ejecute una acción y tengamos que customizar los estilos? Serían un montón de Widgets. Pero como Flutter está en todo existe un widget para la ocasión, que nos ahorra tener que crear un sinfin de widgets (checkbox + containers + paddings + texto, etc) para armar una simple lista. Este Widget es <a href="https://api.flutter.dev/flutter/material/CheckboxListTile-class.html">CheckboxListTile</a>.</p><p>El widget es extremadamente sencillo de usar. Básicamente se comporta como si tuvieramos varios widgets combinados (El de checkbox + otros, como padding o Text), con los parámetros básicos necesarios para hacer funcionar una lista. Veamos un ejemplo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/683f916a56cfad531470fee8b23ee20d/href">https://medium.com/media/683f916a56cfad531470fee8b23ee20d/href</a></iframe><p>En mi ejemplo generé una función llamada activityCard donde se imprime nuestro widget estrella. La misma a su vez está en un StatefulWidget para poder manejar dinámicamente el cambio de estado de los checkbox (En este caso y a fines explicativos puse uno solo, sin embargo puede haber tantos como quieras, te desafío a cambiar el bool _value por un Map de key values y manejar varios dinámicamente!</p><p>Volvamos al ejemplo, el CheckboxListTile tiene algunas propiedades básicas y muy fáciles de usar:</p><p><strong>title</strong> <br>Corresponde al título que queremos ponerle a nuestro checkbox. Recibe como valor un widget. En mi caso utilicé un widget Text() liso y llano, pero podes jugar metiendo el widget que más te guste ahí!</p><p><strong>secondary</strong><br>Es habitual querer acompañar el checkbox title con un ícono descriptivo. De eso se trata secondary. También recibe como valor un widget. Adjuntale una Image() o un Icon() y ponele onda al checkbox!</p><p><strong>controlAffinity</strong><br>controlAffinity nos permite indicarle al widget en qué parte colocar el checkbox respecto al título. Colocando siempre el ‘secondary’ en el extremo opuesto. Recibe como valor <a href="https://api.flutter.dev/flutter/material/ListTileControlAffinity-class.html">ListTileControlAffinity</a> donde sus valores posibles son trailing (detrás), leading (adelante), platform (valor por default según el tipo de dispositivo) y values (enum de valores custom).</p><p><strong>activeColor<br></strong>Es el color que tomará el checkbox (y sólo el checkbox) cuando está seleccionado.</p><p><strong>checkColor</strong><br>Es el color que tomará el checkbox cuando está deseleccionado</p><p><strong>onChange</strong><br>Es el evento que se llama cuando se hace click en el CheckboxListTile. En mi caso paso un setState para modificar su estado. Podrías llamar a una función que ejecute las acciones que más te gusten.</p><p><strong>value<br></strong>Es el valor que tomará el checkbox. En mi caso es un estado para que su valor sea dinámico. Al cliquear se selecciona y al cliquear de nuevo se deselecciona.</p><p>Estos son los valores principales. Pero no se queda ahí, tenemos varias propiedades para customizarlo aún más como contentPadding para customizar su padding sin envolverlo en otro Widget, o tileColor, selectedTileColor para setear el background del widget. shape para definir su forma sin necesidad de InkWell o tristate que nos permite además de los valores true y false manejar un valor null cuando el checkbox aún no fue seleccionado o deseleccionado.</p><p>Para más referencias dejo el link de la documentación oficial:</p><p><a href="https://api.flutter.dev/flutter/material/CheckboxListTile-class.html">CheckboxListTile class - material library - Dart API</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4f1c155dd474" width="1" height="1" alt=""><hr><p><a href="https://medium.com/flutterhispano/widget-de-la-semana-checkboxlisttile-4f1c155dd474">Widget de la semana: CheckboxListTile</a> was originally published in <a href="https://medium.com/flutterhispano">flutterhispano</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Funciones de activación para redes neuronales]]></title>
            <link>https://medium.com/escueladeinteligenciaartificial/funciones-de-activaci%C3%B3n-para-redes-neuronales-de00fefb7150?source=rss-b279f7879807------2</link>
            <guid isPermaLink="false">https://medium.com/p/de00fefb7150</guid>
            <category><![CDATA[softmax]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[redes-neuronales]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <category><![CDATA[funciones-de-activación]]></category>
            <dc:creator><![CDATA[Farid Murzone]]></dc:creator>
            <pubDate>Sat, 03 Apr 2021 12:52:02 GMT</pubDate>
            <atom:updated>2021-04-03T12:52:02.897Z</atom:updated>
            <content:encoded><![CDATA[<p>Imaginémonos que nuestra red se encuentra en un camino frente a una bifurcación. ¿Cómo decide por qué lado ir? Esa es la tarea de las funciones de activación.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*rQ9BIEYJrSN7zjuznEBY-Q.jpeg" /></figure><p>La función de activación recibe un valor de entrada y se encarga de devolver una salida que corresponde a la decisión o el peso determinado a partir de la entrada. Habitualmente los valores de salida están normalizados en rangos entre [0,1] o [-1,1].</p><p>Se trata de funciones matemáticas simples, característica que les permite no ser pesadas computacionalmente, lo que es sumamente importante teniendo en consideración que las funciones de activación se ejecutan para cada neurona de la red, por cada muestra y por cada ciclo. Por ejemplo si tenemos 1500 muestras con 10 features cada un con 4 capas de 64 neuronas cada una esto se traduce en millones de ejecuciones en un entrenamiento (3840000 ejecuciones para el ejemplo dado por cada iteración).</p><p>Las funciones de activación nos permitirán reducir la complejidad de cómputo y evaluar el rango resultante en valores más manejables. Para comenzar a analizar su utilidad veamos qué es lo que pasa si no tuvieramos ninguna transformación:</p><p><strong>Función lineal</strong></p><p>El resultado de una transformación sin transformación en su resultado nos daría una función lineal. Para cada valor de la función en x (es decir, <strong>f(x)</strong>) obtenemos un valor x. Es lo mismo que decir <strong>x = y, </strong>para quien no esté familiarizado con notación de funciones. ¿Y esto que implica? Que para cada valor de entrada voy a obtener el mismo valor de salida. Sin importar cuan grande o chico sea. Veamoslo graficado:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/684/1*QPTC01MIREOoO22qmwP98A.png" /></figure><p>Para f(x) donde x sea 1, x sigue valiendo 1. Si fuera 2, seguiría valiendo 2. Como decíamos su ecuación es la conocida f(x) = x y tanto su rango como su dominio van de (-∞, +∞). La salida no se limita en ningún rango ya que al crecer o decrecera f(x), x lo hace en la misma medida. Por tal motivo no ayuda demasiado a reducir complejidad para nuestra red neuronal. En cambio hay otras funciones que sí lo hacen. Veamos:</p><p><strong>Función sigmoide</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Ts0PhqsoTor4JSZVsZijVg.png" /></figure><p>La función sigmoide lleva todos nuestros valores entre (0, 1). Por lo tanto, se usa especialmente para modelos en los que tenemos que predecir la probabilidad de algo, ya que utilizamos 0 como 0% y 1 como 100%.<br>La función es diferenciable, es decir, podemos encontrar la pendiente de la curva sigmoidea en dos puntos cualesquiera. Además la función es monótona, pero la derivada de la función no lo es.<br>Ocasionalmente pueden encontrarse con que este tipo de funciones de activación llegado a un determinado porcentaje de accuracy y con muchas clases en el entrenamiento se trabe y no mejore. En este sentido la función softmax es una función de activación logística más generalizada que se utiliza para la clasificación multiclase.</p><p><strong>Función tangencial hiperbólica (tanh)</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/428/1*KUxK7tcAgSng47dkPChT5w.png" /></figure><p>A diferencia de la función de activación sigmoide el rango de la función tanh es de (-1, 1). A este tipo de funciones (tanto a la sigmoide como a la tanh) también se las denomina sigmoideas y se pueden identificar rápidamente por su forma de S.</p><p>La ventaja que tienen las tangenciales hiperbólicas (tanh) es que las entradas negativas se mapearán fuertemente negativas y las entradas positivas se mapearán fuertemente positivas. Los resultados tienden a los extremos.<br>Al igual que en la sigmoide la función es diferenciable y monótona mientras que su derivada no lo es.<br>La función tanh se utiliza principalmente para la clasificación entre dos clases. Ya que si la tendencia es hacia uno de los lados la función lo arrastrará más aún para ese lado.</p><p><strong>Función ReLu</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_zrb2LXkTpUbGk4jqPa_RQ.png" /></figure><p>La ReLU es la función de activación más utilizada en el mundo en estos momentos, ya que se utiliza en casi todas las redes neuronales convolucionales o de deep learning.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/300/1*5gpoBPWH41BA98azuw_Ezw.png" /><figcaption>Para todo valor de x menor que 0, f(x) vale 0</figcaption></figure><p>Como se ve en el gráfico la ReLU se mantiene permanente al principio, f(x) es cero cuando x es menor que cero y luego se dispara hacia arriba en forma lineal donde f(x) es igual a x cuando x es superior o igual a cero.</p><p>Su rango o codominio es [0, +∞) y tanto la función como su derivada son monótonas.</p><p>Se preguntarán, si la función lineal f(x) = x nos resultaba de poca ayuda. ¿Cuál es la diferencia en la ReLU? La clave está en que todos los valores negativos se vuelven cero, y eso significa que cualquier entrada negativa dada a la función de activación de ReLU convierte el valor en cero inmediatamente. Esto puede ayudar mucho en la simplificación computacional ya que todos los valores iguales a 0 son inmediatamente descartados (dichas neuronas son irrelevantes). A su vez esto puede disminuir la capacidad del modelo para ajustarse o entrenarse a partir de los datos correctamente. En general la función ReLU tiene buena performance en redes convolucionales.</p><p><strong>Leaky ReLU</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/490/1*c2MdtOKAoM0bpFGjfvvOCQ.png" /></figure><p>Leaky ReLU es una variante de la función anterior que viene a corregir el descarte masivo que mencionabamos anteriormente. Para ello mantiene los valores cuando x es menor que 0 pero dándoles menor peso.</p><p>Su ecuación es:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/325/1*OfCG81B10rc4LYTb8XvWJw.png" /><figcaption>Para todo x menor que 0 se multiplica x por un factor</figcaption></figure><p>Tiene todas las virtudes de la ReLU pero además en lugar de descartar los valores negativos los rectifica con un coeficiente pequeño.</p><p><strong>Softmax</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/709/1*4SzRNtEHnN58XaiQZdqAtg.png" /></figure><p>La función softmax es una de las funciones estrella en la última capa de la red. Ya que permite realizar una clasificación categórica multiclase. Esto se debe a que por su forma sigmoidea clasifica entre valores de 0 y 1 (probabilidad) pero a diferencia de la sigmoide o de la tanh es muy diferenciable y no empuja la salida hacia los extremos 0 y 1 (o -1 y 1 para el caso de tanh).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/266/1*1zGZ-iv_uOTCfqXm4on2yw.png" /></figure><p>Como se ve en la ecuación, la función aplica una función exponencial para cada valor de z y lo normaliza dividiéndolo por la sumatoria de todos los exponenciales del vector. Este tipo de funciones se utilizan tanto en modelos de Deep Learning para clasificar salidas como en modelos de Reinforcement Learning para calcular probabilidades de acción.</p><p><strong>Palabras finales</strong></p><p>Existen otras funciones de activación como la binaria, maxout, ELU, Prelu, softplus entre otras. Todas estas funciones no lineales nos facilitan la generalización o adaptación del modelo con una gran variedad de datos y permiten diferenciar entre los resultados.</p><p>Tener la representación gráfica y en consideración su dominio, rango y si las funciones o sus derivadas son monótonas nos permiten elegir mejor a la hora de construir nuestra red.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=de00fefb7150" width="1" height="1" alt=""><hr><p><a href="https://medium.com/escueladeinteligenciaartificial/funciones-de-activaci%C3%B3n-para-redes-neuronales-de00fefb7150">Funciones de activación para redes neuronales</a> was originally published in <a href="https://medium.com/escueladeinteligenciaartificial">EscuelaDeInteligenciaArtificial</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[¿Dónde están los datos? Arma tu propio dataset]]></title>
            <link>https://medium.com/escueladeinteligenciaartificial/d%C3%B3nde-est%C3%A1n-los-datos-arma-tu-propio-dataset-2040959ffb08?source=rss-b279f7879807------2</link>
            <guid isPermaLink="false">https://medium.com/p/2040959ffb08</guid>
            <category><![CDATA[ingenieria-de-datos]]></category>
            <category><![CDATA[dataset]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[scraping]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <dc:creator><![CDATA[Farid Murzone]]></dc:creator>
            <pubDate>Tue, 13 Oct 2020 13:37:56 GMT</pubDate>
            <atom:updated>2020-10-13T13:37:56.969Z</atom:updated>
            <content:encoded><![CDATA[<p>En general como analistas de datos o programadores de inteligencia artificial lo primero que queremos es desarrollar nuestro modelo. Sin embargo en mi experiencia he visto que uno de los funnels más grandes de los científicos de datos está en buscar y ordenar la información. En general los cursos de data science comienzan en la etapa de preprocesado de los datos, su limpieza, tokenización, etc. ¿Pero de dónde sacamos esos datos sucios? En varias ocasiones me he encontrado con científicos de datos que ante la propuesta de un problema y su solución me contestaron: ¿Y de dónde saco el dataset? Cuando esto debería ser la tarea más sencilla dada la abundancia de datos en la actualidad. En este artículo expondré algunas ideas de cómo abordar ese problema.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/498/1*EFIJGv80QOi3RN5gKAHeCA.gif" /></figure><h3>Datos en todas partes.</h3><p>En el mundo actual datos es lo que sobran, en eso estamos todos de acuerdo. Pero en general estamos tan abrumados por la abundancia de datos que no sabemos organizar nuestra mirada para tomar una parte de ellos, organizarlos y construir nuestro dataset.</p><p>Me gusta pensar en Neo de Matrix cuando logra ver lo que hay detrás de lo que la matrix nos oculta. Es exactamente así. Por un lado es una práctica cotidiana de la mayoría de las personas compartir datos de manera pública: comentarios en redes sociales, foros y comunidades, videos, albumes de fotos. Por otro hay espacios colaborativos como Wikipedia y/o grandes repositorios de datos en los que la humanidad se ha dedicado a cargar su manera de interpretar e interactuar con el mundo.</p><p>Algunas de las fuentes más habituales son:</p><p>Existe una enorme cantidad de APIs y datasets públicos que nos permiten tener un primer acercamiento para entrenar nuestros modelos. Algunas de las empresas más grandes (y por ende con más datos) del mundo comparten habitualmente datasets. Por ejemplo (clic en los links para ver los datasets):</p><ul><li><a href="http://jmcauley.ucsd.edu/data/amazon/">Amazon</a>: Empresas como Amazon y Google suelen compartir datasets publicos.</li><li><a href="https://datasetsearch.research.google.com/">Google Dataset</a>: es un potente buscador de datasets.</li><li><a href="https://nlp.stanford.edu/sentiment/code.html">Stanford</a>: la universidad de Stanford tiene un departamento muy importante de NLP. Una libreria muy famosa (stanza) y multilenguaje está desarrollada por ellos.</li><li><a href="http://www.cs.jhu.edu/~mdredze/datasets/sentiment/">John Hopkings</a>: La universidad John Hopkings también está a la vanguardia en NLP y suele compartir datasets y papers SOTA.</li><li><a href="https://www.kaggle.com/iarunava/imdb-movie-reviews-dataset">IMDB</a> la famosa página de películas tiene un dataset enorme que se suele usar para sentiment analysis.</li><li><a href="https://archive.ics.uci.edu/ml/index.php">Machine Learning Repository</a></li><li><a href="https://www.kaggle.com/">Kaggle</a>: La meca de los data scientists. Allí suelen compartirse no sólo miles de datasets, también maneras de analizarlos, desafíos y cuenta con una gran comunidad.</li><li>Datos de instituciones públicas: Acá hay demasiado y de muchas fuentes, lo dejo para que googlees… la mayoría de los gobiernos tienen repositorios de datos a partir de sus instituciones de estadísticas. Por poner el ejemplo Argentino: <a href="https://datos.gob.ar/">https://datos.gob.ar/</a> o el de México: <a href="https://datos.gob.mx/">https://datos.gob.mx/</a></li></ul><h3>Consiguiendo / armando un dataset que no está armado</h3><p>De todas formas hay muchas veces que no tenemos un dataset armado para nuestras necesidades. Entonces entra nuestra creatividad. Hay dos enfoques principales cuando no tenemos un dataset que nos brinda de una la información que necesitamos:</p><h3>Utilizar un dataset o modelo y adaptarlo</h3><p>Supongamos que queremos hacer un análisis de sentimientos de comentarios de nuestra página de películas. Pero todavía tenemos muy pocos comentarios y performa muy mal. Bueno, una opción sería entrenarlo con otro dataset y despues testearlo contra el nuestro. Por ejemplo si quisieramos ver los comentarios positivos y negativos podríamos entrenar el modelo de IMDB, que además de los comentarios nos brinda las estrellitas que le pusieron los usuarios a una película, por ende tenemos ya una clasificación de comentarios positivos y negativos vinculando el comentario con la calificación otorgada. Una vez que tengamos ese modelo entrenado podemos utilizarlo con nuestros comentarios.</p><p>Un enfoque similar es el de <strong>fine tuning</strong> y <strong>transfer learning</strong>, un proceso mediante el cual podemos utilizar un modelo entrenado con un objetivo pero que se ajusta muy bien a otro. Este enfoque se utilizó mucho en los últimos dos años sobre todo para imagenes, donde podemos tener un modelo de clasificación de imágenes entrenado con miles o millones de fotos de objetos o animales (perros, gatos, caballos) entre los que tal vez no se encuentra la clasificación que nosotros queremos hacer (supongamos unicornios rojos y unicornios verdes). En ese caso podemos tomar el modelo ya entrenado y transferir sus pesos al nuestro, reentrenar el nuestro con pocos datos y obtener un resultado muy satisfactorio. En general (y muy resumido) el proceso de <em>transfer learning</em> consiste en tomar el modelo ya reentrenado y agregar una capa de entrenamiento con los features de nuestro dataset (unicornios rojos vs verdes) con lo cual tomará de todas las capas previas otras características como formas, bordes, texturas y tomará de la nuestra el color o el cuerno del unicornio para diferenciar la forma del que ya reconocía antes (caballo).</p><h3>Data scraping</h3><p>El término de data scraping suele asustar. Y en realidad es mucho más sencillo de lo que parece. Existe una variopinta cantidad de librerías destinadas a obtener datos de fuentes online. Entre las fuentes tenemos algunas ya mencionadas como comunidades, foros, redes sociales. Y otras que pueden provenir de datos que nosotros tengamos en emails, en la computadora o nuestras bases de datos o bien que queramos extraer de una web ajena.</p><p>Tenés que analizar precios productos en el mercado? Se puede hacer scraping de productos de retailers. Necesitás comentarios de alguna noticia en particular? Scraping de páginas de noticias (en general suele ser más fácil porque ofrecen versiones en XML y/u otros feeds)</p><p>Entre las librerías más comunes para scraping que podemos encontrar estan:</p><ul><li><a href="https://requests.readthedocs.io/es/latest/">Requests</a></li><li><a href="https://pypi.org/project/beautifulsoup4/">Beautifoul Soup</a></li><li><a href="https://lxml.de/">lxml</a></li><li><a href="https://selenium-python.readthedocs.io/">selenium</a></li><li><a href="https://scrapy.org/">scrapy</a></li></ul><p>Entre otras a las que hay que sumarle API’s de empresas, cuya diferencia con las mencionadas al principio del artículo es que no nos proveen datasets ya armados pero contienen abundante información a veces accidentalmente tagueada por los propios usuarios. El ejemplo más claro es <a href="https://developer.twitter.com/">Twitter</a> de donde podemos obtener twits relativos a un tema sólo filtrando por un hashtag. Eso nos permite construir muy fácilmente un dataset. También es muy sencillo armarse un dataset de imágenes o videos recurriendo a páginas como google y scrapeando fotos del resultado, de manera que estamos usando todo el potencial de la IA de google para armar un dataset ad hoc a nuestras necesidades.</p><h3>Creatividad</h3><p>Ante todo sé creativo. Los datos están por todas partes. No hay excusas para no desarrollar tu dataset y ponerte manos a la obra. A veces la tarea es más tediosa pero abunda la información, un caso que suelo poner de ejemplo es una clasificación de señales de audio que tuve que realizar basada en el género de la persona. En un primer aproach encontré datasets de audios ya clasificados en hombre/mujer pero en inglés. Como los datos no eran suficientes y las variaciones en lenguaje español eran sustanciales complementé el dataset con audios extraídos de una web de clases de español, en aquella ocasión como no tenía aún suficientes herramientas bajé más de 500 audios a mano, uno por uno, clasificandolos en dos carpetas según el género. Hoy los bajaría con alguna de las librerías mencionadas antes y en lugar de taguear uno por uno desarrollaría una clasificación por los nombres de los usuarios para determinar automáticamente cuáles son de un varón y cuál de una mujer.</p><p>En fin, se trata de pensar el problema una y otra vez, buscar y bucear sobre el oceano de datos e ingeniarselas para ordenarlos. Una vez tenemos eso ya podemos divertirnos con nuestro modelo, en el tema que nosotros queramos y sin depender de que nadie nos arme un dataset.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2040959ffb08" width="1" height="1" alt=""><hr><p><a href="https://medium.com/escueladeinteligenciaartificial/d%C3%B3nde-est%C3%A1n-los-datos-arma-tu-propio-dataset-2040959ffb08">¿Dónde están los datos? Arma tu propio dataset</a> was originally published in <a href="https://medium.com/escueladeinteligenciaartificial">EscuelaDeInteligenciaArtificial</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Extracción de Features con Bag of Words (BOW) y TF-IDF para NLP]]></title>
            <link>https://medium.com/escueladeinteligenciaartificial/extracci%C3%B3n-de-features-con-bag-of-words-bow-y-tf-idf-para-nlp-f89d678abc0e?source=rss-b279f7879807------2</link>
            <guid isPermaLink="false">https://medium.com/p/f89d678abc0e</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Farid Murzone]]></dc:creator>
            <pubDate>Sat, 10 Oct 2020 13:57:26 GMT</pubDate>
            <atom:updated>2020-10-10T13:57:26.870Z</atom:updated>
            <content:encoded><![CDATA[<p>En este artículo veremos como transformar tokens en features, con ello podremos contar cuantas veces o en qué contexto aparecen determinadas palabras y comenzar a darle a nuestra computadora cosas que puede entender.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/564/1*Sboz5mAYq--GBV8izZibTg.jpeg" /></figure><h3>¿Qué es bag of words?</h3><p>Supongamos que queremos detectar determinadas palabras en un texto como <em>buenísima</em> u <em>malísima</em> para realizar un análisis de sentimientos de comentarios de una película en base a la aparición de algunas de estas palabras. Donde <em>buenísima</em> nos indicaría que es un comentario positivo y viceversa.</p><p>La manera de lograr que la computadora pueda interpretar esas palabras se llama <strong>vectorización del texto</strong> y consiste en convertir las oraciones en un vector con la siguiente forma:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/450/1*JclcuBpg2Ws7rnrlvxqKkQ.png" /></figure><p>Si observamos se construyó una matriz con cada una de las palabras que aparecen en alguno de los cometarios. Donde para cada fila se completa con un 0 o un 1 según la aparición (1) o ausencia (0) de esa palabra en la frase. A estor vectores de 0’s y 1’s se los denomina <em>sparse vectors</em>.</p><p>Como vimos en la imagen a simple vista, por la aparición de la palabra <em>malísima</em> hay dos comentarios negativos y por <em>buenisima</em> hay uno positivo. Lo he simplificado al extremo para introducir los conceptos, esto se torna un poco más intrincado si tenemos, en lugar de comentarios de 4 o 5 palabras, un millón de reviews de 1000 palabras ¿Ya empiezan a imaginarse esos vectores? Los animo a pensar en el siguiente problema: ¿Y qué pasa con el orden de las palabras?. Exacto, ya no existe orden, sólo aparición o ausencia de cada una de ellas en un comentario. Es por esto que a esta técnica se la denomina <strong><em>bag of words</em> o <em>bolsa de palabras</em> </strong>en español.</p><h3>Cómo resolver el problema de alteración de orden de las palabras</h3><p>Un primer enfoque para resolver el problema del orden es trabajar con<strong> <em>n-gramas</em> </strong>que nos permiten saber que tan probable es una sentencia conformada por<em> n palabras</em> o qué tan común es en determinados corpus de texto. Los n-gramas pueden estar conformados por una palabra (<em>unigramas</em>), dos palabras (<em>bigramas</em>), tres palabras (<em>trigramas</em>) o cualquier número n de palabras (n-gramas) donde n hace referencia a la cantidad de palabras.</p><p>Veamos algunos ejemplos para la frase “Hola, como estás hoy”:</p><pre>hola, como, estas, hoy -&gt; unigramas<br>como estas -&gt; bigrama<br>como estas hoy -&gt; trigrama</pre><p>El trigrama “como estas hoy” nos aporta una información mucho más completa que “como estás”, y a la vez el bigrama nos aporta información más consisa que las palabras sueltas. El problema de esto ya empieza a saltar a la vista. Al conformar un vector de bigramas tenemos todas las posibles combinaciones de cada palabra con la palabra anterior y con la palabra posterior. A medida que aumentamos n la cantidad de combinaciones crece. Pongamos esto ahora en el contexto de un millón de comentarios de 200 palabras. Es demasiado, no escala.</p><h3>Cómo resolver el problema de combinaciones que crecen exponencialmente en n-gramas</h3><p>Seguimos afinando nuestro problema y ahora debido a la capacidad finita y limitada de procesamiento (por lo menos por ahora) tenemos que acotar el problema. Un buen <em>aproach</em> para disminuir la cantidad de combinaciones es tomar solamente los determinados n-gramas. ¿Y con cuáles nos quedamos? Uno tendería a decir: con los más frecuentes. Pero no, las palabras más frecuentes se encuentran en muchos, a veces en todos los comentarios. Una palabra que aparece siempre no nos aporta realmente demasiada información para el problema que estamos intentando resolver. Palabras como esta, el, la, y, o, a, en, etc (preposiciones, conjunciones, etc) están siempre y no son precisamente las que le otorgan el sentido a la oración. A estas palabras se las denomina <strong>stop words</strong> y en la mayoría de los preprocesados para extracción de features se opta por eliminarlas.</p><p>En el otro extremo tenemos palabras realmente raras que aparecen por ejemplo 1 sola vez en la totalidad de los cometarios. Estas palabras tampoco aportan (en general demasiada información), en la mayoría de los casos corresponden a errores de tipeo o vienen de otro idioma y también es bueno prescindir de ellas para evitar overfiting (sobre ajuste de nuestro modelo). Por ejemplo si hay sólo un comentario que contiene el bigrama “sombriro rojo” y es un comentario positivo, es muy probable que si en un nuevo comentario aparece el mismo bigrama (sombrero mal escrito + la palabra rojo) incline el peso del modelo a pensar que es un comentario positivo, ya que es una palabra que nunca apareció y cuya aparición se dió sólo en el contexto de un comentario positivo.</p><p>¿Entonces con qué nos quedamos? Con la amplia avenida del medio, excluyendo las palabras muy frecuentes (stop words) y a las muy poco frecuentes.</p><h3>TF-IDF</h3><p>Ya logramos acotar bastante la cantidad de n-gramas. Sin embargo análisis muy grandes como el que mencionamos (un millón de comentarios de 200 palabras cada uno) nos vamos a encontrar que sigue siendo demasiado. Para esto se han ideado algunos algoritmos como el que mencionaremos en este apartado: <strong><em>TF-IDF</em></strong>.</p><p>TF proviene del inglés <strong>Term Frecuency</strong>, frecuencia del término. Existen diversas maneras de ver si un término existe en un documento:</p><ul><li>Mediante una clasificación binaria, el término se encuentra o no se encuentra (0 o 1).</li><li>Mediante un conteo exaustivo de apariciones en el documento.</li><li>Term Frecuency: Contar las apariciones del término en el documento y dividirlo sobre la totalidad de términos en el documento.</li><li>Normalización logaritmica: Tomando el logaritmo del recuento.</li></ul><p>IDF proviene del inglés <strong>Inverse Document Frecuency</strong>, frecuencia de documento inversa. Vamos a nomenclar con la letra <strong>N</strong> a la totalidad de comentarios en nuestro corpus y al corpus con la letra <strong>D</strong>, que es el conjunto de todos nuestros comentarios. Ahora veamos cuantos comentarios hay en el corpus que tengan un término específico (por ejemplo “buenísimo”), su representación matemática sería así: <strong><em>|{d ∈ D: t ∈ d}|</em></strong> donde d es cada documento en el corpus y t el término en el documento.</p><p>Con esta simbología ya tenemos la interpretación de IDF:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/307/1*XvhZ0qi3x8zhZv96zww4yg.png" /></figure><p>Que es el logaritmo de N (totalidad de comentarios) sobre comentarios que tengan el término específico en el corpus.</p><p>Con todo lo expuesto ya podemos calcular el TF-IDF como el producto de TF y IDF:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/294/1*9_cZo_AIzq-aLlx8T6-egQ.png" /></figure><p>Para este cálculo hemos requerido, el término a examinar, el documento y el corpus completo de documentos (en nuestro ejemplo comentarios). Una vez procesado este cálculo obtenemos un peso que es la frecuencia en determinado documento. Queríamos encontrar qué términos eran más o menos frecuentes que otros, así que vamos a la parte divertida y hagamoslo en python. Para ello utilizaremos la librería scikit-learn que hará toda la matemática por nosotros:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a47345606f33c2f67c0256635ceb8c79/href">https://medium.com/media/a47345606f33c2f67c0256635ceb8c79/href</a></iframe><p>Para explicar brevemente lo que hicimos:</p><ul><li>En las lineas 1 y 2 importamos TfidVectorizer y pandas</li><li>En la linea 3 armamos una lista de comentarios ficticios para analizar.</li><li>En la linea 4 definimos los parámetros para el TfidVectorizer, min_df y max_df definen un humbral mínimo y máximo de frecuencia (threshold). En síntesis lo que hace es eliminar los n-gramas que tienen una frecuencia demasiado baja y ngram_range define que tipo de ngramas vamos a analizar (en nuestro caso puse unigramas y bigramas) así scikit sabe qué tipo de n-gramas tomar para la vectorización.</li><li>Luego el método fit_transform() ejecuta la instrucción</li><li>La última linea sólo arma la tabla en pandas para visualizarla.</li></ul><p>El output mostrado está resumido, ya que para las 6 frases se encontraron un total de 13 columnas. Tengamos también en cuenta que algunos n-gramas fueron filtrados por el threshold de min_df y max_df. También vemos que la librería normalizó los valores por nosotros en un rango entre 0 y 1. Esto facilita a la computadora poder analizar los pesos en forma relativa a los demás. Los invito a explorar los pesos, ya tenemos nuestro TF-IDF. Si bien el ejemplo es un dataset demasiado chico ya podemos empezar a reconocer cómo para cada frase algunos n-gramas empiezan a ser más determinantes que otros. A medida que crece en volumen nuestro dataset será más y más obvio. Ya estamos listos para entrenar un modelo que clasifique automáticamente.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f89d678abc0e" width="1" height="1" alt=""><hr><p><a href="https://medium.com/escueladeinteligenciaartificial/extracci%C3%B3n-de-features-con-bag-of-words-bow-y-tf-idf-para-nlp-f89d678abc0e">Extracción de Features con Bag of Words (BOW) y TF-IDF para NLP</a> was originally published in <a href="https://medium.com/escueladeinteligenciaartificial">EscuelaDeInteligenciaArtificial</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[¿Qué es Natural Language Processing?]]></title>
            <link>https://medium.com/escueladeinteligenciaartificial/qu%C3%A9-es-natural-language-processing-bab5c16d01b9?source=rss-b279f7879807------2</link>
            <guid isPermaLink="false">https://medium.com/p/bab5c16d01b9</guid>
            <category><![CDATA[naturallanguageprocessing]]></category>
            <category><![CDATA[gpt-3]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <dc:creator><![CDATA[Farid Murzone]]></dc:creator>
            <pubDate>Wed, 07 Oct 2020 10:47:22 GMT</pubDate>
            <atom:updated>2020-10-07T11:26:26.805Z</atom:updated>
            <content:encoded><![CDATA[<p>Natural Language Processing (NLP) es la rama del Machine Learning dedicada a procesar el lenguaje. <a href="https://es.wikipedia.org/wiki/Procesamiento_de_lenguajes_naturales">Wikipedia lo define</a> como un campo de las ciencias de la computación, inteligencia artificial y lingüística que estudia las interacciones entre las computadoras y el lenguaje humano. El NLP se ocupa de la formulación e investigación de mecanismos eficaces computacionalmente para la comunicación entre personas y máquinas por medio del lenguaje natural, es decir, de las lenguas del mundo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LnCRML1dxJpP7DvUb6BI2g.jpeg" /></figure><p>Cuando decimos interacciones entre las computadoras y el lenguaje humano se nos vienen rápidamente a la mente los asistentes como Google Assistant, Siri, Alexa o Cortana. Sí, todas ellas son formas de NLP. Pero el NLP está mucho más presente en nuestra vida cotidiana. En stackoverflow cuando hacemos una pregunta y nos dice si ya fue previamente realizada o nos recomienda tags. En los sistemas de recomendación de redes sociales y plataformas multimedia, donde cáda vez que nos recomiendan una serie o una publicación se analizan las descripciones, etiquetas, actores, géneros y gustos de otras personas con mis datos previos. Nos comunicamos permanentemente con las máquinas, a veces de forma consciente y a veces sin saberlo. Al poner like en una publicación, al escuchar la misma canción o ver la misma serie más de una vez, al elegir siempre películas del mísmo género y con etiquetas muy similares, al taguear un email como Spam o hasta ir a determinados lugares utilizando google maps. Todas estas interacciones son estudiadas por varios campos del Machine Learning, pero también pueden ser interpretadas como interacciones de lenguaje, instrucciones y deseos manifestados por nosotros explícita o implicitamente.</p><p>El NLP se estudia desde la matemática y especialmente desde la estadística. Pero también entran en juego la lingüistica y otras disciplinas. Es importante para comprender una comunicación estudiar la morfología de la misma, pero también su sintaxis, su semántica y su pragmática. Según la rama dentro del NLP puede ser conveniente estudiar la fonología humana o según el objetivo puede aportar al análisis del discurso.</p><p>Con la morfología estudiamos las palábras, con la sintáxis introducimos la relación entre las palabras y cómo se componen (por ejemplo donde está un sujeto y donde un predicado), en la semántica ya nos vamos al plano del significado y llegamos al plano donde el SOTA se está superando ahora. Finalmente, complementamos el análisis con la pragmática, el contexto en el que ese significado tiene sentido.</p><h3>Historia del NLP</h3><p>El NLP surge aproximadamente en los 60’s con los primeros análisis de texto mediante computadora. Un hito para el NLP y la lingüistica fue fue la publicación de <em>Computational Analysis of Present-Day American English</em> en 1967 de los autores Henry Kucera y W. Nelson Francis. En la publicación exponen cómo realizaron computacionalmente el primer corpus de NLP, <em>Brown Corpus of Standard American English</em>. Este corpus contenía aproximadamente un millón de palabras.</p><p>Este trabajo fue el puntapié para que el NLP comenzara a poner foco en la extracción y análisis de elementos lexicales, en los métodos de estados finitos y en las primeras traducciones automáticas.</p><p>En los 70’s se avanza en el análisis de texto y en la creación de técnicas lógicas y de razonamiento para extraer conocimiento de un texto.</p><p>En los 80’s la estadística entra con fuerza al campo para analizar las probabilidades basadas en pesos de que una palabra se encuentre en determinado lugar de la oración. Con esto aparecen también los primeros algoritmos de aprendizaje automático (Machine Learning) supervisados.</p><p>Los 90’s ya comienzan a anticipar una explosión en el campo. En primer lugar el crecimiento exponencial en el poder computacional y en la cantidad de datos almacenados a partir de la explosión de internet permiten extraer grandes cantidades de información de la red. Comienzan a desarrollarse algoritmos para reconocimiento de voz (Speech to text o speech recognition) y surgen algunas técnicas populares aún hoy como Named Entity Recognition (NER) o Part-of-speech tagging.</p><p>Los 2000 explotan al máximo lo logrado en la última década. Los buscadores web son los que se llevan los focos de las cámaras, Google se lleva todos los laureles. No sólo por el sistema de búsquedas sino también por la solidez de Google Translate. Microsoft hace lo suyo en aplicaciones del paquete office, particularmente en Word, reconociendo y recomendando con mucha precisión ya no sólo errores en la ortografía sino en la gramática. También crean CNTK y <a href="https://www.microsoft.com/en-us/research/uploads/prod/2017/01/TR-2007-144.pdf">MSRLM</a>, dos toolkits para NLP. El segundo ya incorpora 40 mil millones de palabras. Recordemos el salto desde 1967 de 1 millón a 2007 de 40mil millones.</p><p>La última década fue una verdadera revolución tecnológica encabezada por la Inteligencia Artificial y el análisis de datos. Para no ser menos el NLP ha tenido unos últimos 3 o 4 años en los que mes a mes se supera el State of The Art (SOTA)… y por mucho. Es habitual leer en las noticias información relativa a algún algoritmo nuevo que permite crear un texto, traducir en realtime lo que decimos o hasta programar un componente de software. En 2018 llegó una de las grandes novedades de la década: BERT. Representación de Codificador Bidireccional de Transformadores (BERT, por sus siglas en inglés) es una técnica basada en redes neuronales elaborada por Google. La gran novedad de BERT es la bidireccionalidad, es decir que juzga las palabras tanto a la izquierda como a la derecha de cada uno de los términos. El SOTA previo (como word2vec o Glove) generaban representaciones únicas para cada palabra, en cambio BERT otorga significado a partir del contexto.</p><p>Por ejemplo:</p><pre>Pedro tiene un perro<br>Pedro es un perro jugando al futbol</pre><p>En la primera frase perro hace referencia al sustantivo animal, mientras que en la segunda hace referencia al adjetivo de calidad de Pedro jugando al futbol. Word2vec le otorgaría el mismo significado a Perro en ambos casos, BERT no. Al día de hoy BERT está disponible en más de 70 idiomas y es utilizado oficialmente por Google en varios de sus productos (inclusive los buscadores).</p><p>Además de BERT la década estuvo plagada de avances en NLP. En los últimos años en especial se han logrado grandes hitos casi mes a mes utilizando aprendizaje profundo. En pocos años hemos visto el éxito de las redes neuronales con LSTM y GRU, combinadas con mecanismos de atención y bidireccionalidad, combinadas en etapas jerárquicas, los modelos de atención como Self-attention, Bahdanau, Luong y Multi-Head. Y a partir de estos últimos especialmente la proliferación de Transformers, reformers, revnets. Todos estos conceptos y otros los expondré en profundidad en artículos en el futuro.</p><p>El año 2020 ha sido el año de los modelos generativos y a la cabeza de muchos ya habrá venido GPT-3. Generative Pre-trained Transformer 3 (GPT-3) es (ya no pero casi) la última novedad en NLP. Vino a superar el Turing Natural Language Generation (T-NLG) de Microsoft presentado apenas unos meses antes. GPT-3 entrena un corpus con unos de 175mil millones de parámetros en su versión completa, comparados con los 17mil millones de su versión previa GPT-2. GPT-3 ha sido capás de redactar artículos científicos enteros, noticias, programar scripts enteros en diferentes lenguajes y responder preguntas sobre sí mismo. En todos estos casos haciendo casi imperceptible la diferencia entre un artículo escrito por un humano y una computadora. Esto fue posible gracias a millones de elementos tomados de Comun Crawl, Wikipedia y Books. Todas estas fuentes abiertas permiten hoy a la comunidad científica seguir desarrollando modelos data-hungry. En los últimos meses han aparecido datasets nuevos que aportan más leña para el fuego como el de arXiv que contienen 1,7 millones de papers científicos. Los algoritmos se siguen mejorando. Algunos resultados preliminares como los <a href="https://arxiv.org/abs/2009.07118">publicados por Timo Schick, Hinrich Schütze</a> permiten vislumbrar que con un 0,01% de los parámetros utilizados por GPT-3 se puede igualar y hasta superar su performance.</p><p>Estamos ante un horizonte realmente excitante. Su alcance aún no es claro, el NLP llegó para quedarse y para cambiar radicalmente el mundo tal cual lo conocemos.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bab5c16d01b9" width="1" height="1" alt=""><hr><p><a href="https://medium.com/escueladeinteligenciaartificial/qu%C3%A9-es-natural-language-processing-bab5c16d01b9">¿Qué es Natural Language Processing?</a> was originally published in <a href="https://medium.com/escueladeinteligenciaartificial">EscuelaDeInteligenciaArtificial</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Procesamiento de Lenguaje Natural: Stemming y Lemmas]]></title>
            <link>https://medium.com/escueladeinteligenciaartificial/procesamiento-de-lenguaje-natural-stemming-y-lemmas-f5efd90dca8?source=rss-b279f7879807------2</link>
            <guid isPermaLink="false">https://medium.com/p/f5efd90dca8</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[naturallanguageprocessing]]></category>
            <category><![CDATA[lemmatization]]></category>
            <dc:creator><![CDATA[Farid Murzone]]></dc:creator>
            <pubDate>Mon, 05 Oct 2020 13:57:14 GMT</pubDate>
            <atom:updated>2020-10-05T13:57:14.042Z</atom:updated>
            <content:encoded><![CDATA[<p>Este artículo es parte de una colección de artículos de Procesamiento de Lenguaje Natural (NLP o PLN en español) en el que analizaremos diferentes aristas y enfoques de una de las ramas más cautivantes de la Inteligencia Artificial. En la primera parte vimos que es un Token en NLP y por qué tokenizar. En esta segunda parte veremos cómo mejorar esa tokenización.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pMUYe2KbHZ5NH99JIgBhtg.jpeg" /></figure><h3>Procesamiento de texto 2 — Token normalization</h3><p>Ya vimos anteriormente que podemos <em>tokenizar</em> un texto para hacerlo más amigable al input de una máquina. Habitualmente nos encontramos con que una palabra puede tener el mismo significado pero se puede representar de varias maneras, en singular, plural, en diferentes tiempos verbales, etc.</p><p>Veamos un ejemplo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b37bf1b0e7ee441f02664a6f35d4c6f4/href">https://medium.com/media/b37bf1b0e7ee441f02664a6f35d4c6f4/href</a></iframe><p>Podemos notar que algunas palabras tienen el mismo significado o muy parecido y nos gustaría tokenizarlas como la misma. Por ejemplo: clavó y clava, clavito y clavitos y Pablito y pablito. Si bien el sustantivo propio con minúscula corresponde a un error, podemos encontrarnos con cosas de este tipo en un corpus de texto real.</p><h3>Stemming y Lemmas</h3><p>Una de las formas de normalizar nuestros tokens es mediante <strong>stemming</strong> y <strong>lemmatization</strong>.</p><p>El <em>stemming</em> consiste en quitar y reemplazar sufijos de la raíz de la palabra. La <em>lemmatización</em> es un poco más compleja e implica hacer un análisis del vocabulario y su morfología para retornar la forma básica de la palabra (sin conjugar, en singular, etc).</p><p>El <em>stemming</em> es una forma rápida pero un poco torpe de tomar las raíces. Para eso utilizaremos SnowballStemmer de NLTK. El algoritmo es bastante simple y se puede ver <a href="http://snowball.tartarus.org/algorithms/spanish/stemmer.html">en este link</a>. Cada idioma tiene sus reglas, en inglés NLTK utiliza el algoritmo de stemming de Porters, en Español toma algunas reglas que, en resumen, remueven diversos sufijos que se atribuyen a acciones (ar, er, ir, ía, en, es, etc), terminaciones plurales, generos y otros. Una vez pasada la palabra por el algoritmo de stemming devuelve un <strong>stem</strong>, que es la palabra sin la terminación o sufijos. Veamos (continuando el ejemplo anterior):</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/dc8c713aa8bceade43031c16efa26e8e/href">https://medium.com/media/dc8c713aa8bceade43031c16efa26e8e/href</a></iframe><p>Vemos que todava puede ser mejorable. A priori se me ocurre que, si bien en esta horación una vez toma el lugar de verbo y otra de sustantivo, clavit y clav hacen referencia a clavo. De la misma manera que pablit hace referencia a Pablo. Es decir, no nos extrajo diminutivos de las palabras.</p><p>La <strong>lemmatization</strong> es un poco más compleja y busca la mejor palabra de origen de las que tenemos. Veamos qué pasa si aplicamos el lemmatizer de NLTK:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/82438dc14d0dbe9e86c49191ee3730ed/href">https://medium.com/media/82438dc14d0dbe9e86c49191ee3730ed/href</a></iframe><p>En primer lugar aclaración sobre download, es necesario bajar el wordnet para nltk antes de usarlo. Pero de todas formas lo que vemos en el output es que… no hizo nada.</p><p>El problema es que al menos hasta la fecha NLTK no tiene incorporada lemmatización para español. Por suerte existen otras librerías que permiten lemmatizar y trabajar el texto como <a href="https://spacy.io/">spacy</a> o <a href="https://stanfordnlp.github.io/stanza/index.html">stanza</a>. Utilizaré para este ejemplo <em>Stanza</em>, una librería del departamento de NLP de la universidad de Stanford.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/360f915c3c0a8788696aab5a1b13cb18/href">https://medium.com/media/360f915c3c0a8788696aab5a1b13cb18/href</a></iframe><p>En primer lugar además de importar stanza (previamente instalado) se descarga el modelo para el idioma Español, Ancora, esto puede demorar algunos minutos ya que pesa aproximadamente 600mb. Luego, a diferencia de los ejemplos anteriores, le pasamos el texto completo. Lo que nos devuelve no sólo los lemmas correspondientes a cada palabra sino algunas características más. Finalmente recorremos la lista para imprimir las palabras con el lemma obtenido.</p><p>Hemos obtenido un listado de tokens bastante bueno. En el que los significados de clavar a pesar de su conjugación se tokenizan como una sola palabra. Lo mismo para clavito y pablito. Como último detalle podriamos pasar todos los tokens a minúsculas. Para simplificar el proceso podemos modificar nuestro string al principio:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/345351fa1371e97681be6677120eeed9/href">https://medium.com/media/345351fa1371e97681be6677120eeed9/href</a></iframe><p>Es todo por ahora ¡Podemos continuar!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f5efd90dca8" width="1" height="1" alt=""><hr><p><a href="https://medium.com/escueladeinteligenciaartificial/procesamiento-de-lenguaje-natural-stemming-y-lemmas-f5efd90dca8">Procesamiento de Lenguaje Natural: Stemming y Lemmas</a> was originally published in <a href="https://medium.com/escueladeinteligenciaartificial">EscuelaDeInteligenciaArtificial</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Procesamiento de texto para NLP 1: Tokenización]]></title>
            <link>https://medium.com/escueladeinteligenciaartificial/procesamiento-de-texto-para-nlp-1-tokenizaci%C3%B3n-4d533f3f6c9b?source=rss-b279f7879807------2</link>
            <guid isPermaLink="false">https://medium.com/p/4d533f3f6c9b</guid>
            <category><![CDATA[inteligencia-artificial]]></category>
            <category><![CDATA[tokenización]]></category>
            <category><![CDATA[lenguaje-natural]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[pln]]></category>
            <dc:creator><![CDATA[Farid Murzone]]></dc:creator>
            <pubDate>Mon, 05 Oct 2020 00:15:22 GMT</pubDate>
            <atom:updated>2020-10-05T00:15:22.912Z</atom:updated>
            <content:encoded><![CDATA[<p>Este artículo es parte de una colección de artículos de Procesamiento de Lenguaje Natural (NLP o PLN en español) en el que analizaremos diferentes aristas y enfoques de una de las ramas más cautivantes de la Inteligencia Artificial.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qmBJg7A_c5Dtx2jt6JW1qQ.gif" /></figure><h3>¿Qué es el texto?</h3><p>Podemos pensar al texto como una secuencia de caracteres, de palabras, de frases y entidades nombradas, de oraciones, párrafos, etc. Vamos a empezar por las más básicas. Podemos pensar en un texto como una secuencia de palabras y a la palabra como una secuencia de letras que juntas le dan forma y nos remiten a algun concepto. Varias palabras, junto con algunos símbolos como signos de puntuación, interrogación o exclamación terminan por otorgarle el significado. Supongamos que tenemos las siguientes secuencias:</p><ul><li>lalaajradeaatengguesosedyartásobremes</li><li>tengosedylajarradeaguaestásobrelamesa</li><li>no tengo la jarra y la sed de agua está sobre mesa</li><li>no tengo sed y la jarra de agua está sobre la mesa</li><li>no, tengo sed y la jarra de agua está sobre la mesa</li></ul><p>Como vemos, la misma secuencia de caracteres o de palabras pueden ser totalmente diferentes, inclusive incomprensibles. Y a veces un sólo signo de puntuación puede darle a la oración el significado exactamente opuesto. Estas reglas que a veces hasta los propios humanos omitimos, o que muchas veces comprendemos gracias a contextos o a la forma de comunicarse de una persona. Cómo hacen las máquinas para entender?</p><p>Algunos idiomas tienen particularidades como palabras compuestas. Por ejemplo el alemán tiene palabras como rechtsschutzversicherungsgesellschaften que significa “compañia de seguros que provee protección legal”. Otros idiomas como el japonés no utilizan espacios. Y sin embargo la mente humana se entrena para comprender cada uno de esos idiomas. ¿Cómo hacemos para entrenar a la computadora de la misma manera?</p><h3>Tokenización</h3><p>La clave es el procesamiento del lenguaje. En NLP el proceso de convertir nuestras secuencias de caracteres, palabras o párrafos en inputs para la computadora se llama <strong>tokenización</strong>. Se puede pensar al token como la unidad para procesamiento semántico.</p><p>Para tokenizar un texto existen varias herramientas. Nosotros utilizaremos NLTK, una librería de python muy popular y potente. Comencemos tokenizando una frase por palabras, separando por espacios:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0e8ffc526c6b350ef59fa8749de4a72b/href">https://medium.com/media/0e8ffc526c6b350ef59fa8749de4a72b/href</a></iframe><p>La salida del texto nos da una lista de palabras. Sin embargo <em>manzana</em> y <em>cuánto</em> figuran con el signo de pregunta. Y si tuvieramos la palabra manzana mencionada otra vez saldría nuevamente como un token diferente. Lo mismo nos sucedería si aparece una coma o un punto ¿Cómo hacemos para evitarlo?</p><p>La opción más popular es utilizar <em>TreebankWordTokenizer</em> en lugar de WhitespaceTokenizer. Pero no es la única manera. También podemos preprocesar el texto quitando comas y signos de puntuación y separar por espacios, o bien utilizar opciones como <em>WordPunctTokenizer</em> que separa por palabras tomando como separadores todo lo que no sea un caracter alfabetico. En inglés donde se utilizan muchos apóstrofes esto suele ser un problema. En español no tanto, por el contrario al estar <em>TreebankWordTokenizer</em> preparado para el inglés puede tener algún efecto negativo, veamos:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/bfd02a83a55aaef2a192561faf24d8a7/href">https://medium.com/media/bfd02a83a55aaef2a192561faf24d8a7/href</a></iframe><p>Como vemos, a pesar de que la opción de <em>TreebankWordTokenizer</em> es la más popular en inglés el signo de apertura de pregunta <em>¿</em> fue un problema para ella. Mientras que la opción de <em>WordPunctTokenizer</em> no tuvo ningún problema (Los hubiera tenido si en español tuvieramos palabras con apóstrofes).</p><p>Continuaremos procesando el texto en el siguiente artículo, donde veremos cómo mejorar los tokens con stemming y lemmatization.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4d533f3f6c9b" width="1" height="1" alt=""><hr><p><a href="https://medium.com/escueladeinteligenciaartificial/procesamiento-de-texto-para-nlp-1-tokenizaci%C3%B3n-4d533f3f6c9b">Procesamiento de texto para NLP 1: Tokenización</a> was originally published in <a href="https://medium.com/escueladeinteligenciaartificial">EscuelaDeInteligenciaArtificial</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>