<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Nicolás García Aramouni on Medium]]></title>
        <description><![CDATA[Stories by Nicolás García Aramouni on Medium]]></description>
        <link>https://medium.com/@nico.garcia.ara?source=rss-cd3beef117ab------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*QLvWMV4yk4Qs6Alfqv0NiA.jpeg</url>
            <title>Stories by Nicolás García Aramouni on Medium</title>
            <link>https://medium.com/@nico.garcia.ara?source=rss-cd3beef117ab------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 22:11:35 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@nico.garcia.ara/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Resolviendo el juego diario de LinkedIn con Analytics]]></title>
            <link>https://medium.com/data-ai-accenture-argentina/resolviendo-el-juego-diario-de-linkedin-con-analytics-daded7d872ce?source=rss-cd3beef117ab------2</link>
            <guid isPermaLink="false">https://medium.com/p/daded7d872ce</guid>
            <category><![CDATA[queen]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[optimization]]></category>
            <category><![CDATA[analytics]]></category>
            <dc:creator><![CDATA[Nicolás García Aramouni]]></dc:creator>
            <pubDate>Mon, 26 Aug 2024 19:22:28 GMT</pubDate>
            <atom:updated>2024-08-26T19:22:28.428Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qdm8WmzJVE-a9ZEC7az1hQ.jpeg" /></figure><h4><strong>Cómo los modelos matemáticos nos pueden ayudar a jugar al Queens</strong></h4><p>Quien use LinkedIn en su día a día, seguramente le haya aparecido una notificación de jugar al <a href="https://www.linkedin.com/games/queens/">Queens</a>: un juego que todos los días presenta un desafío lógico nuevo. En este juego, la idea es colocar, en un tablero de nxn (es decir, <em>n</em> filas por <em>n</em> columnas) a<em> </em>n reinas, de forma tal de que haya una reina por fila, columna, región de color y que las reinas no se toquen (es decir, no puede haber dos reinas en la misma diagonal). Hay días en los que este tablero puede ser de 7x7, 8x8, 9x9, 10x10 o hasta 11x11. A modo de ejemplo, esta es la resolución de uno de los juegos diarios, en la que puede verse que hay solo una reina por color, fila, columna, y ninguna reina se toca con otra:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/284/1*MjTbfmKTlOIBH73OuvmUtw.png" /></figure><p>En general, a la hora de resolver un juego, personalmente intento primero identificar las reinas que tienen pocos lugares disponibles (por ejemplo, en la figura anterior, las reinas de los colores gris y turquesa) y grupos de colores que ocupan las mismas filas, como para resolverlas en forma conjunta (por ejemplo, los colores rosa, rojo y turquesa). A partir de esto, se pueden buscar, a partir de inferencias lógicas, lugares candidatos para cada reina y luego validar si mis inferencias eran correctas o no. Mi performance, o mi rapidez, dependerá en general de la calidad de mis razonamientos (lo cual en algunos días pueden ser buenos y en otros, no tanto) y es por eso es que hay días que resuelvo el juego en 30 segundos, y otros días que lo resuelvo en más de 10 minutos. Sin embargo, como buen nerd, mi compromiso con el juego no terminó ahí e intenté ver si existía alguna forma de poder usar los algoritmos y modelos matemáticos para resolver el juego de forma automática.</p><h4><strong>Paso 1: Armando una lógica <em>naïve</em></strong></h4><p>La primera idea a la hora de usar los datos para armar una solución fue hacer algo que fuera lo más simple posible, pero que, dada la rapidez de los cálculos en una computadora, se pudieran hacer miles de intentos rápidamente. ¿A qué nos referimos con un intento? Veámoslo con un flujograma que explica cómo armamos nuestra solución <em>naïve</em>:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/624/1*wimYwxBO-nJ1Xn2PVRuryw.png" /></figure><p>Como puede observarse, la idea es bastante simple: ir recorriendo el cuadrado, y para cada fila, ir seleccionando alguno de los números que no fueron elegidos previamente y colocar una reina en ese número de columna. Una vez que se colocaron todas las reinas, se valida si la solución generada es válida (si hay una reina por fila, columna, color y si las reinas no se tocan) y si efectivamente es válida, el algoritmo termina.</p><p>Alguien podría preguntarse como validamos que cada región tiene solo una reina. Bueno, para eso es necesario copiar a mano las regiones y qué celdas (fila, columna) pertenecen a cada región. A modo de ejemplo, el desafío presentado por la imagen anterior se traduce en la siguiente asignación:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/dfbd4be02ab43025690582395ca0c02b/href">https://medium.com/media/dfbd4be02ab43025690582395ca0c02b/href</a></iframe><p>Tranquilamente podría argumentarse que la lógica es demasiado simple, y eso es verdad, pero en parte esto fue hecho así apropósito para que a la hora de comparar mi resolución personal con la lógica <em>naïve</em>, hubiera chances que yo pudiera ganarle a esta estrategia. Por otro lado, dado que armar una solución a partir de esto es muy rápido, es fácil de probar miles de combinaciones rápidamente hasta llegar a la resolución real. Además, a nivel conceptual, podría pensarse que esto es una cota inferior a lo que puede conseguirse armando una solución con análisis de datos.</p><h4><strong>Paso 2: Armando una estrategia óptima</strong></h4><p>Como mencionamos anteriormente, la solución <em>naïve</em> es, por diseño, simple, por lo que puede tardar más que una potencial solución óptima, lo que nos presenta el desafío de mejorar lo que conseguimos. Ahora bien, ¿cómo llegamos a esa potencial solución óptima? Para esto utilizaremos una técnica específica, ya que vamos a llegar a esto a partir de un modelo de <em>constraint programming</em> (o programación por restricciones, en español), una técnica en la que debemos definir explícitamente las restricciones que definen a una solución como válida, y luego se usa un <em>solver</em> específico para encontrar las soluciones que cumplen con esas condiciones.</p><p>Ahora bien, para entender qué se toma como input en el modelo de <em>constraint progamming</em> (usaremos la sigla CP para referirnos a este modelo), va a ser necesario abstraer el problema, y modelarlo algebraicamente. En primer lugar, supongamos que tenemos una variable binaria que indica dónde tenemos nuestras reinas:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/522/1*B4aC0TIFKW6qMu9-IRWofw.png" /></figure><p>Ahora es momento de modelar las restricciones que mencionamos anteriormente. En primer lugar, pensemos la restricción que menciona que debe haber solo una reina por fila. De esta forma, podemos pensar que podemos escribir una ecuación por fila que refleja la restricción de que la cantidad de reinas que se van a colocar en la fila <em>i</em> va a ser igual a 1:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/183/1*Z_d4bKVLEenRUXmDMY9o8A.png" /></figure><p>Esto se lee de la siguiente manera: tomamos una fila en particular, y ahí vamos por cada columna (es decir, por cada <em>j</em>), evaluando la variable correspondiente. Una vez que sumamos todas las variables de una fila, esa suma debe ser igual a 1. Esto debe cumplirse para todas las filas.</p><p>De forma análoga, lo mismo debe cumplirse para todas las columnas:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/188/1*pSTz1e6giCrgtIvLwzoWLw.png" /></figure><p>Por otro lado, también tenemos <em>n</em> regiones y cada región <em>r</em> tendrá asociada una lista de coordenadas <em>(i, j)</em> a todos los lugares de esa región. De esta forma podemos crear una restricción similar a las anteriores:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/203/1*dOS_d-NuQ4dikop0Z_Xhog.png" /></figure><p>Por último, para cada celda, debemos chequear que no haya otras reinas en las diagonales que tocan a esta celda en particular:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/541/1*DCWJW7dHjrTGN7H7GnAeRw.png" /></figure><p>Una vez que obtuvimos estas restricciones abstractas en “lápiz y papel”, usamos la librería OR-Tools para “traducirlas” en código Python y usar el solver específico de <em>constraint programming</em> para llegar a la solución óptima.</p><h4><strong>Resultados de cada estrategia</strong></h4><p>Como mencionamos anteriormente, la idea inicial era comparar mi resolución personal contra estos dos <em>approaches</em> basados en datos, por lo que, durante un mes, corrí cada una de las dos estrategias para entender el tiempo de cómputo de cada uno. Algo importante a aclarar es que los tiempos presentados a continuación no contemplan el tiempo que pasé copiando a mano las regiones de cada color, aunque, a modo de referencia, en un tablero de 8x8, esto solía ser aproximadamente 4 minutos.</p><p>En primer lugar, observemos el tiempo promedio de resolución según estrategia y el tamaño del problema (si era 7x7, 8x8, etc):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/802/1*wHBbKcIVWmLACC1RT-jizw.png" /></figure><p>Del gráfico anterior pueden extraerse múltiples <em>insights</em>:</p><p>· En las tres estrategias el tiempo de resolución promedio aumenta a medida que el tamaño de la cuadrícula crece.</p><p>· Usar un modelo matemático específico reduce enormemente el tiempo de resolución, ya que en todas las instancias se tomó menos de medio segundo.</p><p>· A medida que crece el tamaño de la instancia, el tiempo de resolución de la estrategia Naïve crece exponencialmente (el eje vertical izquierdo está cortado en 800 segundos, aunque el resultado para la instancia 11x11 es mucho más grande, como puede verse en el valor reportado)</p><p>· En las 4 instancias con tableros de al menos 10 filas, el tiempo es significativamente más alto que para juegos más chicos</p><p>· A medida que crece el tamaño de la instancia mi tiempo de resolución promedio es menor que la estrategia Naïve</p><p>Por otro lado, usar un modelo matemático no solo baja el tiempo de resolución promedio, si no también la variabilidad del tiempo de resolución, por lo que puede decirse que su beneficio es doble, como puede verse en la visualización siguiente:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/679/1*u5Ip2OcAKSJ3fb232E17IQ.png" /></figure><p>De esta visualización pueden también obtenerse los siguientes <em>insights</em>:</p><p>· La resolución hecha por mí brinda desvíos significativos independientemente del tamaño del problema: hay días en los que encuentro la solución más fácil y días en los que me cuesta más</p><p>· El desvío del modelo matemático es insignificante, prácticamente independientemente del tamaño de la instancia</p><p>· El desvío de la estrategia <em>naïve</em>, así como el tiempo de resolución promedio, aumenta de forma exponencial con el tamaño de la cuadrícula, lo cual tiene sentido ya que la cantidad de soluciones candidatas también crece forma exponencial.</p><p>Por último, a modo de referencia, incluimos el porcentaje de victorias mías sobre el modelo <em>naïve</em> según el tamaño de la cuadrícula, cuyos resultados están en línea con las conclusiones presentadas anteriormente, en los que se ve el empeoramiento significativo del modelo <em>naïve</em> a medida que crece el tamaño del desafío:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/660/1*J_rMOE7zHiAmPIS2ehICvw.png" /></figure><h4><strong>Mejorando el modelo <em>naïve</em></strong></h4><p>Una potencial crítica al modelo <em>naïve</em> propuesto es que no considera toda la información disponible ya que, por ejemplo, si en la fila 1 colocamos una reina en la columna 2, ya sabemos que en la fila 2 no podrá ir ni en la columna 2, pero tampoco en la columna 1 y 3 (considerando las diagonales) ni el resto de las columnas que tengan el mismo color de la posición (1; 2). Considerando esta información, que ya está disponible a la hora de colocar una reina, desarrollamos una versión mejorada del modelo <em>naïve</em>. En esta nueva lógica, se evalúa cada fila, evaluando qué columnas son potenciales candidatas válidas para poner una reina, las cuáles deben cumplir las siguientes condiciones:</p><p>· No haber sido seleccionada en filas anteriores</p><p>· No tiene un color elegido por las reinas seleccionadas en filas anteriores</p><p>· No está en la diagonal de la reina seleccionada en la fila anterior</p><p>En este sentido, puede verse que la lógica inicial solo consideraba la primera de las tres restricciones mencionadas aquí. Dado que nuestro mes de evaluación no consideró esta lógica, para evaluarla se decidió ejecutar 50 veces un mismo juego (el del 21 de agosto) la lógica <em>naïve</em> “base” y la mejorada, ya que las elecciones que hacen son totalmente aleatorias, lo cual valida nuestro análisis:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/736/1*udtf6bpuBXNZC4veFxLYsQ.png" /></figure><p>Un detalle que puede observarse es que el tiempo promedio de la lógica <em>naïve</em> base es menor a los resultados reportados anteriormente. Esto se debe a que hubo algunos juegos durante el mes de evaluación, para los cuales la lógica <em>naïve</em> tardó más de tres minutos (y hasta más de cinco), lo cual hace crecer el promedio. Como puede verse, tanto el tiempo promedio como el desvío standard del tiempo necesario para resolver el juego decrecen significativamente con la nueva lógica mejorada. Sin embargo, el modelo de <em>constraint programming</em> sigue siendo el rey en este caso, lo cual tiene sentido ya que es un tipo de representación que es específica para resolver problemas como este.</p><h4><strong>Conclusiones</strong></h4><p>Como pudo verse en este artículo, podemos ver que es posible aprovechar los modelos matemáticos y los datos para resolver juegos de ingenio. Por otro lado, creo que puede verse que cuando hacemos las cosas de forma inteligente e incorporamos lógicas específicas del problema a resolver se pueden mejorar las soluciones conseguidas. Por último, un último corolario indica que usar métodos específicos a los problemas que tenemos, siempre que se adapten a los pormenores y especificidades de lo que queremos resolver es lo que nos puede ayudar a obtener la mejor solución posible.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=daded7d872ce" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-ai-accenture-argentina/resolviendo-el-juego-diario-de-linkedin-con-analytics-daded7d872ce">Resolviendo el juego diario de LinkedIn con Analytics</a> was originally published in <a href="https://medium.com/data-ai-accenture-argentina">Data &amp; AI Accenture Argentina</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Prediciendo las finales de la Copa América y la Eurocopa con Inteligencia Artificial]]></title>
            <link>https://medium.com/data-ai-accenture-argentina/prediciendo-las-finales-de-la-copa-am%C3%A9rica-y-la-eurocopa-con-inteligencia-artificial-c0fa49b2a131?source=rss-cd3beef117ab------2</link>
            <guid isPermaLink="false">https://medium.com/p/c0fa49b2a131</guid>
            <category><![CDATA[sports]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[analytics]]></category>
            <dc:creator><![CDATA[Nicolás García Aramouni]]></dc:creator>
            <pubDate>Thu, 11 Jul 2024 20:53:44 GMT</pubDate>
            <atom:updated>2024-07-12T19:47:32.056Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OyoSeBCV7rijxnSkRnW2GQ.png" /></figure><p>Cada vez más, el uso de datos se ha vuelto algo central en nuestra vida, y su uso para la toma de de decisiones es cada vez más relevante. Desde el lanzamiento de ChatGPT, ¿quién no lo ha usado como asistente para hacer más fácil tareas cotidianas o laborales? De la misma forma, podemos aprovechar el poder de los modelos analíticos para analizar lo que pasa en los eventos relacionados a nuestros intereses y pasiones, como la música, el arte y los deportes. Si algo es seguro, es que durante el último mes, a quienes nos gusta el fútbol, nuestra rutina estuvo atravesada por el desarrollo de la Copa América y la UEFA Euro.</p><p>Con esto en mente, como apasionado del mundo de los deportes y fanáticos de Lionel Messi, nos pusimos como objetivo ver si podíamos calcular la probabilidad de que Argentina consiga el bicampeonato de la Copa América el domingo, y dada la sobredosis de fútbol del último mes, también predecir qué selección entre Inglaterra y España tiene una mayor probabilidad de salir campeona de Europa. Ahora bien, ¿cómo podemos lograr esto?</p><h4>La estimación del resultado de un partido</h4><p>La materia prima de los modelos predictivos son los datos históricos, por lo que, a partir de resultados históricos de partidos de selecciones e información sobre los rankings de selecciones de la FIFA, se desarrollaron varios modelos (a partir de <em>approaches </em>distintos) que predecían el resultado de un partido. A grandes rasgos, los dos grandes enfoques fueron</p><ul><li>Modelar la fuerza de ataque y de defensa de un equipo, modelando los goles convertidos y recibidos por un equipo como una distribución Poisson (una versión simplificada de lo que se hace en <a href="https://301060.exactas.uba.ar/">https://301060.exactas.uba.ar/</a>)</li><li>Desarrollar un modelo de Machine Learning que predice quién gana a partir de información sobre los últimos partidos de los equipos (resultado, goles) y la fuerza de cada equipo (medida por el Ranking FIFA)</li></ul><h4>¿Quién se estima que ganen las finales del domingo?</h4><p>A partir de estos modelos, se pueden justamente calcular las probabilidades estimadas de que algún equipo salga campeón. Sin embargo, una limitación de los modelos estadísticos es que necesitan una gran cantidad de datos, por lo que es necesario utilizar información histórica para calcular estas probabilidades. Por más que uno puede darle más importancia a observaciones más recientes, es posible considerar que el pasado no es reflejo de la situación actual de los equipos. Es por eso que, a modo de comparación, en nuestro análisis no solo incluimos el resultado de los modelos estadísticos, si no también el resultado de correr 50 veces la final de la EURO en el videojuego FC24 (lamentablemente esto no se pudo hacer para la Copa América ya que Colombia no está en el juego) -lo cual quizás muestra el estado actual de un equipo de forma más real-, y las probabilidades implícitas que se ven en una casa de apuestas (la probabilidad de empate se repartió de forma equitativa entre ambos equipos):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sYgJGjS8lrBbfxeXpIQf1w.jpeg" /></figure><p>Como puede observarse, las probabilidades brindadas por los tres enfoques anticipan encuentros parejos (no hay un equipo que tenga una probabilidad especialmente alta), y no parece haber demasiada diferencia entre todos los análisis. Por otro lado, tanto el modelo estadístico como el mercado de apuestas coinciden que Argentina tiene una pequeña diferencia favorable en sus chances de salir campeón versus el seleccionado cafetero, mientras que no hay un consenso total entre los distintos criterios para la final europea. Esto tiene sentido ya que, por más que Inglaterra era el mayor candidato en la previa del torneo, la selección española ha tenido un mayor nivel durante la competición. Dado el nivel de las distintas selecciones, y el poderío de los equipos, tiene sentido que no haya un claro ganador en ninguna de las dos finales.</p><p>Próximamente, escribiremos un nuevo post en el que mostraremos la precisión de cada uno de los enfoques propuestos, midiendo la performance económica y de poder predictivo de cada uno.</p><p><strong>Disclaimer</strong></p><p><strong>Este artículo no promueve ni fomenta la utilización de la información en el mercado de apuestas. Accenture resalta su compromiso en el uso responsable de la IA. Cabe destacar además que este tipo de tecnología no tiene en cuenta situaciones externas que puedan ocurrir el momento de los partidos ni factores humanos.</strong></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c0fa49b2a131" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-ai-accenture-argentina/prediciendo-las-finales-de-la-copa-am%C3%A9rica-y-la-eurocopa-con-inteligencia-artificial-c0fa49b2a131">Prediciendo las finales de la Copa América y la Eurocopa con Inteligencia Artificial</a> was originally published in <a href="https://medium.com/data-ai-accenture-argentina">Data &amp; AI Accenture Argentina</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[¿Cómo podemos mejorar los resultados a la hora de hacer forecasting?]]></title>
            <link>https://medium.com/data-ai-accenture-argentina/c%C3%B3mo-podemos-mejorar-los-resultados-a-la-hora-de-hacer-forecasting-0928039ee220?source=rss-cd3beef117ab------2</link>
            <guid isPermaLink="false">https://medium.com/p/0928039ee220</guid>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Nicolás García Aramouni]]></dc:creator>
            <pubDate>Mon, 18 Mar 2024 13:36:32 GMT</pubDate>
            <atom:updated>2024-03-18T13:36:32.817Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5jOKSiciEQm0gN3ZLn5u9g.png" /></figure><p>Después de cuatro años trabajando en el equipo de Accenture Applied Intelligence, y con experiencia en varios proyectos de pronóstico de demanda, he aprendido varias lecciones que me han ayudado a encarar problemas nuevos. En este artículo, mostraremos algunos de estos aprendizajes con un ejemplo práctico. La tarea es bastante directa: hacer un forecast diario de la cantidad de vehículos que pasarán por cada estación de peaje de la Ciudad de Buenos Aires los próximos seis meses (los datos, disponibles <a href="https://data.buenosaires.gob.ar/dataset/flujo-vehicular-por-unidades-peaje-ausa">aquí</a>, tienen una mayor granularidad, pero para hacer la tarea más simple, agrupamos los datos a nivel estación — día).</p><p>Para evitar la turbulencia en los datos por el COVID, los resultados finales fueron medidos en el período julio-diciembre 2019. Sin embargo, para testear la performance general de los modelos, se desarrollaron varios ejercicios de back-testing (por ejemplo, pararnos a final de diciembre 2018, forecastear enero a junio 2019 y comparar ese pronóstico con lo que pasó en la realidad). Durante los próximos párrafos, intentaré mostrar el camino lógico que hice para mejorar la performance de mis modelos.</p><h4><strong>Primero, seleccionar los modelos adecuados</strong></h4><p>Una característica importante de los problemas de forecasting es la interdependencia temporal entre las observaciones (por ejemplo, el precio de un bien en un día en particular debería estar altamente correlacionado con el precio del mismo bien del día anterior). Deberíamos usar esta característica a favor nuestro para mejorar nuestro entendimiento sobre la serie de tiempo (y, en lo posible, usar modelos que incorporen esto en el proceso de entrenamiento y predicción). Esto es similar a lo que pasa en problemas de detección de imágenes con deep learning. En ese caso, un conjunto de modelos específicos -las redes neuronales convolucionales- son utilizados. Esto es porque, para identificar objetos, no podemos ver un píxel de forma independiente, sino también considerar los que están alrededor. En este sentido, en este contexto estamos hablando de una interdependencia espacial. Con forecasting de series de tiempo, la interdependencia está asociada al paso del tiempo.</p><blockquote>Debemos aprovechar la interdependencia temporal de las series de tiempo para aumentar nuestro nivel de ententendimiento sobre los datos</blockquote><p>Relacionado con esto, modelos de machine learning de alta complejidad y performance (como Random Forest y XGBoost), que suelen ser excelentes con datos a nivel cross-section, pueden no ser siempre los mejores con estos problemas ya que esta dependencia temporal tiene que ser seteada manualmente (por ejemplo, incluyendo lags y leads de la variable a predecir como regresores). Sin embargo, podemos intentar usar varios tipos de modelos que incluyen esta temporalidad: algunos son más simples (como un modelo Naïve o un modelo de suavizado exponencial) y otros más complejos (que además nos permiten incluir variables causales adicionales si quisiéramos): como Prophet o ARIMA.</p><h4><strong>La búsqueda constante por la mejora de performance y la pesadilla de cada forecaster</strong></h4><p>Una de las características más interesante (y a veces frustrante) del trabajo del forecaster es que no siempre más significa mejor. Se puede crear un modelo complejo, con muchas variables adicionales y muchas rondas de tuneo de hiperparámetros, pero sin embargo a veces los modelos más simples (a los que suelen llamar Naïve), pueden ser mejores. En este problema en particular, la predicción más simple implicaría usar el mismo valor para el año pasado (por ejemplo, la cantidad de autos que pasan por una estación el 6 de mayo de 2019 debería ser similar a la cantidad de autos que pasaron el 6 de mayo de 2018).</p><p>Sin embargo, este modelo simple no incorpora una característica importante de este problema: la estacionalidad semanal (no hay el mismo nivel de tráfico un viernes y un sábado, por ejemplo). Por lo tanto, si el 6 de mayo fue el primer lunes de mayo de 2019, entonces la predicción “Naïve” más apropiada podría no ser el 6 de mayo de 2018, sino el valor del primer lunes de mayo de 2018. Por lo tanto, creamos dos predicciones Naïve (la primera la llamaremos “Misma Fecha” y la segunda “Misma Semana” para el primer semestre de 2019 y calculamos el <a href="https://www.baeldung.com/cs/mape-vs-wape-vs-wmape">WAPE</a> (error porcentual promedio ponderado) para conseguir unos resultados preliminares:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/828/1*Oa5c8lFSiZRneJtcGGRw6A.jpeg" /><figcaption>WAPE por estación y tipo de modelo Naïve — Enero a Junio 2019</figcaption></figure><p>Como podemos ver, una simple modificación, que nos permite incorporar dos características importantes en nuestro modelo (estacionalidad anual y semanal), nos permite conseguir una mejora considerable en la performance general. Sin embargo, al hacer un análisis exploratorio de datos simple, se encuentran algunas cosas interesantes. En particular, cuando vemos la evolución de la variable a predecir para una estación en particular (Alberdi), se puede llegar a varias conclusiones:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/828/1*x3hGF0b0vR5gM1m9oHvvfA.jpeg" /><figcaption>Cantidad de autos diaria que visita la estación Alberdi — 2017</figcaption></figure><p>Se puede observar que la estacionalidad semanal de una forma muy clara. Esto nos da un indicio de por qué el segundo modelo Naïve que armamos fue significativamente mejor que el primero. Además, se puede ver que ocasionalmente, la cantidad diaria de autos cae por debajo de 6.000. Una gran porción de estos días está asociado a un feriado nacional: Carnaval, Pascuas, la Revolución de Mayo o el Día de la Bandera. Es posible pensar entonces que los feriados tienen un comportamiento distinto a los días “ordinarios”. Por lo tanto, para hacer una mejora “final” a nuestro modelo Naïve creamos un calendario de feriados para obtener por tipo de feriado, su fecha y su fecha del año anterior (lo cual puede ser importante para feriados movibles -como Pascua-). Con esto, estamos llegando a un enfoque Naïve híbrido: para días ordinarios usamos el pronóstico “Misma Semana” y para los feriados usamos el valor del mismo feriado para el año anterior. Con este cambio, llegamos a un menor WAPE, mejorando a 15,9%.</p><blockquote>Incorporar lógicas simples de negocio muchas veces mejora la performance de los modelos matemáticos</blockquote><p>Sin embargo, el hecho de que los modelos Naïve sean bastante buenos a veces representa una pesadilla para los forecasters. ¿Por qué? Porque nuestro trabajo es ser mejores que el modelo Naïve, incorporando nuevas variables, modelos o técnicas de procesamiento de datos. Sin embargo, el hecho de que los modelos Naïve incorporen estacionalidades anuales y semanales con lógicas simples los hace competidores fuertes. Sin embargo, esto no debería frenarnos de intentar probar hacer cosas innovadoras para mejorar nuestra performance. Dada la limitación de tiempo, estas son las cosas que intenté:</p><p><em>Limpieza de datos</em></p><p>Detección de outliers de series de tiempo: Los outliers dificultan la tarea de que los modelos entiendan qué está pasando y descubrir patrones en los datos, por lo que puede ser una buena idea intentar tratarlos de algún modo. Otra vez, es importante considerar la estructura temporal, por lo que antes de detectar outliers se le quitó la tendencia y estacionalidad anual. Cada outlier identificado en el set de entrenamiento fue reemplazado por el promedio de los valores para el mismo día de la semana y mes (por ejemplo, si el sábado 1ro de abril de 2018 es un outlier, entonces para el proceso de entrenamiento, su valor fue reemplazado por el promedio de los otros sábados de abril 2018). Para quien le interese este tema, ¡próximamente se vendrá otro post al respecto!</p><p><em>Modelado</em></p><p>· Suavizado Exponencial: Es un modelo simple que utiliza solamente la serie de tiempo para el modelado y permite incorporar tendencia y estacionalidad. Suele ser robusto y tener buena performance, especialmente para períodos cortos. Intenté dos variantes, a las que llamaré expo y expo_clean (es decir, sin outliers). Adicionalmente, intenté un experiment adicional en el que en vez de hacer forecasts diarios, se hacían forecasts semanales, los cuales eran luego desagregadas según la distribución de tráfico por día de la semana (a este experimento, lo llamaré expo_semana)</p><p>· Prophet: Modelo de forecasting desarrollado por Facebook, que permite modelar comportamientos complejos, distintos niveles de estacionalidad (anual, mensual, semanal, diaria) y tendencias. Además, nos permite incorporar regresores adicionales (aunque no fueron utilizados en estos casos). A los experimentos en los que se usó Prophet, los llamaré prophet y prophet_clean (cuando se usó la serie sin outliers)</p><p>Dado esto, presentamos los resultados para todos los experimentos realizados:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/828/1*FO5vZkiDMk86ja5Z3o3w7Q.jpeg" /><figcaption>WAPE por experimento — Todas las estaciones, Enero a Junio 2019</figcaption></figure><p>Con estos resultados en mente, hay algunas conclusiones que salen del análisis:</p><blockquote><em>La cantidad de experimentos que se puede probar es infinita. Hay varias cosas que me hubiera gustado probar, pero no se logró por límite de tiempo (por ejemplo, un modelo econométrico como ARIMA o los modelos clásicos de Machine Learning)</em></blockquote><blockquote><em>· Los resultados dependen no solo de los modelos, sino también de los datos. Esto implica que puede ser que utilizar la misma metodología con otros datos podría generar unos resultados totalmente distintos.</em></blockquote><blockquote><em>· Es importante ver y entender los datos y la lógica de negocios subyacente para tener buenos resultados (incorporar estacionalidad semanal a través de reglas de negocio nos dio una reducción del WAPE de 3,4 puntos porcentuales).</em></blockquote><blockquote><em>· A veces, los modelos simples van a ser mejores que los complejos, ¡no los subestimemos!</em></blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=0928039ee220" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-ai-accenture-argentina/c%C3%B3mo-podemos-mejorar-los-resultados-a-la-hora-de-hacer-forecasting-0928039ee220">¿Cómo podemos mejorar los resultados a la hora de hacer forecasting?</a> was originally published in <a href="https://medium.com/data-ai-accenture-argentina">Data &amp; AI Accenture Argentina</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[La importancia de la personalización en el e-commerce y un camino de posibilidades]]></title>
            <link>https://medium.com/data-ai-accenture-argentina/la-importancia-de-la-personalizaci%C3%B3n-en-el-e-commerce-y-un-camino-de-posibilidades-71e196e84d83?source=rss-cd3beef117ab------2</link>
            <guid isPermaLink="false">https://medium.com/p/71e196e84d83</guid>
            <category><![CDATA[data]]></category>
            <category><![CDATA[personalization]]></category>
            <category><![CDATA[analytics]]></category>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Nicolás García Aramouni]]></dc:creator>
            <pubDate>Thu, 15 Feb 2024 18:44:37 GMT</pubDate>
            <atom:updated>2024-02-15T18:44:37.523Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bkyYaR6Gi8GncWCTVz8kZA.jpeg" /></figure><h4>Lo que aprendí trabajando en segmentación de audiencias</h4><p>Actualmente, vivimos en un mundo hiperconectado en el que estamos constantemente bombardeados con una enorme cantidad de mensajes y publicidades. Dado este gran caudal de mensajes, en el momento que las empresas intenten comunicarse con sus clientes, si los anuncios fueran irrelevantes, las personas los ignorarían o no les prestarían atención. En este contexto, personalizar la experiencia del usuario y los mensajes que se dan, apalancándonos en datos, cobra vital importancia. A partir de los datos, podemos generar mensajes relevantes que mejoren variables como el <em>engagement</em>, el <em>cross-selling</em> y la conversión. Hoy muchas veces se hace segmentación, pero no personalización: nos quedamos en el armado de clusters que no se accionan y además son estáticos, esto rompe con las dos cosas.</p><p>En la página principal de los principales sitios de <em>e-commerce</em> suele haber banners publicitarios. Dado que esto es de las primeras cosas que los usuarios ven al entrar a la página, es sumamente importante que le parezca interesante. Una de las mejores formas de hacer eso, es mostrar información sobre las marcas o categorías que el usuario muestra especial interés o sobre las que detectamos un potencial interés. El desafío entonces queda en lograr esa afinidad usuario-categoría. El enfoque que tomamos se basó en tres pilares:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/603/1*xX1rGKZeE9qHN7-d9nvCwg.png" /></figure><h4><strong>Resumiendo a los usuarios en una sola tabla</strong></h4><p>Para poder saber qué mensaje mostrar, necesitamos saber qué tan afín es un usuario a una categoría particular. Dado que hay muchas formas de medir afinidad, nosotros decidimos medir esto en tres dimensiones distintas: compras, frecuencia y búsquedas. De esta forma, podemos rankear a las categorías para cada usuario según distintas visiones. En particular, medimos, entre otras, las siguientes variables</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/882/1*MAgK0YEOszHam9-crR2cSw.png" /></figure><p>Por otro lado, dado que algunas de estas mediciones están en distintas unidades y para facilitar la interacción con la tabla, creamos scores que iban de 0 a 1 y reflejaban la importancia de cada categoría para cada medición. Vemos un ejemplo de esto para tener mayor claridad (estos valores son ficticios y solo actúan a modo de referencia):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/662/1*kisGqBqoRSj4_fvaT19hrA.png" /></figure><p>De esta forma, logramos tener para cada combinación usuario-categoría, distintos scores que medían el nivel de interés, compras y frecuencia del usuario, haciendo más fácil la generación de audiencias y personalización de la experiencia del usuario.</p><h4><strong>Generando audiencias en dos clics (o menos de diez líneas de código)</strong></h4><p>Una vez que tenemos esta tabla, generar audiencias para dar mensajes personalizados se vuelve una tarea mucho más fácil. Esto no se debe solo al hecho de tener los datos resumidos, sino a la existencia de los scores mencionados. Por ejemplo, con estos datos podemos pensar en armar audiencias para intentar empujar la conversión de algunos segmentos de clientes como puede ser:</p><p>· Usuarios que compran, pero no frecuentemente (score de compras alto, pero de frecuencia bajo)</p><p>· Usuarios que buscan mucho, pero compran poco (score de interés alto, pero de compras bajo)</p><h4><strong>En constante evolución</strong></h4><p>Lo interesante del enfoque que tomamos es que es un primer paso que habilita nuevos análisis, variables y formas de generar nuevas audiencias. ¡La lista realmente es infinita! Acá lo interesante es intentar medir el comportamiento del usuario en los sitios de e-commerce y su afinidad a alguna categoría de productos, por lo que hay ciertas dimensiones que actualmente no estamos atacando en cuanto a datos: como análisis de tendencias (interesante para períodos específicos como Navidad o el día de la madre), elasticidad a promociones (quien no conoce a alguien que compra productos solo por estar en promoción y después ve si, o cómo lo usa) y el nivel de respuesta actual a banners.</p><p>Por otro lado, por más que ahora hemos podido generar audiencias a partir de reglas duras, la estadística y la inteligencia artificial nos abren nuevos horizontes, ya que a partir del análisis de correlación y las reglas de asociación podemos encontrar potenciales nuevas categorías para los usuarios (es decir, “dar mensajes del estilo “si te interesó <em>X</em>, te puede interesar <em>Y</em>”), y generar un nivel de fidelidad y cross-selling mayor. Lo bueno es que los datos están ahí, solo toca ordenarlos y aprovecharlos.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=71e196e84d83" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-ai-accenture-argentina/la-importancia-de-la-personalizaci%C3%B3n-en-el-e-commerce-y-un-camino-de-posibilidades-71e196e84d83">La importancia de la personalización en el e-commerce y un camino de posibilidades</a> was originally published in <a href="https://medium.com/data-ai-accenture-argentina">Data &amp; AI Accenture Argentina</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Armando un clasificador de texto con Inteligencia Artificial en tres pasos]]></title>
            <link>https://medium.com/data-ai-accenture-argentina/armando-un-clasificador-de-texto-con-inteligencia-artificial-en-tres-pasos-6b381106ff33?source=rss-cd3beef117ab------2</link>
            <guid isPermaLink="false">https://medium.com/p/6b381106ff33</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[analytics]]></category>
            <category><![CDATA[consulting]]></category>
            <dc:creator><![CDATA[Nicolás García Aramouni]]></dc:creator>
            <pubDate>Mon, 18 Sep 2023 14:15:04 GMT</pubDate>
            <atom:updated>2023-11-22T13:18:15.899Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7ZPM7odGa1n-1bliGS6_oA.jpeg" /></figure><h4>Cómo construimos una herramienta que nos permite automatizar tareas a partir de inteligencia artificial y procesamiento de lenguaje natural, aumentando la eficiencia y la calidad del proceso</h4><p>Desde el comienzo de la pandemia, nuestra forma de vivir, y de comprar, cambió drásticamente. En ese cambio, aparecen nuevos desafíos a resolver en toda la cadena de suministros. Por ejemplo, no es extraño pensar que algunos compradores o vendedores tengan que resolver inconvenientes a través de canales de comunicación específicos. En un contexto de constante cambio, es importante no solo darles una respuesta correcta, rápida y personalizada a los usuarios, sino también evaluar si la respuesta que hemos dado ha sido la correcta. Con el gran caudal de reclamos y preguntas que puede llegar a haber con el boom de los canales online, realizar esta evaluación <em>ex post</em> de forma manual puede ser una tarea casi imposible; sin embargo, con la ayuda de inteligencia artificial, apoyándonos en herramientas de <em>machine learning</em> y procesamiento de lenguaje natural (NLP) veamos cómo esto se vuelve posible.</p><p>Con esto en mente, supongamos que queremos evaluar las interacciones de los representantes de un <em>contact center</em> en 12 dimensiones distintas: ortografía, puntuación, inclusión de términos técnicos, utilización de lenguaje no profesional, estrategia de finalización de la conversación, etc. Además, pensemos que actualmente se están evaluando solo 1% de las interacciones de los agentes del contact center. Se puede ver que hay algunas de estas dimensiones (por ejemplo, ortografía y puntuación) se podrían evaluar automáticamente (con herramientas como el corrector automático del paquete Office), mientras que otras necesitan un grado de análisis mayor. Para estos casos, necesitamos realizar dos tareas: “traducir” el texto a una colección de números (es decir, un vector), para que puedan ser entendidos por modelos estadísticos, y luego de eso, utilizar estos resultados en un modelo que clasifique qué casos fueron correctamente analizados, y cuáles no. A modo de resumen, mostramos nuestro pipeline gráficamente, que detallaremos en los próximos párrafos</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/624/1*efjpxOJVx50ByaFnJtAS6g.png" /></figure><p><strong>Paso 1) La respuesta a todo no siempre es Machine Learning</strong></p><p>Como mencionamos anteriormente, algunas de las dimensiones que debíamos evaluar eran directas (por ejemplo, chequear que los signos de exclamación tengan apertura y cierre, errores de tipeo, entre otros). Por más que es posible entrenar un modelo de <em>machine learning</em> para realizar esta tarea, puede no ser lo mejor. En particular, para evaluar estas dimensiones utilizamos el paquete <em>LanguageTool</em> de python, que es el mismo utilizado por OpenOffice, para intentar identificar estos errores. Esto no solo nos permitió mejorar nuestras predicciones, sino tener un proceso mucho más robusto ya que ahora logramos identificar errores que antes los auditores no lograban ver manualmente.</p><p><strong>Paso 2) Traduciendo texto a números</strong></p><p>Aún cuando podíamos identificar parte de los errores con esta herramienta automática, esto no era el fin de la historia ya que para parte de los problemas necesitábamos apoyarnos en modelos de inteligencia artificial. El problema es que estos modelos no entienden “palabras” ya que no pueden tomar texto como input. Por lo tanto, para funcionar, necesitábamos poder pasar esas palabras a una colección de números (o vector). En la práctica, dado que existen varias formas de hacer esto, probamos los siguientes enfoques:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/443/1*frSYWMHFHMlLqjOBT0UVLQ.png" /></figure><p>La elección del método a utilizar no es un problema trivial y puede no haber una respuesta obvia ya que existe un <em>trade-off</em> entre calidad del modelo y peso/tiempo de entrenamiento. Siguiendo el espíritu que mencionamos en este artículo sobre <a href="https://medium.com/@nico.garcia.ara/c%C3%B3mo-podemos-mejorar-los-resultados-a-la-hora-de-hacer-forecasting-b1649e3f3e9d">forecasting</a>, tomamos un enfoque experimental y no elegimos a algún modelo como nuestra bala de plata, sino que para cada dimensión a actualizar probamos todo y nos quedamos con el que nos diera un mejor balance.</p><p>Ahora bien, ¿cuál es la diferencia entre cada modelo? Las variantes de menor complejidad lo que hacen es “contar palabras”, evaluando cuántas veces aparece <em>x</em> palabra en el texto (<em>Bag of Words</em>) o cuántas palabras aparecen al menos <em>z</em> veces en el texto (<em>FreqDist</em>). Sin embargo, <em>Word2Vec</em> y <em>BERT</em> representan las palabras en vectores que no tienen un significado unívoco (las variables generadas no tienen un nombre específico), pero que sí captan las diferencias entre las palabras. En pocas palabras, una de las diferencias entre ambos es que BERT es un mecanismo de atención que agrega el contexto a los vectores:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/479/1*UFD4HVbnHfg7bD_1CwxIYg.png" /></figure><p><strong>Paso 3) Viendo qué está bien y qué está mal</strong></p><p>Aún cuando tengamos a los textos representados en vectores nos falta evaluar cuáles de esos textos tienen errores y cuáles no. En este sentido, el camino de vectorización elegido determinaba el camino a seguir:</p><p>1) Para las dimensiones que utilizaban BERT, agregamos una capa a la red neuronal que predecía si un texto estaba bien escrito o no (viendo la dimensión en particular)</p><p>2) Para las otras dimensiones, entrenamos modelos tradicionales de <em>machine learning</em> (<em>Random Forest, LightGBM, Support Vector Machine</em>). En este sentido, el enfoque que tomamos para esto fue la misma para la vectorización: experimentar, experimentar y experimentar (¡y ver qué era lo mejor!)</p><p>Es importante marcar que parte del objetivo de esta solución era aumentar la capacidad del proceso de análisis de interacciones a través de la automatización. Sin embargo, dado que los modelos tienen cierto grado de error, no es que se pasaban a automatizar todos los análisis, sino los que los modelos mostraban tener un grado mayor de confianza (es decir, hay una porción que debe ser evaluada manualmente). Podemos ver esto de forma visual, pensando que el modelo marca la probabilidad de que el mensaje sea correcto, y conceptualmente dividiendo entre las acciones que están efectivamente mal (curva azul) y las que están bien (curva violeta):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/281/1*nIL09VNG2sFEWgtn2yCuTw.png" /></figure><p><strong>Resultados y Conclusiones</strong></p><p>Bueno, hemos llegado al final, ya que hemos vectorizado nuestro texto y hemos clasificado entre las observaciones que decimos que están bien, las que están mal y las que no sabemos. Dado el gran desafío que fue este proyecto, es importante ver dos cosas: resultados y lecciones aprendidas. En cuanto a resultados:</p><p>· Logramos una automatización del <strong>86%</strong> en lo analizado, lo cual llevaba a un ahorro de tiempo total de aproximadamente <strong>14%</strong></p><p>· Nuestra herramienta de detección automática de errores permitía aumentar la precisión del proceso en un 20%</p><p>Por otro lado, a nivel ciencia de datos, tuvimos varios aprendizajes:</p><p>· Es importante considerar el proceso de negocios y el problema existente</p><p>· No existe una solución que sirva para todos los casos. El problema debería ayudar a la elección de la solución correcta</p><p>· ¡Experimentar, experimentar y experimentar!</p><p>Conocé más sobre inteligencia aplicada en <a href="https://accntu.re/3kyDsY4">https://accntu.re/3kyDsY4</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6b381106ff33" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-ai-accenture-argentina/armando-un-clasificador-de-texto-con-inteligencia-artificial-en-tres-pasos-6b381106ff33">Armando un clasificador de texto con Inteligencia Artificial en tres pasos</a> was originally published in <a href="https://medium.com/data-ai-accenture-argentina">Data &amp; AI Accenture Argentina</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[La importancia de la personalización en el e-commerce y un camino de posibilidades]]></title>
            <link>https://medium.com/@nico.garcia.ara/la-importancia-de-la-personalizaci%C3%B3n-en-el-e-commerce-y-un-camino-de-posibilidades-a5302c574286?source=rss-cd3beef117ab------2</link>
            <guid isPermaLink="false">https://medium.com/p/a5302c574286</guid>
            <category><![CDATA[marketing]]></category>
            <category><![CDATA[personalization]]></category>
            <category><![CDATA[customer-analytics]]></category>
            <category><![CDATA[analytics]]></category>
            <dc:creator><![CDATA[Nicolás García Aramouni]]></dc:creator>
            <pubDate>Wed, 01 Feb 2023 20:57:23 GMT</pubDate>
            <atom:updated>2023-02-01T20:57:23.158Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kVaheTu1FOpknTt6Hu2XyA.jpeg" /></figure><h4>Lo que aprendí trabajando en segmentación de audiencias</h4><p>Actualmente, vivimos en un mundo hiperconectado en el que estamos constantemente bombardeados con una enorme cantidad de mensajes y publicidades. Dado este gran caudal de mensajes, en el momento que las empresas intenten comunicarse con sus clientes, si los anuncios fueran irrelevantes, las personas los ignorarían o no les prestarían atención. En este contexto, personalizar la experiencia del usuario y los mensajes que se dan, apalancándonos en datos, cobra vital importancia. A partir de los datos, podemos generar mensajes relevantes que mejoren variables como el <em>engagement</em>, el <em>cross-selling</em> y la conversión. Hoy muchas veces se hace segmentación, pero no personalización: nos quedamos en el armado de clusters que no se accionan y además son estáticos, esto rompe con las dos cosas.</p><p>En la página principal de los principales sitios de <em>e-commerce</em> suele haber banners publicitarios. Dado que esto es de las primeras cosas que los usuarios ven al entrar a la página, es sumamente importante que le parezca interesante. Una de las mejores formas de hacer eso, es mostrar información sobre las marcas o categorías que el usuario muestra especial interés o sobre las que detectamos un potencial interés. El desafío entonces queda en lograr esa afinidad usuario-categoría. El enfoque que tomamos se basó en tres pilares:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/603/1*xX1rGKZeE9qHN7-d9nvCwg.png" /></figure><p><strong>Resumiendo a los usuarios en una sola tabla</strong></p><p>Para poder saber qué mensaje mostrar, necesitamos saber qué tan afín es un usuario a una categoría particular. Dado que hay muchas formas de medir afinidad, nosotros decidimos medir esto en tres dimensiones distintas: compras, frecuencia y búsquedas. De esta forma, podemos rankear a las categorías para cada usuario según distintas visiones. En particular, medimos, entre otras, las siguientes variables</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/882/1*MAgK0YEOszHam9-crR2cSw.png" /></figure><p>Por otro lado, dado que algunas de estas mediciones están en distintas unidades y para facilitar la interacción con la tabla, creamos scores que iban de 0 a 1 y reflejaban la importancia de cada categoría para cada medición. Vemos un ejemplo de esto para tener mayor claridad (estos valores son ficticios y solo actúan a modo de referencia):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/662/1*kisGqBqoRSj4_fvaT19hrA.png" /></figure><p>De esta forma, logramos tener para cada combinación usuario-categoría, distintos scores que medían el nivel de interés, compras y frecuencia del usuario, haciendo más fácil la generación de audiencias y personalización de la experiencia del usuario.</p><p><strong>Generando audiencias en dos clics (o menos de diez líneas de código)</strong></p><p>Una vez que tenemos esta tabla, generar audiencias para dar mensajes personalizados se vuelve una tarea mucho más fácil. Esto no se debe solo al hecho de tener los datos resumidos, sino a la existencia de los scores mencionados. Por ejemplo, con estos datos podemos pensar en armar audiencias para intentar empujar la conversión de algunos segmentos de clientes como puede ser:</p><p>· Usuarios que compran, pero no frecuentemente (score de compras alto, pero de frecuencia bajo)</p><p>· Usuarios que buscan mucho, pero compran poco (score de interés alto, pero de compras bajo)</p><p><strong>En constante evolución</strong></p><p>Lo interesante del enfoque que tomamos es que es un primer paso que habilita nuevos análisis, variables y formas de generar nuevas audiencias. ¡La lista realmente es infinita! Acá lo interesante es intentar medir el comportamiento del usuario en los sitios de e-commerce y su afinidad a alguna categoría de productos, por lo que hay ciertas dimensiones que actualmente no estamos atacando en cuanto a datos: como análisis de tendencias (interesante para períodos específicos como Navidad o el día de la madre), elasticidad a promociones (quien no conoce a alguien que compra productos solo por estar en promoción y después ve si, o cómo lo usa) y el nivel de respuesta actual a banners.</p><p>Por otro lado, por más que ahora hemos podido generar audiencias a partir de reglas duras, la estadística y la inteligencia artificial nos abren nuevos horizontes, ya que a partir del análisis de correlación y las reglas de asociación podemos encontrar potenciales nuevas categorías para los usuarios (es decir, “dar mensajes del estilo “si te interesó <em>X</em>, te puede interesar <em>Y</em>”), y generar un nivel de fidelidad y cross-selling mayor. Lo bueno es que los datos están ahí, solo toca ordenarlos y aprovecharlos.</p><p>Conocé más sobre inteligencia aplicada en <a href="https://accntu.re/3kyDsY4">https://accntu.re/3kyDsY4</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a5302c574286" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Armando un clasificador de texto con Inteligencia Artificial en tres pasos]]></title>
            <link>https://medium.com/@nico.garcia.ara/armando-un-clasificador-de-texto-con-inteligencia-artificial-en-tres-pasos-b358d064bacd?source=rss-cd3beef117ab------2</link>
            <guid isPermaLink="false">https://medium.com/p/b358d064bacd</guid>
            <category><![CDATA[naturallanguageprocessing]]></category>
            <category><![CDATA[analytics]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[nlp]]></category>
            <dc:creator><![CDATA[Nicolás García Aramouni]]></dc:creator>
            <pubDate>Mon, 24 Oct 2022 19:29:56 GMT</pubDate>
            <atom:updated>2023-09-18T14:12:36.413Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*D5fytMlO2C-xTKXlpHukAg.png" /></figure><h4>Cómo construimos una herramienta que nos permite automatizar tareas a partir de inteligencia artificial y procesamiento de lenguaje natural, aumentando la eficiencia y la calidad del proceso</h4><p>Desde el comienzo de la pandemia, nuestra forma de vivir, y de comprar, cambió drásticamente. En ese cambio, aparecen nuevos desafíos a resolver en toda la cadena de suministros. Por ejemplo, no es extraño pensar que algunos compradores o vendedores tengan que resolver inconvenientes a través de canales de comunicación específicos. En un contexto de constante cambio, es importante no solo darles una respuesta correcta, rápida y personalizada a los usuarios, sino también evaluar si la respuesta que hemos dado ha sido la correcta. Con el gran caudal de reclamos y preguntas que puede llegar a haber con el boom de los canales online, realizar esta evaluación <em>ex post</em> de forma manual puede ser una tarea casi imposible; sin embargo, con la ayuda de inteligencia artificial, apoyándonos en herramientas de <em>machine learning</em> y procesamiento de lenguaje natural (NLP) veamos cómo esto se vuelve posible.</p><p>Con esto en mente, supongamos que queremos evaluar las interacciones de los representantes de un <em>contact center</em> en 12 dimensiones distintas: ortografía, puntuación, inclusión de términos técnicos, utilización de lenguaje no profesional, estrategia de finalización de la conversación, etc. Además, pensemos que actualmente se están evaluando solo 1% de las interacciones de los agentes del contact center. Se puede ver que hay algunas de estas dimensiones (por ejemplo, ortografía y puntuación) se podrían evaluar automáticamente (con herramientas como el corrector automático del paquete Office), mientras que otras necesitan un grado de análisis mayor. Para estos casos, necesitamos realizar dos tareas: “traducir” el texto a una colección de números (es decir, un vector), para que puedan ser entendidos por modelos estadísticos, y luego de eso, utilizar estos resultados en un modelo que clasifique qué casos fueron correctamente analizados, y cuáles no. A modo de resumen, mostramos nuestro pipeline gráficamente, que detallaremos en los próximos párrafos</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/624/1*efjpxOJVx50ByaFnJtAS6g.png" /></figure><p><strong>Paso 1) La respuesta a todo no siempre es Machine Learning</strong></p><p>Como mencionamos anteriormente, algunas de las dimensiones que debíamos evaluar eran directas (por ejemplo, chequear que los signos de exclamación tengan apertura y cierre, errores de tipeo, entre otros). Por más que es posible entrenar un modelo de <em>machine learning</em> para realizar esta tarea, puede no ser lo mejor. En particular, para evaluar estas dimensiones utilizamos el paquete <em>LanguageTool</em> de python, que es el mismo utilizado por OpenOffice, para intentar identificar estos errores. Esto no solo nos permitió mejorar nuestras predicciones, sino tener un proceso mucho más robusto ya que ahora logramos identificar errores que antes los auditores no lograban ver manualmente.</p><p><strong>Paso 2) Traduciendo texto a números</strong></p><p>Aún cuando podíamos identificar parte de los errores con esta herramienta automática, esto no era el fin de la historia ya que para parte de los problemas necesitábamos apoyarnos en modelos de inteligencia artificial. El problema es que estos modelos no entienden “palabras” ya que no pueden tomar texto como input. Por lo tanto, para funcionar, necesitábamos poder pasar esas palabras a una colección de números (o vector). En la práctica, dado que existen varias formas de hacer esto, probamos los siguientes enfoques:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/443/1*frSYWMHFHMlLqjOBT0UVLQ.png" /></figure><p>La elección del método a utilizar no es un problema trivial y puede no haber una respuesta obvia ya que existe un <em>trade-off</em> entre calidad del modelo y peso/tiempo de entrenamiento. Siguiendo el espíritu que mencionamos en este artículo sobre <a href="https://medium.com/@nico.garcia.ara/c%C3%B3mo-podemos-mejorar-los-resultados-a-la-hora-de-hacer-forecasting-b1649e3f3e9d">forecasting</a>, tomamos un enfoque experimental y no elegimos a algún modelo como nuestra bala de plata, sino que para cada dimensión a actualizar probamos todo y nos quedamos con el que nos diera un mejor balance.</p><p>Ahora bien, ¿cuál es la diferencia entre cada modelo? Las variantes de menor complejidad lo que hacen es “contar palabras”, evaluando cuántas veces aparece <em>x</em> palabra en el texto (<em>Bag of Words</em>) o cuántas palabras aparecen al menos <em>z</em> veces en el texto (<em>FreqDist</em>). Sin embargo, <em>Word2Vec</em> y <em>BERT</em> representan las palabras en vectores que no tienen un significado unívoco (las variables generadas no tienen un nombre específico), pero que sí captan las diferencias entre las palabras. En pocas palabras, una de las diferencias entre ambos es que BERT es un mecanismo de atención que agrega el contexto a los vectores:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/479/1*UFD4HVbnHfg7bD_1CwxIYg.png" /></figure><p><strong>Paso 3) Viendo qué está bien y qué está mal</strong></p><p>Aún cuando tengamos a los textos representados en vectores nos falta evaluar cuáles de esos textos tienen errores y cuáles no. En este sentido, el camino de vectorización elegido determinaba el camino a seguir:</p><p>1) Para las dimensiones que utilizaban BERT, agregamos una capa a la red neuronal que predecía si un texto estaba bien escrito o no (viendo la dimensión en particular)</p><p>2) Para las otras dimensiones, entrenamos modelos tradicionales de <em>machine learning</em> (<em>Random Forest, LightGBM, Support Vector Machine</em>). En este sentido, el enfoque que tomamos para esto fue la misma para la vectorización: experimentar, experimentar y experimentar (¡y ver qué era lo mejor!)</p><p>Es importante marcar que parte del objetivo de esta solución era aumentar la capacidad del proceso de análisis de interacciones a través de la automatización. Sin embargo, dado que los modelos tienen cierto grado de error, no es que se pasaban a automatizar todos los análisis, sino los que los modelos mostraban tener un grado mayor de confianza (es decir, hay una porción que debe ser evaluada manualmente). Podemos ver esto de forma visual, pensando que el modelo marca la probabilidad de que el mensaje sea correcto, y conceptualmente dividiendo entre las acciones que están efectivamente mal (curva azul) y las que están bien (curva violeta):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/281/1*nIL09VNG2sFEWgtn2yCuTw.png" /></figure><p><strong>Resultados y Conclusiones</strong></p><p>Bueno, hemos llegado al final, ya que hemos vectorizado nuestro texto y hemos clasificado entre las observaciones que decimos que están bien, las que están mal y las que no sabemos. Dado el gran desafío que fue este proyecto, es importante ver dos cosas: resultados y lecciones aprendidas. En cuanto a resultados:</p><p>· Logramos una automatización del <strong>86%</strong> en lo analizado, lo cual llevaba a un ahorro de tiempo total de aproximadamente <strong>14%</strong></p><p>· Nuestra herramienta de detección automática de errores permitía aumentar la precisión del proceso en un 20%</p><p>Por otro lado, a nivel ciencia de datos, tuvimos varios aprendizajes:</p><p>· Es importante considerar el proceso de negocios y el problema existente</p><p>· No existe una solución que sirva para todos los casos. El problema debería ayudar a la elección de la solución correcta</p><p>· ¡Experimentar, experimentar y experimentar!</p><p>Conocé más sobre inteligencia aplicada en <a href="https://accntu.re/3kyDsY4">https://accntu.re/3kyDsY4</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b358d064bacd" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Human vs. Machine: Comparing My Performance in Wordle Against an Algorithm]]></title>
            <link>https://medium.com/data-science/human-vs-machine-comparing-my-performance-in-wordle-against-an-algorithm-ac449ca76124?source=rss-cd3beef117ab------2</link>
            <guid isPermaLink="false">https://medium.com/p/ac449ca76124</guid>
            <category><![CDATA[algorithms]]></category>
            <category><![CDATA[linear-programming]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[gamification]]></category>
            <category><![CDATA[editors-pick]]></category>
            <dc:creator><![CDATA[Nicolás García Aramouni]]></dc:creator>
            <pubDate>Tue, 19 Apr 2022 15:39:55 GMT</pubDate>
            <atom:updated>2022-04-19T15:39:55.366Z</atom:updated>
            <content:encoded><![CDATA[<h4>A comparison based on statistics and linear programming</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wqtb5IH-eydH9t1gnOjKxw.jpeg" /><figcaption>Credit: <a href="https://unsplash.com/@brett_jordan">Brett Jordan</a> on <a href="https://unsplash.com/photos/POMpXtcVYHo">Unsplash </a>(Photo Free to Use under the Unsplash Licence)</figcaption></figure><p>For anyone who hasn’t been on the Internet for the past few months (or just hasn’t played the game), Wordle is a game in which you have six tries to guess a five-letter word. In each try, the game gives you information about the final word. For example:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/487/1*TmABAaeMK8lx8UWdWUljGg.png" /><figcaption>Wordle rules explanation (Credit: Image by Author)</figcaption></figure><p>In order to find this word, one should have some sort of strategy. On a personal note, in order to make the correct prediction, I usually use my first two tries to “explore” the alphabet and try to find as much information as possible about the composition of the final word (it is important to mention that as I am from Argentina, I play <a href="https://wordle.danielfrg.com/">Wordle in Spanish</a>). Once I do that, I use my other attempts to guess the final word.</p><p>Considering this approach and the fact that I am a competitive person, I wanted to challenge myself and see if I <strong>could create an algorithm that would do that in the best way possible </strong>(or see if I could <em>beat the machine</em>)<strong>.</strong></p><p>How should I build this algorithm? How can I make this guesses? How could can I make <em>good</em> guesses? How can I find possible words? These questions reflect the fact that there are multiple things that should be tackled. With this, the final solution should have several steps:<strong> </strong>generate a word corpus, find good words that would be used for the exploration phase and then try and use Wordle results to filter possible guesses. I also wanted to try a different approach, away from information theory (as the most popular videos I saw, used that technique). I will explain the whole process in the following paragraphs; however, I summarize my algorithm’s approach in this flowchart:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/788/1*dQ1JOLub14XU02uahQvKRw.png" /><figcaption>Credit: Image by Author</figcaption></figure><h4>Step 1: Create a word corpus</h4><p>In order to have words that could be potential guesses in Wordle, it is needed to have a “database” or corpus: to do this, I used multiple Wikipedia articles used by Reese et al in 2010 (Samuel Reese, Gemma Boleda, Montse Cuadros, Lluís Padró, German Rigau. Wikicorpus: A Word-Sense Disambiguated Multilingual Wikipedia Corpus. In Proceedings of 7th Language Resources and Evaluation Conference (LREC’10), La Valleta, Malta. May, 2010), which can be downloaded from <a href="https://www.kaggle.com/datasets/rtatman/120-million-word-spanish-corpus?resource=download">Kaggle</a>. It is important to mention that Wikipedia’s articles content are available for download under the license available in the following <a href="https://en.wikipedia.org/wiki/Wikipedia:Copyrights">article</a>. Navigating the content of each article, I can now have a representative sample of five-letter words in Spanish.</p><h4>Step 2: Preprocessing and calculating stats per word</h4><p>Once we have a series of texts from which we can calculate statistics, it is necessary to think about how we can characterize words. To do this, I created two different metrics (I don’t want to spoil too much, but these will be used later)</p><ul><li><em>frequency</em>: how many times a word has appeared in the articles</li><li><em>letter_score</em>: the sum of the frequency of the letters that appear in a particular word</li></ul><p>In this sense, <em>frequency </em>talks about the word, while the <em>letter_score </em>talks about the letters that are in the word. We can therefore have a word that is infrequent in the Spanish language, but that has common letters (low <em>frequency</em>, but high <em>letter_score</em>) or vice versa.</p><p>In order to do this, we first calculate the frequency of each word and letter with the following function (note that I do some pre-processing taking away accents from vowels and turning each word to lowercase):</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ffc51a2c73345d0d25f3794085c4ad0e/href">https://medium.com/media/ffc51a2c73345d0d25f3794085c4ad0e/href</a></iframe><p>Now we have this, we use the created dictionaries to create the <em>word_stats_dict</em>, which has the <em>letter_score</em>:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/4146f6be970768440469b079287e1019/href">https://medium.com/media/4146f6be970768440469b079287e1019/href</a></iframe><h4>Step 3: Findind the two initial words used for exploration</h4><p>Let’s recall that in the strategy that I adopted, I am using my first two attempts in Wordle to explore the “search space”, trying to gain as much information as possible about the final word (here, gaining information is straightforward: <strong>not guessing the final word, but the letters that make it up</strong>). Now, how can we design a good exploration? There are two main assumptions that I used to develop this:</p><ol><li>It is better if we find information for as much letters as possible (it is not sensible to repeat a letter in these two words)</li><li>It is better if we find letters that are actually in the final word</li></ol><p>Now, point number 1 is a condition about the words that I’ll try first: they must be two five-letter words, with ten different letters. However, point number 2 is a little bit trickier as it is impossible to know at first hand the solution (that’s the point of the game!).</p><p>However, we can try to find a solution that’s as good as possible: if we think about it, it is more likely that the final word will have frequent letters (i.e., it is more likely for a word to have the letter “a” than to have the letter “x”). Therefore, these first two attempts should me made up of letters that are very used. That’s great because we have a stat that measures just that: the <em>letter_score</em>!<strong> Therefore, what we want to find are two words, which have ten different letters, while maximizing the obtained <em>letter_score </em>of the selection</strong>.</p><p>Considering that we are trying to maximize a measure (the sum of the <em>letter_score</em>), while meeting some conditions (selecting just two words and having ten different letters), we can use Linear Programming (The <a href="https://www.britannica.com/science/linear-programming-mathematics">Encyclopedia Britannica</a> defines linear programming as a “mathematical modeling technique in which a linear function is maximized or minimized when subjected to various constraints”) to do this.</p><p>We represent the linear model mathematically, in the following way:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/988/1*btjCi53AXTV1sVILjnpzGA.png" /><figcaption>Credit: Image by Author</figcaption></figure><p>In order to implement this, we use the OR Tools Python library as it can be seen in the code below. I won’t get into much details, but if you want to check a more in-depth article about the implementation of linear programming models, you could check the following <a href="https://towardsdatascience.com/playing-moneyball-creating-an-efficient-nba-team-with-linear-programming-ef14f6383861">article</a>.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b3d9acd3bf4b190e37ee5e8b2bcab063/href">https://medium.com/media/b3d9acd3bf4b190e37ee5e8b2bcab063/href</a></iframe><p>After the model was run, the selected words were “leido” (which is equal to the past tense of “read”) and “trans”. It is interesting to see that the word “leido” only appeared 616 times in the articles, while the word “trans” appeared 733 times. However, they are selected because, as we mentioned, they are made up of common letters. Lastly, <strong>I must clarify that in each day I ran the algorithm, I used these same two words in my first attempts</strong>, because the optimum of the model isn’t changing day by day. Moreover, it is important to mention that there may by several optimum words: if they have the same letter composition than “leido” and “trans”, any two-word combination will work (as long as it is on Wordle’s corpus).</p><h4>Step 4: Guessing and filtering the corpus</h4><p>Once we have our initial guesses, we must find a way to filter our corpus, keeping just the suitable words, according to Wordle results. Firstly, how can we interact with Worldle? I didn’t find an API or whatsoever that would give information about the result, so basically, I did it manually:</p><ol><li>The user writes the word through the command line</li><li>The user writes the result through the command line</li></ol><p>How do we write the result? As there are three possible outcomes, we use a code for each one of them:</p><ul><li>1 means the letter isn’t in the word</li><li>2 means the letter is in the word, but in other order</li><li>3 means the letter is in the word and in that order</li></ul><p>This can be illustrated like this:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/525/1*OhSRIkwfeYWvDflX54PSJA.png" /><figcaption>Credit: Image by Author</figcaption></figure><p>To give a more “<em>pythonesque</em>” illustration, this is how the interaction looks like:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/592/1*YbX0LsPnmzLnqHs-snjtpg.png" /><figcaption>Credit: Image by author</figcaption></figure><p>You can also see that the code is giving a list of five suggested words. After playing Wordle a couple of times, <strong>I noticed that generally, the final word is a pretty common word, so here, the suggestions are calculated using frequency</strong>. Obviously, in the first attempt, we have our full corpus, so the suggestions are just the words with the greatest frequency.</p><p>The interesting part is how can we use the results in order to filter our corpus and make better suggestions. To do this, we need to map each letter of our attempt with its result and use that to find the words that “qualify” to be the final solution. First, what we do is check each letter of our input word (i.e., our guess) and see if it appears once or twice. This is because of the way Wordle works: let’s say the final word is “PANEL” and our attempt is “PAPEL” (Spanish for “paper”), as the letter “P” appears twice, Wordle will paint the first one green, but the next one grey, so we need to consider this into our code, considering the best and worst result of each distinct result:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/3f6e3dc6f146cc81c3afcbf1a741f908/href">https://medium.com/media/3f6e3dc6f146cc81c3afcbf1a741f908/href</a></iframe><p>Now that we have evaluated the frequency of each letter in our attempt, we are ready to filter the results with hard-rules evaluations, which are straightforward</p><p>For each word in our corpus, we make an evaluation, comparing the letters in <em>input_word </em>and the result, creating a flag that indicates if the word qualifies as a potential final solution, in a “the word qualifies until proven otherwise” approach. It is important, that I am assuming that no letter can appear more than twice in <em>input_word</em>. For each letter in <em>input_word</em>, we evaluate the following:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_8iCRjkxo1nd95xTtBfy7A.png" /><figcaption>Credit: Image by Author</figcaption></figure><p>Given a word defined by the variable <em>text</em>, this filtering is done by the following function:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/16b6c9e1a4fee777f6adb49b2ecbebf2/href">https://medium.com/media/16b6c9e1a4fee777f6adb49b2ecbebf2/href</a></iframe><p>Now that we have a way to filter our corpus the way of playing is simple: try a word (for our first two attempts, we are already know which ones we are going to use -trans and leido-), write the result, apply for the filter and then try again with the most frequent suitable word until you win!</p><h4>Evaluating results</h4><p>It is important not to just create an algorithm, but also evaluate its performance. That’s why I compared my own performance against my algorithm for a whole month (needless to say, I clarify that even after running the linear programming model I didn’t change my initial two words, used for exploring the search space). It is also important to consider that, given the strategy used, the best possible result per day is winning in 3 attempts (therefore, our algorithm will be considered more successful if it wins more games in that number of attempts).</p><p>First, evaluating overall results, we see that the algorithm takes, on average, one attempt less than me in order to find the correct answer, which translates to a reduction of around 20%.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LPmkfQoOW8Y3-fiokW0O9g.png" /><figcaption>Credit: Image by Author</figcaption></figure><p>Moreover, while my attempts’ distribution has a symmetric shape (most wins take between 4 or 5 attempts, although sometimes I take less or more), the algorithm’s distribution seems to be exponential: the probability of higher number of attempts decreases constantly:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2kyeOeTvmhLw9wbvmKw2xQ.png" /><figcaption>Credit: Image by Author</figcaption></figure><p>When trying to see how many times I had the chance to “beat the machine”, I was disappointed to see that I could only do this twice (7% of the times), however I got to tie the algorithm 10 times (33% of the times), while the machine won 60% of the times:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kJwoDOoJQIHSi1StoCb4sA.png" /><figcaption>Credit: Image by Author</figcaption></figure><p>Also, to have a greater understanding of the performance of the algorithm, I played 30 levels of the games Wordly and Wordling (apps that you can get on Google Play Store), to see how the algorithm was performing and evaluate if there were any differences with Wordle. It is important to mention that in these games, I didn’t compare the algorithm against my own performance.</p><p>When evaluating average performance and the distribution of the number of attempts per game, results in 3 games are pretty similar (Wordle appears to be a slightly harder as the average number of attempts is 4% higher). However, it was interesting to see how similar distributions were:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*iW2PW_JPF_CSNlF7uN8Ejg.png" /><figcaption>Credit: Image by Author</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ibbk0oIvmNA4wtFLJgf_6w.png" /><figcaption>Credit: Image by Author</figcaption></figure><p>Considering these results, and our strategy, we can say that the algorithm worked perfectly around 66% of the times, as it was able to guess the final word in 3 tries. If we allow for one extra attempt, this number rises to 88%.</p><p>Finally, another way to assess the effectiveness of the algorithm is to evaluate how many words were left in our corpus in every attempt. If our linear programming model was good enough, then we would have only few words left on attempt 3. Evaluating results on average, we can see why our strategy involved two initial words: when using just one initial word, we are left with around 930 options, which might be a lot; however, when an additionally attempt is used to explore, we are left with around 28 words, something much more manageable (considering that we are being able to reduce the number of potential words by 97%)!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gMS9qg5Kv-qE0Vk3H8o61g.png" /><figcaption>Credit: Image by Author</figcaption></figure><p>However, it is also important to mention that when we evaluate some additional stats (and not only the average), but we can also see that in general there is a great variability regarding the number of words left (specially, in attempt number 2). However, I believe this gives further evidence on why using two initial words might be a good idea:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/884/1*XUywcA8nIr3yia17BfKOUQ.png" /><figcaption>Credit: Image by Author</figcaption></figure><p>That’s all, I hope you have enjoyed the article! If you want to take a deeper look at the code, you can check it out on the following repo:</p><p><a href="https://github.com/nicogarciaara/play_wordle">GitHub - nicogarciaara/play_wordle: Linear Programming model and code regarding the algorithm I built to play Wordle</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ac449ca76124" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-science/human-vs-machine-comparing-my-performance-in-wordle-against-an-algorithm-ac449ca76124">Human vs. Machine: Comparing My Performance in Wordle Against an Algorithm</a> was originally published in <a href="https://medium.com/data-science">TDS Archive</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Playing Moneyball: Creating an efficient NBA team with linear programming]]></title>
            <link>https://medium.com/data-science/playing-moneyball-creating-an-efficient-nba-team-with-linear-programming-ef14f6383861?source=rss-cd3beef117ab------2</link>
            <guid isPermaLink="false">https://medium.com/p/ef14f6383861</guid>
            <category><![CDATA[linear-programming]]></category>
            <category><![CDATA[analytics]]></category>
            <category><![CDATA[sports]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Nicolás García Aramouni]]></dc:creator>
            <pubDate>Sun, 23 Jan 2022 21:09:31 GMT</pubDate>
            <atom:updated>2022-01-31T22:18:26.104Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LMPJrTtK-3GSDXAfJAeDTA.jpeg" /><figcaption>Credit: <a href="https://unsplash.com/@jcgellidon">JC Gellidon</a> on <a href="https://unsplash.com/photos/XmYSlYrupL8">Unsplash</a> (Photo Free to Use under the Unsplash Licence)</figcaption></figure><p>For any sports fan who is an analytics enthusiast, <em>Moneyball</em>, the 2011 American sports drama directed by Bennett Miller, is a must-see film. According to the description in <a href="https://www.imdb.com/title/tt1210166/">IMDB</a>, here we can see the story of “Oakland A’s general manager Billy Beane’s successful attempt to assemble a baseball team on a lean budget by employing computer-generated analysis to acquire new players”. Even without a job as a data scientist in a professional sports team (definitely, one of my dream jobs), we can use this movie as a way to learn about linear programming.</p><p>The <a href="https://www.britannica.com/science/linear-programming-mathematics">Encyclopedia Britannica</a> defines linear programming as a “mathematical modeling technique in which a linear function is maximized or minimized when subjected to various constraints”. Therefore, we will try to optimize a linear function (which we will call the objective function). However, our solution must have certain conditions, called constraints (it is important to mention that these constraints will also be linear functions). With this in mind, we can say that linear programming is a method used in <strong>prescriptive analytics</strong>, as it tells us specifically which is the best solution that we can have to optimize certain metric. As both the objective function and the constraints will be made up of decision variables (each variable represents an individual decision to be made), in order to solve our problem, we will have three steps: variable definition, constraints creation and objective function definition.</p><h4><strong>Problem and variable definition</strong></h4><p>Instead of building a baseball squad, we will try to build an efficient NBA team using <a href="https://www.basketball-reference.com/leagues/NBA_2021_per_game.html">standard stats</a>, <a href="https://www.basketball-reference.com/leagues/NBA_2021_advanced.html">advanced stats</a> and <a href="https://www.basketball-reference.com/contracts/players.html">salary information</a> retrieved from basketball-reference.com and using OR Tools, an open-source optimization library developed by Google. However, before starting defining our relevant variables, we do some data pre-processing, create a dictionary that will have important information of each player, including his name, position, three-point shooting percentage, salary, points per game and PER (according to Wikipedia, it is “John Hollinger’s all-in-one basketball rating, which attempts to boil down all of a player’s contributions into one number”), and a dictionary with information regarding the players that play at each position.</p><pre><em># We import the libraries we will use</em><br><strong>import</strong> os <br><strong>from</strong> ortools.linear_solver <strong>import</strong> pywraplp<br><strong>import</strong> pandas <strong>as</strong> pd<br><strong>import</strong> numpy <strong>as</strong> np</pre><pre><em># We will use three DFs: one containing &quot;advanced&quot; NBA stats, one that will have &quot;standard&quot; stats and </em><br><em># one that has salaries information</em><br>cwd <strong>=</strong> os<strong>.</strong>getcwd()<br>cwd <strong>=</strong> cwd<strong>.</strong>replace(&quot;code&quot;, &quot;data&quot;)<br><br>df_advanced <strong>=</strong> pd<strong>.</strong>read_csv(f&quot;{cwd}/nba_2021_advanced_stats.csv&quot;, sep<strong>=</strong>&quot;;&quot;)<br>df_standard <strong>=</strong> pd<strong>.</strong>read_csv(f&quot;{cwd}/nba_2021_standard_stats.csv&quot;, sep<strong>=</strong>&quot;;&quot;)<br>df_salaries <strong>=</strong> pd<strong>.</strong>read_csv(f&quot;{cwd}/nba_2022_salaries.csv&quot;, sep<strong>=</strong>&quot;;&quot;)</pre><pre><em># We filter relevant columns</em><br>df_advanced <strong>=</strong> df_advanced[[&quot;Player&quot;, &quot;Code&quot;, &quot;Pos&quot;, &quot;PER&quot;]]<br>df_standard <strong>=</strong> df_standard[[&quot;Player&quot;, &quot;Code&quot;, &quot;G&quot;, &quot;MP&quot;, &quot;3P%&quot;, &quot;PTS&quot;]]<br>df_salaries <strong>=</strong> df_salaries[[&quot;Player&quot;, &quot;Code&quot;, &quot;2021-22&quot;]]<strong>.</strong>rename(columns<strong>=</strong>{&quot;2021-22&quot;: &quot;Salary&quot;})</pre><pre><em># We merge all dataframes</em><br>df <strong>=</strong> pd<strong>.</strong>merge(df_advanced, df_standard, how<strong>=</strong>&quot;inner&quot;, on<strong>=</strong>[&quot;Player&quot;, &quot;Code&quot;])<br>df <strong>=</strong> pd<strong>.</strong>merge(df, df_salaries, how<strong>=</strong>&quot;inner&quot;, on<strong>=</strong>[&quot;Player&quot;, &quot;Code&quot;])<br>df <strong>=</strong> df<strong>.</strong>drop_duplicates()<strong>.</strong>reset_index(drop<strong>=True</strong>)</pre><pre><em># We filter rows, keeping players that played at least ten matches, and played at least 5 minutes per game</em><br>df <strong>=</strong> df[(df[&quot;G&quot;] <strong>&gt;=</strong> 10) <strong>&amp;</strong> (df[&quot;MP&quot;] <strong>&gt;=</strong> 5)]</pre><pre><em># We create an index column and filter Pos column</em><br>df[&quot;idx&quot;] <strong>=</strong> df<strong>.</strong>index<br>df[&quot;Pos&quot;] <strong>=</strong> df[&quot;Pos&quot;]<strong>.</strong>str<strong>.</strong>slice(stop<strong>=</strong>2)<br>df[&quot;Pos&quot;] <strong>=</strong> df[&quot;Pos&quot;]<strong>.</strong>str<strong>.</strong>replace(&#39;-&#39;,&#39;&#39;)</pre><pre><em># We create a dictionary that has information about the players, with a key indicating the index in df</em><br><em># Also, we create a dictionary that has information on each player&#39;s position</em><br>players_dict <strong>=</strong> {}<br>positions_dict <strong>=</strong> {}<br><br><em># We fill information on players and positions</em><br><strong>for</strong> index, row <strong>in</strong> df<strong>.</strong>iterrows():<br>    players_dict[row[&quot;idx&quot;]] <strong>=</strong> {<br>        &quot;name&quot;: row[&quot;Player&quot;],<br>        &quot;Pos&quot;: row[&quot;Pos&quot;],<br>        &quot;PER&quot;: row[&quot;PER&quot;],<br>        &quot;3P%&quot;: row[&quot;3P%&quot;],<br>        &quot;PTS&quot;: row[&quot;PTS&quot;],<br>        &quot;Salary&quot;: row[&quot;Salary&quot;]<br>    }<br>    pos <strong>=</strong> row[&quot;Pos&quot;]<br>    <strong>if</strong> pos <strong>not</strong> <strong>in</strong> positions_dict<strong>.</strong>keys():<br>        positions_dict[pos] <strong>=</strong> [row[&quot;idx&quot;]]<br>    <strong>else</strong>:<br>        positions_dict[pos]<strong>.</strong>append(row[&quot;idx&quot;])</pre><p>To build our team, we will decide which players are included in it. Therefore, <strong>our decision variables, called <em>xi</em>, will be Boolean and will be equal to 1 if player <em>i</em> is selected for our team</strong>. Now that we have defined this, we can create our solver and create a dictionary in which we will save our Boolean decision variables:</p><pre><em># We create our variables and add it to a dictionary</em><br><strong>def</strong> create_solver_and_player_assignment_variable(df):<br>    <em># We create the solver</em><br>    solver <strong>=</strong> pywraplp<strong>.</strong>Solver(&#39;simple_mip_program&#39;,<br>                             pywraplp<strong>.</strong>Solver<strong>.</strong>CBC_MIXED_INTEGER_PROGRAMMING)<br>    <em># We create the variables</em><br>    x_var_dict <strong>=</strong> {}<br>    <strong>for</strong> index, row <strong>in</strong> df<strong>.</strong>iterrows():<br>        x_var_dict[row[&#39;idx&#39;]] <strong>=</strong> solver<strong>.</strong>BoolVar(str(&#39;x_&#39;<strong>+</strong>str(row[&#39;idx&#39;])))<br>    <strong>return</strong> x_var_dict, solver</pre><h4><strong>Constraint creation</strong></h4><p>Now that we have created our linear programming problem and the variables associated with it, we will define the conditions or constraints that our solution must meet. Remember that these <strong>constraints must be linear</strong>, so variables can be only multiplied by a constant, and not squared, etc.</p><p>First, we must have the required number of total players, which is between 13 and 15. Mathematically, this can be expressed with the following equation:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/277/1*1Byip6gY6P8LnPAP5Bps1g.png" /></figure><p>In this equation we can identify three different “parts” of the equation: a lower bound (13), an upper bound (15), and the linear combination of decision variables. When we create a constraint with OR Tools, we do this in two steps: first we define the constraint, selecting the bounds and optionally, a name for the constraint, and then we “populate” the linear combination of decision variables, selecting variables and the associated coefficients (here, as each variable is added directly, this coefficient is equal to 1). This can be seen in the following code:</p><pre><strong>def</strong> total_players_constraint(solver, x_var_dict):<br>    ct <strong>=</strong> solver<strong>.</strong>Constraint(13, 15, &#39;TotalPlayers&#39;)<br>    <strong>for</strong> x <strong>in</strong> x_var_dict<strong>.</strong>keys():<br>        ct<strong>.</strong>SetCoefficient(x_var_dict[x], 1)<br>    <strong>return</strong> solver</pre><p>Even when we have the required number of total players, we must still have players for all positions. Let’s say that for each position, we must have at least two players. Therefore, we can express this mathematically, for example, for the set of players <em>PG,</em> who play at the point guard position:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/240/1*PLdbNMdD9RBDxMrj4SbKsg.png" /></figure><p>Note that here we don’t have an upper bound as in the previous case. However, as we can’t have more than 15 players, we will use that number as an upper bound:</p><pre><strong>def</strong> players_per_position(solver, x_var_dict, positions_dict):<br>    <strong>for</strong> position <strong>in</strong> positions_dict<strong>.</strong>keys():<br>        ct <strong>=</strong> solver<strong>.</strong>Constraint(2, 15, f&#39;Players_Pos_{position}&#39;)<br>        <strong>for</strong> x <strong>in</strong> positions_dict[position]:<br>            ct<strong>.</strong>SetCoefficient(x_var_dict[x], 1)<br>    <strong>return</strong> solver</pre><p>Now, we have the required number of players in total and per position. However, as in the NBA there is a salary cap, the total amount of money spent in player salaries can’t exceed $112.4 million dollars. As this is a condition that our team must meet, we will include it in our model and will represent it mathematically in the following way:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/442/1*ciXTh6mzdTYH0zKl-K0dfw.png" /></figure><p>Note that when we create this constraint, the coefficient associated with each decision variable isn’t 1 as in the previous cases, but each player’s salary, as it can be seen in the following code:</p><pre><strong>def</strong> total_salary(solver, x_var_dict, players_dict):<br>    ct <strong>=</strong> solver<strong>.</strong>Constraint(0, 112400000, &#39;TotalSalary&#39;)<br>    <strong>for</strong> x <strong>in</strong> x_var_dict<strong>.</strong>keys():<br>        ct<strong>.</strong>SetCoefficient(x_var_dict[x], players_dict[x][&quot;Salary&quot;])<br>    <strong>return</strong> solver</pre><p>We have now all the constraints that let us build a valid team. However, one of the positive things about linear programming is that, as it is a mathematical abstraction of a real problem, it is quite flexible and allows us to easily include new and customized constraints if we want to. For example, considering that in recent years, the three-point shot has become more important in the league, let’s suppose that we want to have in our team at least 4 good three-point shooters (supposing that a good three-point shooter is someone that has a shooting percentage greater than 40%). If this three-point shooters are in set <em>T</em>, we can express this mathematically:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/189/1*0sUr3Js1NG4_ga3Q4C0eLQ.png" /></figure><p>This constraint will be implemented like this:</p><pre><strong>def</strong> three_points_shooters(solver, x_var_dict, players_dict):<br>    ct <strong>=</strong> solver<strong>.</strong>Constraint(4, 15, &#39;ThreePointsShooters&#39;)<br>    <strong>for</strong> x <strong>in</strong> x_var_dict<strong>.</strong>keys():<br>        <strong>if</strong> players_dict[x][&quot;3P%&quot;] <strong>&gt;</strong> 0.4:<br>            ct<strong>.</strong>SetCoefficient(x_var_dict[x], 1)<br>    <strong>return</strong> solver</pre><h4><strong>Building our objective function</strong></h4><p>Now that we have the conditions that our solution must meet (three must-have and one optional), we can then define our objective. Remember that we are trying to have a team that is efficient as possible. Recall that each player has a PER associated with him, which is a single metric that summarizes his performance. Given that a greater PER results in more expected efficiency, we should try to have a team PER that is high as possible. This can be mathematically expressed in the following way:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/299/1*KbPEBT1E_aJSv_GXnpfTuw.png" /></figure><p>To implement this with OR Tools, the procedure will be similar to the one we carried out when defining constraints, with some modifications. First, we will define the objective function and populate it with the decision variables and associated coefficients (here, the PER of each player). Lastly, we will define what we are trying to do, which is maximize the objective function (in some other cases, for example, when we are expressing cost in the objective function, we will try to minimize it). This can be seen in the following code:</p><pre><strong>def</strong> set_obj_function(solver, x_var_dict, players_dict):<br>    objective <strong>=</strong> solver<strong>.</strong>Objective()<br>    <strong>for</strong> x <strong>in</strong> x_var_dict<strong>.</strong>keys():<br>        objective<strong>.</strong>SetCoefficient(x_var_dict[x], players_dict[x][&quot;PER&quot;])<br>    objective<strong>.</strong>SetMaximization()<br>    solver<strong>.</strong>Solve()<br>    <strong>return</strong> solver, x_var_dict, objective</pre><h4><strong>Analyzing our solution and closing remarks</strong></h4><p>Now that we have defined everything, we can solve our model and get our perfect team! In order to make things more interesting, we will run two versions of the model: one that does not include the constraint that requires 4 three point-shooters and one that does. First, let’s see the team that does not require a minimum a number of three-point shooters:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/423/1*2BxZt7aIQB88uAYjs1ulIw.png" /></figure><p>Considering that the top NBA salaries are around $45 million, we can see that our team is built by two main groups: young star players, who usually have a lower salary than other All-Stars (like Zion Williamson, Luka Doncic and Trae Young), and solid role players (like Dewayne Dedmon and Enes Kanter). The only “outlier” is Nikola Jokic, who has the highest salary (and also de highest PER).</p><p>However, when we “activate” our three-point shooters constraint, our team changes a bit:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/421/1*yrCPk0QSVgoi6GXE67cujw.png" /></figure><p>In our new team, Paul Reed is replaced by Drew Eubanks, so total PER is reduced from 349.7 and 346.4. This is an important insight: as we are more demanding when creating the constraints of our team (we don’t want just a valid team, we also want a team with at least three-point shooters), it is logical than the objective value of our solution worsens.</p><p>So, in conclusion, we have seen the basics of a linear programming problem and built a sports-related implementation with python and OR Tools. We have also learned about the flexibility of this kind of methods and analyzed a solution with and without a customized constraint. Lastly, I leave you a repository where you can find the code and data I used to build this:</p><p><a href="https://github.com/nicogarciaara/nba_moneyball">GitHub - nicogarciaara/nba_moneyball</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ef14f6383861" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-science/playing-moneyball-creating-an-efficient-nba-team-with-linear-programming-ef14f6383861">Playing Moneyball: Creating an efficient NBA team with linear programming</a> was originally published in <a href="https://medium.com/data-science">TDS Archive</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[¿Cómo hicimos forecasting durante el COVID?]]></title>
            <link>https://medium.com/@nico.garcia.ara/c%C3%B3mo-hicimos-forecasting-durante-el-covid-4e821007e8c0?source=rss-cd3beef117ab------2</link>
            <guid isPermaLink="false">https://medium.com/p/4e821007e8c0</guid>
            <category><![CDATA[analytics]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[forecasting]]></category>
            <dc:creator><![CDATA[Nicolás García Aramouni]]></dc:creator>
            <pubDate>Tue, 26 Oct 2021 18:47:20 GMT</pubDate>
            <atom:updated>2021-10-26T18:47:20.138Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Qe2jzbqtpkEcc73nil0saQ.png" /></figure><h4><strong>El cambio de paradigma dado por la Pandemia</strong></h4><p>El mundo forecasting pre-COVID era muy simple comparado con el presente: los patrones históricos solían repetirse, por lo que el pasado podía usarse fácilmente para predecir el futuro. Es más, en algunos mercados esta estabilidad era tan marcada que, a veces, las empresas utilizaban el mismo modelo (y hasta los mismos parámetros) para hacer pronósticos de todos sus productos. Sin embargo, un día la pandemia rompió este paradigma y lo que era estable se volvió impredecible.</p><p>Varios fenómenos empezaron a conjugarse una vez que arrancó la pandemia: en primer lugar, la situación se volvió muy inestable por los constantes idas y vueltas entre aperturas y cierres de la economía y avances de nuevas cepas y rebrotes, haciendo que fuera imposible predecir el mediano plazo (¡Yy ni hablar del largo!). Por otro lado, la irrupción del COVID hizo que todos cambiáramos nuestros hábitos de consumos: ¿a quién no le costaba conseguir barbijos o alcohol en gel por abril de 2020? De esta forma, es necesario considerar este aumento de compras de artículos de limpieza o la caída del consumo de bienes de lujo o entretenimiento cuando queremos intentar hacer predicciones sobre el futuro. A modo de ejemplo, consideremos la relevancia de la palabra “barbijo” en las búsquedas de Google Argentina:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yH-48QJQsynDg_iXSHGOGA.png" /><figcaption>Relevancia de la palabra “barbijo” — Google Trends Argentina</figcaption></figure><p>Desde el punto de vista estadístico, el COVID nos ha traído tres grandes desafíos a la hora de intentar hacer modelos predictivos, los cuales impactan directamente en la calidad de los modelos:</p><p>· Falta de historia relevante: Dada la gran impredecibilidad y cambios de patrones de consumo, la historia pre-pandemia se volvió poco representativa de lo que iba a pasar en el futuro, por lo que teníamos pocos datos para entrenar nuestros modelos</p><p>· Ruido: La gran volatilidad hacía que existiera más ruido y hubieran más <em>outliers</em> en nuestras series de tiempo</p><p>· Heterogeneidad: La pandemia no afectó a todos los productos por igual, por lo que el enfoque de intentar utilizar el mismo modelo con los mismos parámetros para todos los productos podía no ser lo más prudente</p><h4><strong>Reduciendo la incertidumbre</strong></h4><p>Sin embargo, estos desafíos no deben frenarnos en el proceso creativo de innovación mientras hacemos predicciones de demanda. Justamente, en un proyecto para un cliente intentamos tratar estos problemas, proponiendo distintas soluciones. Es importante marcar que, en este tipo de contextos, lo más importante no es intentar predecir eventos impredecibles como una pandemia, sino intentar acotar la incertidumbre para poder tomar mejores decisiones, apoyadas en datos.</p><p>En un contexto en el que la historia se volvió poco relevante, ¿cómo podemos hacer para aumentar la cantidad de datos de entrenamiento? Nuestra lógica fue la siguiente: si existen dos productos con patrones de ventas similares, podemos entrenarlos juntos en su “nueva normalidad” y de esta forma aumentar el tamaño del <em>dataset</em> de entrenamiento encarando un proceso de <strong>data augmentation</strong>. Ahora, ¿cómo encontramos estos productos “similares”? Para hacer esto, calculamos una matriz de distancia entre todos los productos, utilizando un algoritmo de <a href="https://en.wikipedia.org/wiki/Dynamic_time_warping">Dynamic Time Warping</a>, que permite considerar desplazamientos entre las series de tiempo. De esta forma, podemos encontrar productos que fueran similares en cuanto a su comportamiento y entrenar sus modelos de manera conjunta, como se ve en la siguiente imagen:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sgBgNw7WFfBUaFpX_fsZww.png" /><figcaption>Funcionamiento del proceso de Data Augmentation usando Dynamic Time Warping</figcaption></figure><p>Por otro lado, este contexto hacía que fuera necesario darles a los modelos señales que reflejaran cómo pensábamos que se iba a comportar el contexto general futuro. Dado que la historia no era reflejo de esto, nos apoyamos en <strong>variables externas </strong>como la cantidad de casos y muertes por COVID, los índices de movilidad de Google y los aforos y restricciones existentes. Sin embargo, dado que la relación entre estas variables externas y las series de tiempo a nivel producto no suelen ser tan claras, planteamos un enfoque <strong><em>middle-out</em></strong>: realizamos dos pronósticos, uno a nivel SKU con algoritmos basados en series de tiempo y otro causal (usando a variables externas como regresores) a nivel categoría. De esta forma, podíamos re-escalar los pronósticos a nivel producto según el total a nivel categoría, pudiendo tener un forecast que consideraba tanto la volatilidad a nivel SKU como los patrones generales de la situación sanitaria, dada por las variables externas. A modo gráfico, el enfoque <em>middle-out</em> funcionaba de la siguiente manera:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xEEl1dj7L9aTo6Bf_RKUxQ.png" /><figcaption>Proceso de generación de forecast para el enfoque <em>middle-out</em></figcaption></figure><p>Sin embargo, la heterogeneidad del impacto de la pandemia hace que estos enfoques sean útiles para algunos productos, pero no para todos. De esta forma, para intentar ser lo más robustos a la volatilidad de cada producto y a los distintos cambios de situación, no planteamos un único modelo para todos los productos, sino un <strong>ecosistema de competencia de modelos</strong>, constantemente re-optimizados, re-calculados y re-tuneados. De esta forma, nuestro ecosistema hace que compitan modelos causales (con un algoritmo como XGBoost), con modelos de series de tiempo (como un suavizado exponencial), con nuestro enfoque middle-out, de forma que sea posible utilizar cualquier modelo según el contexto.</p><h4><strong>Resultados y lecciones aprendidas</strong></h4><p>Estas innovaciones, no solo nos permitieron reducir el error de pronóstico en 1.3pp, sino que nos permitió realizar ahorros anuales cercanos a los <strong>29 millones de dólares</strong> gracias a un menor nivel de stock y y una mejora en el nivel de servicio.</p><p>Más allá de buenos resultados, como ganancia del proyecto obtuvimos varias lecciones aprendidas en el camino:El objetivo no es predecir el próximo cisne negro, sino reducir la incertidumbre</p><p>● Es importante entender los drivers del negocio para saber qué empuja la demanda y qué variables tiene sentido incluir a los modelos</p><p>● No hay respuestas obvias: sin experimentar, no vamos a descubrir qué es lo mejor</p><p>● No existe un modelo que dure para siempre</p><p>● Si se rompe el contexto, se rompe el paradigma</p><p>Conocé más sobre inteligencia aplicada en <a href="https://accntu.re/3kyDsY4">https://accntu.re/3kyDsY4</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4e821007e8c0" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>