<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[bikolabs - Medium]]></title>
        <description><![CDATA[Un espacio para la creación, especulación y experimentación. Mestizando tecnología, aprendizajes y creatividad. Mirando hacia afuera y hacia adentro, buscando aliados, creando ambientes preparados, y espacio de agregación. Bikolabs es un proyecto ideado por Biko e Interzonas. - Medium]]></description>
        <link>https://medium.com/bikolabs?source=rss----24fbd7f7636---4</link>
        <image>
            <url>https://cdn-images-1.medium.com/proxy/1*TGH72Nnw24QL3iV9IOm4VA.png</url>
            <title>bikolabs - Medium</title>
            <link>https://medium.com/bikolabs?source=rss----24fbd7f7636---4</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 22:12:12 GMT</lastBuildDate>
        <atom:link href="https://medium.com/feed/bikolabs" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[El caso Riscanvi una propuesta visual]]></title>
            <link>https://medium.com/bikolabs/el-caso-riscanvi-una-propuesta-visual-9c8c653edf3a?source=rss----24fbd7f7636---4</link>
            <guid isPermaLink="false">https://medium.com/p/9c8c653edf3a</guid>
            <category><![CDATA[algoritmos]]></category>
            <category><![CDATA[cablesgl]]></category>
            <category><![CDATA[historias-cortas]]></category>
            <category><![CDATA[bikolabs]]></category>
            <category><![CDATA[visualization]]></category>
            <dc:creator><![CDATA[Karlos g liberal]]></dc:creator>
            <pubDate>Mon, 27 Mar 2023 11:17:29 GMT</pubDate>
            <atom:updated>2023-03-27T11:17:29.161Z</atom:updated>
            <cc:license>http://creativecommons.org/publicdomain/zero/1.0/</cc:license>
            <content:encoded><![CDATA[<p>Explorar las interacciones entre personas y tecnologías es lo que nos ayuda, en Bikolabs, a seguir contando historias. “<a href="https://riscanvi.bikolabs.io/">El caso Riscanvi</a>” es una historia visual que ayuda a entender cuándo un algoritmo acierta. Para contarla, necesitamos más que escribir un texto: necesitamos crear un escenario, personajes, palomas e incluso una luna. Necesitamos imaginar una película.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/1*z0s72VWvxLFk5UzW7315nA.gif" /><figcaption>Detalles el caso</figcaption></figure><p>A finales del 2022, <a href="http://twitter.com/silvia">@silvia</a>, <a href="http://twitter.com/ujue">@ujue</a> y yo vimos la exposición “Construir mundos” de Liam Young, quien, con una propuesta visual potente, indaga sobre el futuro de las ciudades. Desde Bikolabs nos preguntamos si seríamos capaces contar nuestras historias de esa forma pero en la web, escapando de los formatos clásicos habituales.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*skTuMEtwofyo9JUKkDmLxQ.png" /><figcaption><a href="https://www.fundaciontelefonica.com/exposiciones/liam-young-construir-mundos/">https://www.fundaciontelefonica.com/exposiciones/liam-young-construir-mundos/</a></figcaption></figure><p>Como estudio (de diseño, especulación, investigación, divulgación), las técnicas, tecnologías y herramientas con las que diseñamos nuestros proyectos son piezas que nos fascina entender y explorar. Si el diseño es poner “objetos”, en el mundo, qué objetos crear y cómo crearlos resulta parte de la misión de un estudio como Bikolabs.</p><p>Por eso, para nosotros, nuestras herramientas son una extensión de nuestro brazos, aunque somos muy conscientes de que, en ocasiones, las herramientas de autoría se convierten en una pequeña cárcel, al contar con unos límites demasiado marcados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*swzZNkUgu8uYjdzVW6WwvA.png" /><figcaption>fotograma <a href="https://www.filmaffinity.com/ar/film506901.html">Todo en todas partes al mismo tiempo</a></figcaption></figure><p>En el uso de herramientas de diseño aplica la frase: “Los límites de mi lenguaje son los límites de mi mundo”; aunque estos límites no los decide el artista o la diseñadora que usa esas herramientas; los decide quien crea el software de diseño.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/892/1*uEN1F-8AQBEqPV5O_KPLfA.png" /><figcaption>Proyecto tostadora de Thomas Thwaites <a href="https://www.thomasthwaites.com/the-toaster-project/">https://www.thomasthwaites.com/the-toaster-project/</a></figcaption></figure><p>Por eso, en el estudio dedicamos un tiempo de calidad a encontrar y probar herramientas en las que los límites sean difusos. Y este es el caso de las herramientas de programación visual.</p><p>Este tipo de herramientas poseen una mezcla extraña que nos fascina (entre un bordado, un lenguaje de programación y una caja oxidada de herramientas) y abren un horizonte repleto de posibilidades que admite el mestizaje.a</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XVFVgXbHgGigXtrU_mlVpg.png" /><figcaption>Turba de Patxi Araujo <a href="http://patxiaraujo.com/portfolio/turba-_concierto-en-15-movimientos-para-64-osciladores-neuronales/">http://patxiaraujo.com/portfolio/turba-_concierto-en-15-movimientos-para-64-osciladores-neuronales/</a></figcaption></figure><p>Pero las herramientas de programación visual no son nuevas. Muchas llevan más de 20 años con nosotros, aunque últimamente están adquiriendo aún mayor relevancia. Hablamos de las herramientas que se usan para la creación y manipulación de audio, vídeo, la interacción en tiempo real, arquitectura paramétrica, creación de videojuegos y un largo etcétera.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2F2Cq8S3jzJiQ%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3D2Cq8S3jzJiQ&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2F2Cq8S3jzJiQ%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/370df9bfaad2a541a6d227e683a5ea7f/href">https://medium.com/media/370df9bfaad2a541a6d227e683a5ea7f/href</a></iframe><p>Pongamos varios ejemplos. <a href="https://cycling74.com/">Max de cycling74</a> y su homólogo <a href="https://puredata.info/">PureData</a> (open source) son los precursores de esta forma de entender el diseño mestizo, especialmente en el campo del diseño sonoro. Max se integró en el ecosistema <a href="https://www.ableton.com/">Ableton</a>, que es una de las herramientas más usadas en la música electrónica.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4N92pAOHODj2iSL_RwSKzA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*UFEonQrbKf6OC14hZX_KYg.png" /><figcaption>Interfaz de pure data y de max con un sinte</figcaption></figure><p>Por su parte, en el diseño paramétrico, <a href="https://www.rhino3d.com/es/6/new/grasshopper/">Rhino &amp; Grasshopper</a> son una referencia, aunque recientemente Blender, el programa 3D por excelencia, ha incorporado <a href="https://docs.blender.org/manual/en/latest/modeling/geometry_nodes/introduction.html">Geometry Nodes</a>, añadiendo el diseño procedural a sus múltiples posibilidades.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5whbW67uHnjGt42v_4pI3g.png" /><figcaption>Ejemplo de interza Rhino 6</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*riHf70G1CpsKB1wR1JXDqQ.png" /><figcaption>Ejemplo de interfaz Blender</figcaption></figure><p>Por otro lado, en el área de las grandes instalaciones “new media”, <a href="https://derivative.ca/">Touchdesigner</a> o <a href="https://visualprogramming.net/">VVVV</a> son proyectos que continúan en la vanguardia desde hace más de 20 años. Un caso representativo de ellos es el mapping del museo Guggenheim</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fplayer.vimeo.com%2Fvideo%2F371511910%3Fh%3D0f2cff66c1%26app_id%3D122963&amp;dntp=1&amp;display_name=Vimeo&amp;url=https%3A%2F%2Fvimeo.com%2F371511910&amp;image=https%3A%2F%2Fi.vimeocdn.com%2Fvideo%2F829046809-c67d3e47b71b3f052edb6020539088a91df1e8ce84c996d56b36fcd5b1ab9cc6-d_1280&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=vimeo" width="1920" height="1080" frameborder="0" scrolling="no"><a href="https://medium.com/media/3761d53695a82cf4527ce0544725d4b0/href">https://medium.com/media/3761d53695a82cf4527ce0544725d4b0/href</a></iframe><p>En este nuevo paradigma de herramientas de programación visuales, en lugar de escribir código en un lenguaje de programación tradicional, los creadores construyen “parches” que conectan objetos gráficos dentro de una interfaz visual. <br>Este cambio permite nuevas formas de pensamiento computacional salir de la caja, y contemplar en tiempo real el resultado de la programación visual a medida que el creador o creadora va conectando nodos en su interfaz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/1*yRsNhoCq5ds-F2j2GBIBng.gif" /><figcaption>conexiones nodos/operadores cables.gl</figcaption></figure><p>En nuestro estudio Bikolabs, la herramienta de programación visual por excelencia, desde que nos enamoramos de ella hace más de un año, es <a href="https://cables.gl/home">Cables.gl</a>: un entorno de programación visual en tiempo real pero enfocado a la web</p><p>Con ella hemos creado nuestro primer proyecto complejo a nivel narrativo, “El caso RisCanvi”, que ha sido más fácil de llevar a cabo gracias a la generosidad y amabilidad de la comunidad cables.gl, y especialmente gracias a sus creadores <a href="http://twitter.com/undev_studio">@undev_studio</a>, <a href="http://twitter.com/pandrr">@pandrr</a>, y <a href="http://twitter.com/steam0r">@steam0r</a>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DqdGOTDuNtvYDMsUBHQWyw.png" /><figcaption><a href="https://undev.studio/">https://undev.studio/</a></figcaption></figure><p>Entramos, ahora sí, en detalle en la historia visual de “El caso RisCanvi”.<br>La elección de cables.gl para crear esta historia surgió por la necesidad que teníamos de poder hacer una visualización en web de lo que sucedía a nivel de etiquetado algorítmico y predicción con una muestra de 657 presos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/1*Q1EmXFIddAJloEVbSnY8ig.gif" /><figcaption>riscanvi detalle</figcaption></figure><p>Queríamos mover a todos esos presos de un lado a otro de la pantalla para facilitar la explicación de nuestra historia textual y, por supuesto, hacerlo en formato web. <br>Hubiéramos podido usar <a href="https://threejs.org/">Three.js</a>, como lugar común, o incluso la mezcla con Gsap, pero, como hemos explicado, las formas y los entornos son importantes por sus posibilidades pero también por sus límites.</p><p>Cables, al ser un entono basado en Webgl, permite trabajar con texturas, mallas y modelos, además de usar la gráfica que es la encargada de gestionarlo todo. Gracias a Webgl, estábamos más cerca de un motor de videojuegos que de un canvas 2D, lo que nos permitía lograr un impacto visual más potente que en contextos 2D, aunque, desde luego, implicaba una mayor complejidad.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Cwups0k360j-aCyxSUvdoQ.png" /><figcaption><a href="https://bikolabs.biko2.com/collections/strega">https://bikolabs.biko2.com/collections/strega</a></figcaption></figure><p>En esta herramienta de programación visual, el entorno de desarrollo se realiza en la nube y puedes gestionar multiples proyectos (patches) y crear grupos de trabajos con colaboradores. Incluso admite el trabajo en tiempo real, repartiendo los roles de piloto y visionador. A su vez, cada patch contiene su propio conjunto de assets, donde gestionar tus texturas, sprites, modelos, audios, videos, json, etc.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FP2EwyEcmzN2OHmmo7uPOw.png" /><figcaption>Cables detalle con modelos 3D y texturas</figcaption></figure><p>Desde el propio entorno, se puede publicar en la web de cables el proyecto, con un buen control de acceso. El parche se puede exportar en javascript, con la estructura de assets. También desde el propio entorno es posible desplegarlo en diferentes plataformas: github, netlfly, etc.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TMstc47cGsYjJ3d8AFS8cw.png" /><figcaption>deploy cables</figcaption></figure><p>En nuestro caso, decidimos usar <a href="https://kit.svelte.dev/">Sveltekit</a> <a href="http://twitter.com/sveltejs">@sveltejs</a> para crear el microsite que necesitábamos para nuestra historia visual. Así, creamos un componte de Svelte que permite interactuar con el Webgl de Cables.gl. <br>Pero separando los mundos: los cambios de escena y las pastillas de información pertenecen a Svelte, pero los personajes que representan a los presos en la plaza se encuentran en Cables y son llamados a moverse cuando se precisa.</p><p>La concepción de <a href="http://twitter.com/Rich_Harris">@Rich_Harris</a> Rich Harris y su implementación de la web reactiva ha permitido esta maravillosa integración que, con <a href="http://twitter.com/vercel">@vercel</a> para el despliegue, logra que todo resulte fácil y transparente.</p><p>Para cerrar, algunas reflexiones sobre estas herramientas.<br>Es evidente que la programación visual te obliga a pensar de otra manera, a crear las cosas de otra forma. Pero, a su vez, te permite modelar tus propias herramientas. Para nosotros, es lo mismo que ocurre con la artesanía.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Ut_d1sjX5w1vox3y9eefHw.png" /><figcaption>Riscanvi mostraondo el código</figcaption></figure><p>Una de las cosas más fascinante de la artesanía es la forma en la que las artesanas crean y modifican sus propias herramientas. La programación visual se asemeja a ese taller artesano, donde muchas herramientas básicas son indispensables, pero es necesario crear y adaptar otras para cada proyecto. Y es, en esta combinación, cuando las posibilidades se vuelven infinitas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lUB_IPx5HybbQZRasHKoWA.png" /><figcaption>Subpatch cables.gl</figcaption></figure><p>Así que, asumiendo que la tecnología crea mundos, es momento de plantearnos que quizá necesitamos hacer esos mundos creados más abiertos y transitables. Y, para lograrlo, no todas las herramientas de creación, de diseño, valen.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9c8c653edf3a" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bikolabs/el-caso-riscanvi-una-propuesta-visual-9c8c653edf3a">El caso Riscanvi una propuesta visual</a> was originally published in <a href="https://medium.com/bikolabs">bikolabs</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[The Emperor’s automagical suit]]></title>
            <link>https://medium.com/bikolabs/the-emperors-automagical-suit-769079287f9f?source=rss----24fbd7f7636---4</link>
            <guid isPermaLink="false">https://medium.com/p/769079287f9f</guid>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[experiment]]></category>
            <category><![CDATA[bikolabs]]></category>
            <category><![CDATA[bias]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Karlos g liberal]]></dc:creator>
            <pubDate>Wed, 07 Oct 2020 09:58:48 GMT</pubDate>
            <atom:updated>2020-10-07T09:58:48.790Z</atom:updated>
            <content:encoded><![CDATA[<h4>An experiment on bias and underperformance in image recognition AI</h4><p><em>by Ujué Agudo and Karlos G. Liberal, members of Bikolabs, </em><a href="https://www.biko2.com/"><em>Biko’s</em></a><em> laboratory</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*6tN7uj9aHWetCSi7.jpeg" /></figure><p>In May of this year, <a href="https://www.sciencemag.org/news/2020/05/eye-catching-advances-some-ai-fields-are-not-real">Science magazine </a>wondered if we have forged an image about Artificial Intelligence that does not correspond to its actual performance.</p><p>Let´s consider the case of object recognition AI. What do image recognition algorithms “see” when they “look at us”? Do they really identify what we do, the context in which we find ourselves, the person we apparently are, as assumed? Is their interpretation of the image neutral and free from bias? How accurate are these pieces of software that are offered in the market as quick and easy-to-apply AI solutions?</p><p>We have analysed the labelling and description of images of men and women (some of them carrying objects that have historically been associated with gender stereotypes) using some products in the market and some pre-trained AI models. The results (dire photographs descriptions, different labelling between men and women, objects that are invisible depending on gender…) lead us to add a couple of questions to those initially posed: Is image recognition AI really performing as efficiently as it is being advertised? Or are we confusing with magic what is not even a well-executed trick?</p><p>This is a story (and an experiment) about automagical models that do not adequately perform the task for which they were created and whose performance is even biased. <a href="https://en.wikipedia.org/wiki/The_Emperor%27s_New_Clothes">The Emperor has no clothes</a> and it’s time for the whole town to point their fingers at him.</p><h3>The magical breadth of AI</h3><p>For some time now, despite our faith in the supposed superpowers of AI, we have had to assume that it is neither as objective nor as neutral as we wanted to believe. For the most part it is ineffective, discriminatory, <a href="https://theconversation.com/el-sexismo-en-los-algoritmos-una-discriminacion-subestimada-140790">sexist </a>and <a href="https://theconversation.com/discriminacion-racial-en-la-inteligencia-artificial-142334">racist</a>. Something that is not strange given that humans, present throughout the lifecycle of AI, can transfer our subjectivities and biases to the machine in all the phases of the AI process.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/60/0*FK6MyI9Xeue6BwBR" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/0*r_l5JHkTnlNp_dOX.png" /><figcaption>The risk of human bias in the different stages of the Machine Learning life cycle, published by Catherina Xu and Tulsee Doshi at <a href="https://ai.googleblog.com/2019/12/fairness-indicators-scalable.html">https://ai.googleblog.com/2019/12/fairness-indicators-scalable.html</a></figcaption></figure><p>The risk of human bias in the different stages of the Machine Learning life cycle, published by Catherina Xu and Tulsee Doshi at <a href="https://ai.googleblog.com/2019/12/fairness-indicators-scalable.html">https://ai.googleblog.com/2019/12/fairness-indicators-scalable.html</a></p><p>With an increase in the awareness of this subject, the effort to identify these biases and devise ways to alleviate them has also gone up (from research on <a href="http://aif360.mybluemix.net/?_ga=2.6672434.1890497583.1597312234-695232984.1597312234&amp;cm_mc_uid=38730991797015910823562&amp;cm_mc_sid_50200000=39581081597312233992&amp;cm_mc_sid_52640000=99179131597312234003">practices and tools for their mitigation </a>to the suggestion of a <a href="http://nautil.us/issue/58/self/machine-behavior-needs-to-be-an-academic-discipline">new scientific discipline that analyses the behaviour of algorithms</a>).</p><p>Although these are necessary strategies to address the problem of AI biases, they all assume their implementation as an inevitable response to a problem, avoiding the previous step of determining whether the problem to be addressed can be considered suitable domain for an AI or not (at a practical and defined level, not only at a theoretical level).</p><p>Take the case of object recognition. It has been determined that it is a suitable field for AI and therefore we can find commercial products in the market such as Amazon Rekognition or dedicated models and architectures of deep neural networks such as Img2txt or MobilNet. These AIs identify objects in images or videos and tag or describe them. To what end? Currently the main areas of implementation are the visual search for products in E-commerce and the like, the automated organization of photographs in image repositories, the automatic tagging of these, the moderation of content based on that tagging or accessibility. But in the future, it is expected that these AIs will allow a better experience with Virtual and Augmented Reality, facilitation of facial recognition, images classification in the medicine field or enable autonomous driving, all of these with guarantees.</p><p>Image recognition is conceived as a very limited implementation of AI, adjusted to its current capabilities (<a href="https://en.wikipedia.org/wiki/Weak_AI">Weak or Narrow AI</a>) and focusing on solving a specific type of problem. Something very far from the siren songs of Artificial General Intelligence (or <a href="https://en.wikipedia.org/wiki/Artificial_general_intelligence">AGI</a>), whose aspiration is to match or exceed human intelligence and that from time to time echoes in our ears as has recently happened with the launch of the <a href="https://openai.com/blog/openai-api/">GPT- 3 </a>.</p><p>However, even being aware of AI limitations, as in this case, we tend to try solving complex problems with it based on extreme simplifications. Like when we intend for an AI to recommend us <a href="https://www.eldiario.es/euskadi/blogs/al-margen/algoritmo-netflix-videoclub-barrio_132_1835335.html">which movie to watch tonight</a> but also <a href="https://www.washingtonpost.com/technology/2018/11/16/wanted-perfect-babysitter-must-pass-ai-scan-respect-attitude/">which babysitter to hire for our children</a> or <a href="https://www.wired.com/story/los-angeles-police-department-predictive-policing/">which areas of the city to patrol to prevent crime</a>.</p><p>For decades we have not been able to answer complex questions such as what is <a href="https://ai.shorensteincenter.org/ideas/2018/11/12/dont-believe-every-ai-you-see-1">the purpose of punishment in criminal justice</a>, for example, and yet we hope that a technology is capable of predicting the future criminal activity of a person and thus determine <a href="https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing">the conditions of parole</a>. <a href="https://www.newstatesman.com/politics/education/2020/08/level-results-injustice-shows-why-algorithms-are-never-neutral">Or have an AI evaluate the academic performance</a> of some students who have not been able to properly complete the course due to a pandemic.</p><p>Compared to these areas of implementation, the object recognition task may seem simple, but are we certain that properly identifying the elements of the world is a defined and delimited task and therefore perfect for AI? Let’s appraise it, because as <a href="https://www.excavating.ai/">Kate Crawford and Trevor Paglen</a> of the AI Now Institute point out, “images do not describe themselves”, so “automated image interpretation is an intrinsically social and political project”.</p><p>Let´s take the case of a <a href="https://arxiv.org/abs/1906.02659">recent experiment</a>, in which when testing various object recognition systems such as Google Cloud Vision, Amazon Rekognition or IBM Watson, it was found that their accuracy was 15% higher when analysing everyday photographs of objects (such as hand soap) taken in the US, than when they were taken in places like Somalia or Burkina Faso. Representing the world by classifying the universe of objects that are part of our reality sounds, to say the least, complex.</p><p>But the very situation of AI image recognition is also somewhat complex and convulsive. On the one hand, the market offers easy-to-use products with the AI brand (such as Amazon Rekognition or Google Cloud Vision) and an almost generic purpose, which ranges from identifying objects, determining whether a piece of content is inappropriate, analysing facial features or motion capture.</p><p>On the other hand, we have a whole new industry in development, where pure research is mixed with models and architectures based on neural networks (such as Img2txt or MobileNet) trained specifically for dedicated tasks and uses, but which are also being used as pre-trained models of broader implementation from tools like<a href="https://runwayml.com/"> RunwayML</a>.</p><p>Depending on the entry point of the person interested in using these AI solutions, it could be thought that the use of AI is as specific and complex as designing and training a convolutional neural network with its own dataset, or quite the opposite: a use as generic and simple as hiring a product from the market or using an online tool. The risk of generic solutions in areas that are not simple to understand is that they generate the feeling of a magic trick.</p><p>In fact, as Donald Norman says in his book “The Design of Future Things”, “If the intelligent, automatic devices worked perfectly, we would be happy. If they really were completely reliable, we wouldn’t have to know how they work: automagic would then be just fine (…) However, we get stuck in the in-between world of automatic devices we don’t understand and that don’t work as expected, not doing the task we wish to have done, well, then our lives are not made easier, and certainly not more enjoyable ”.</p><h3>The world contemplated by an AI is very limited</h3><p>In image recognition, AI find and identify objects and associate them with the tags and categories on which they have been trained. Most pre-trained AI models use a limited volume of categories. Furthermore, although the data set on which many of these models are based, ImageNet, initially had 21,000 categories, most of these models only use 1,000 of these categories.</p><p>Although trying to reduce the analysis of the visual universe to only 1,000 labels can be understood as too simplistic, the truth is that in the sector it is not considered a problem since it is assumed that pre-trained models, as we have commented, could be <a href="https://idecor.cba.gov.ar/introduccion-a-las-redes-neuronales-convolucionales-para-clasificacion-de-imagenes/">retrained for the specific task that they are going to perform </a>(for example, distinguish between pizza and burgers from photos), instead of being used to evaluate the realm of objects in the world.</p><p>However, if we do not know which and how many categories are contemplated by the model we are going to use (which can be found in the technical documentation of some of them, but not all), when applying AI in categories for which it has not been trained into, its performance will seem very poor. This is what happens when we use neural networks like MobileNet in its generic implementation through RunwayML or ML5js, for example. MobileNet which does not include the category “Person” among its 1,000 categories, if it is used to analyse photos of people, it returns awkward results.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*1qyzbQClJn-Cr7hR.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*HEyyf0OWQ-F0v2zQ.png" /><figcaption>Photo 1, with “abaya” as the main tag. Photo 2 labelled as “chain mail”</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*6zawJBzOHIlwkR-H.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*MemujrzegG3Jt7So.png" /><figcaption>Photo 3 labelled “strainer”. Photo 4 as “wig”</figcaption></figure><p>If, on the contrary, the model takes into account the category “Person”, what emerges are not bad results, but other problems, such as sexist, racial biases… The original presence of inappropriate labels in the category “Person” (including racist insults and misogynistic terms) was evidenced by Crawford and Paglen in their article “<a href="https://www.excavating.ai/">Excavating AI</a>”. As the authors relate, the tags found in ImageNet, which are based on the well-known semantic structure developed by Princeton University, WordNet, use terms such as “pervert, spinster, call girl, streetwalker, stud, wanton, loser or fucker.”</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*AKghBe1M-bgiB9mo.png" /><figcaption>ImageNet tag tree screenshot posted by Kate Crawford and Trevor Paglen in their article <a href="https://www.excavating.ai/">Excavating AI</a></figcaption></figure><p>To show this situation, they developed an art project, ImageNet Roulette, which was covered in the <a href="https://www.theguardian.com/technology/2019/sep/17/imagenet-roulette-asian-racist-slur-selfie">media</a> and caused <a href="https://www.diyphotography.net/online-database-imagenet-to-remove-600000-images-after-art-project-exposes-its-racist-and-gender-bias/">ImageNet to remove up to 600,000 photographs</a> from that category. At the time the project was also eliminated.</p><p>From Bikolabs we wanted to recreate this story using the full ImageNet category system with the old <a href="https://translate.google.com/translate?hl=en&amp;prev=_t&amp;sl=auto&amp;tl=en&amp;u=https://github.com/dmlc/mxnet-model-gallery/blob/master/imagenet-21k-inception.md">Full </a><a href="https://github.com/dmlc/mxnet-model-gallery/blob/master/imagenet-21k-inception.md">ImageNet Network </a><a href="https://translate.google.com/translate?hl=en&amp;prev=_t&amp;sl=auto&amp;tl=en&amp;u=https://github.com/dmlc/mxnet-model-gallery/blob/master/imagenet-21k-inception.md">model</a>, which does include the original 21,000 categories (including the “Person” category). And what we found were things like this:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*8YL-BnTOV7mh-iUl.png" /></figure><p>Knowing what categories current AI take into account is not always easy, as we have commented. Some commercial software such as Amazon Rekognition, <a href="https://aws.amazon.com/es/rekognition/faqs/">do not report</a> on the number of categories they use or how detailed or generic they are, so it is difficult to limit the expectation about their effectiveness or detect possible biases in the categorization that was carried out during their training.</p><h3>Blind with training datasets</h3><p>Discovering not only under what criteria neural networks classify images but also with which datasets (and which labels) they have been trained, is an even more impossible mission due to the opacity of the AI and the companies who owns it. How did they get their training dataset? Did they use their own graphic material, or did they <em>scrape </em>material from platforms like Flickr and the like? This second option is the case <a href="https://www.theverge.com/2019/3/12/18262646/ibm-didnt-inform-people-when-it-used-their-flickr-photos-for-facial-recognition-training">of the IBM </a><a href="https://translate.google.com/translate?hl=en&amp;prev=_t&amp;sl=auto&amp;tl=en&amp;u=https://www.theverge.com/2019/3/12/18262646/ibm-didnt-inform-people-when-it-used-their-flickr-photos-for-facial-recognition-training">dataset</a> , created to train neural networks with almost a million images, in which the owners of the photographs were not informed of their use by the company.</p><p>But in addition to the source from which the raw images are obtained, it is important to know the images that have been used to exemplify each category, so that AI could properly identify and tag objects in the future. Whether such images are appropriate for the label they represent can be crucial. A counterexample of this are the images corresponding to the label “girl” of the aforementioned ImageNet dataset, where we find that the photographs are at least not very appropriate for the label in question…</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/0*4QfdmSFxi0o9HSuf.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/0*RarYtGq1hREhrwjt.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/499/0*Im8MOhaPbOGsryuB.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/0*l69xMK5zFDjEOxFW.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/375/0*JUZPIdFn0O8fW64y.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/375/0*jd43qUZQNXsJ8Ail.jpeg" /></figure><p>… And not very different from those represented by the label “woman”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/972/0*WlBLDTqB4_zvujkK.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*omu4wLSYYJNeZlv3.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/499/0*nu0t2L5Qb1XGiqWE.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/330/0*VK0iXIPkQ2ODGiz3.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/195/0*9zu2GL4OoQxzQhIz.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/333/0*Gkyt7VWcTGQmpCv6.jpeg" /></figure><p>It may be that the lack of coherence between the labels and the images of these categories is the cause that, as we pointed out from Bikolabs a few months ago, <a href="https://translate.google.com/translate?hl=en&amp;prev=_t&amp;sl=auto&amp;tl=en&amp;u=https://twitter.com/ujue/status/1235179592752783360">Google Images </a><a href="https://twitter.com/ujue/status/1235179592752783360">labels the photographs of women</a> in a generalized way as “girl” regardless of their age and appearance, yet richer in labels with photographs of men.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*wkJAFUN0nkvJ3fgd.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*MD0m4llq2CUUktqp.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*0xC6xXGMoWiQGfBd.png" /><figcaption>Tagging of photos of women in Google Images as “girl”</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*EdqVkjJf5FgrRUiq.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*1YIVzmaoZmKB1K1K.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*zCdtEXQ9W9aSaM43.png" /><figcaption>Tagging of photos of men in Google Images as “gentleman”, “spokesperson” or “surfer hair”</figcaption></figure><p>This poor performance could also be due to a mismatch between the focus of the training images and that of the analysed photographs. An example: if we look at <a href="https://translate.google.com/translate?hl=en&amp;prev=_t&amp;sl=auto&amp;tl=en&amp;u=http://image-net.org/synset%3Fwnid%3Dn02906734">the category “broom” in </a><a href="http://image-net.org/synset?wnid=n02906734">ImageNet</a>, we find that most training photos for this tag lack context of use. The focus of the photographs is on the object alone.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/838/0*vqAcnhV_aA1Y7HFR.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/333/0*y1E5lAojDitAVskN.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*bGC_w_XL4wWi11Dt.jpeg" /></figure><p>When using a model that considers the broom category, as is the case with MobileNet, to analyse photographs where the object is in its context of use, the AI ​​finds certain difficulties in distinguishing it from “similar” objects such as harps, swabs or crutches.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*YfsTCisneEXEpJqj.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*91ZlY4SSJEIvrRa-.png" /><figcaption>Photo 1 labelled “harp”. Photo 2 as “crutch”</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*TAJIWszlRI5nitkf.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*uF4QOIRdveQlIdTw.png" /><figcaption>Photo 3 labelled “picket fence”. Photo 4 as “swab”</figcaption></figure><p>And since we have identified tagging as key work, do we know who tagged the photos of the pre-trained models? Was the task performed by humans or by another AI? In the case of Amazon, for example, the company has both an “army” of humans who carry out work on this line (through the <a href="https://www.mturk.com/worker">Amazon Mechanical Turk service</a>, which has been used for example to build the <a href="https://arxiv.org/pdf/1405.0312.pdf">Coco dataset</a>), and with auto-tagging products (such as the <a href="https://aws.amazon.com/es/sagemaker/groundtruth/">Amazon SageMaker Ground Truth service</a>). But we cannot know which of these options or others has the company chosen to <a href="https://aws.amazon.com/es/rekognition/faqs/">label its dataset</a>.</p><h3>Performance in question</h3><p>Poor object recognition results are not always derived from a poor choice of training images. Sometimes we simply put a non-realistic expectation on their performance.</p><p>Let’s take the case of Img2txt, which returns a textual description of the images instead of individual labels, having been trained to do so with 20,000 images described with a short sentence. If we access <a href="https://www.imageclef.org/photodata">the training photographs</a> and use them to evaluate the model, we find that the discrepancies between the training descriptions and the offered results are broad.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*aAv8bfksnGM0Htdz.png" /><figcaption>The richness of the photographs descriptions in the training dataset (“a blond tourist and a local woman on a train with red seats”, in the text file) is lost in the result returned by the model (“a couple of women standing next to each other”).</figcaption></figure><p>We understand that results will improve once the technology is mature enough and image processing models cross over with a good natural language processing model. However, in the meantime, we need to be aware of the level of precision that these AI can currently return before blindly implement them.</p><h3>Biased results</h3><p>In addition to the aforementioned problems, in the course of this object recognition AI performance analysis, we have found that, at times, the results appeared to show gender bias. The alarm went off while playing around with the shopping-oriented mobile visual search app CamFind, we discovered that when removing an object from a photo, the description changed significantly.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*EgdvktCL6buFymXb.jpeg" /><figcaption>Original image</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*omafzvY-_fBRL9ru.png" /><figcaption>Description of the image when processed through CamFind, literally “blue and black woman’s dress” in the original photo with the broom, and “men’s polo shirt with blue and black stripes” if we delete the broom</figcaption></figure><p>For this reason, we embarked upon analysing photographs of people carrying historically stereotyped objects, using Amazon Rekognition and ImageNet, contrasting the results with the “doubles” of the people in these photographs with their apparent gender changed. Our goal was for the comparison to be made between photographs as similar as possible (all edited images are shown to the right of the original).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/0*ADr--qjwn7RYdakf.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/0*RObg2QT4cExIUr3I.jpeg" /></figure><p>What we found in Amazon Rekognition, just like in CamFind, was that the photo was labelled differently based on apparent gender. But in this case, either the object was visible in a photograph but not in its matching pair, or it was confused with another object, or it returned labels that seemed to be related to the apparent gender of the person photographed.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*ACh9TWir3gerdEU9.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*4fRr3z3aK8MAkHRb.png" /><figcaption>While in the original photo the “power drill” object is not detected, it is in the photo edited with FaceApp</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*IHvHW8wG9NcskPQu.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*PiGqnDav2ttZuyVL.png" /><figcaption>In neither of the two photographs the power drill is detected, but the edited one is associated with the label “cleaning”</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*yK-SsVaSDTBS9TJR.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*d0IkizQKd8rENBRC.png" /><figcaption>The “hammer” object is only “detected” in the edited photo on the right</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*pp3w0LfU9caHIo5Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*3W_ltx6K12OYAa8t.png" /><figcaption>In the original photo, the helmet is detected and associated with related professions, while in the edited photo it is not detected</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*BJy6Jo7iF7WByfCY.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*A1mkSr2RIXiZyIr6.png" /><figcaption>In the original photo, the object is mistaken for a blow dryer, while in the edited one, it is not</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*4mwnxtAd5-iZCXgZ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*XMDNYOHYIYrngIK4.png" /><figcaption>Activity is detected in the original photo, “cleaning”, but not in the modified one. In addition, the labels on the possible profession of the photographed person change between both images: “Nurse” vs. “Worker” and “Student”</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*Z5pDPfV7gHuIzyKD.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*hN0S9GIwbtJ8YinV.png" /><figcaption>Objects and activity are not detected in the original photo, but in the edited one: “cleaning”</figcaption></figure><p>On the other hand, analysing the photographs with Img2txt, we find that the descriptions also change according to the apparent gender, but, on this occasion, the results that it returns are awkward in both cases. Some examples:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/0*g1Ue2FPFtU4X9J_r.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/0*Ob65zsLm3K_EHBrZ.png" /><figcaption>The AI ​​”sees” a wii game controller or a banana instead of an power drill or a spray bottle</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/0*6xWMUqNLVF2jXX6P.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/0*Oku2VXJP1uVRSOWO.png" /><figcaption>A pair of scissors or a cell phone instead of a gavel or a hammer</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/0*4S_lGTRmxtBChuli.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/0*9FTiDh1--XQnlk41.png" /><figcaption>A snowboard or suitcase instead of a tool box</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/0*jgxfMWFYuGkTaiNB.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/0*ZPsYEAgFFOAQwzRi.png" /><figcaption>A tennis racket or a frisbee instead of a broom</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/0*cq92s7Y4vZV5niQM.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/0*oA-ZtH-6aqQK6iyH.png" /><figcaption>A frisbee or a teddy bear instead of cleaning supplies</figcaption></figure><p>In addition, in Amazon Rekognition we found that when the gender of the person in the photograph was identified (binary), men were assigned only one label (Man), while women were assigned more (Woman, Female, Girl). As we said before, knowing the list of categories and their hierarchy would be very useful in these cases.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*KmagweAin_-Qi3F4.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*kXJN8BbIBLBGRNvA.png" /><figcaption>In photographs where the person appears to be a woman, gender labels are more abundant</figcaption></figure><p>In view of these results, <a href="https://www.businessinsider.com/google-cloud-vision-api-wont-tag-images-by-gender-2020-2?IR=T">initiatives such as Google AI</a> that stopped showing gender in image tagging do not seem to completely solve the bias problem.</p><h3>Conclusions</h3><p>It is estimated that the “Global Visual Search Market” will exceed <a href="https://www.fritz.ai/image-recognition/">$ 14.7 billion</a> by 2023. Meanwhile, and perhaps due to this same expectation, the market continues without wanting to get rid of the magic halo that surrounds AI, bedecking it with <a href="https://en.wikipedia.org/wiki/The_Emperor%27s_New_Clothes">the emperor’s new clothes</a>.</p><p>At Bikolabs we think that the magical and idyllic image about AI that they wanted to sell us does not really benefit the sector at all. It may be difficult that we are going to suffer another AI winter, but it is possible that, as <a href="https://jeffreybigham.com/blog/2019/the-coming-ai-autumnn.html">Jeffrey P. </a><a href="https://translate.google.com/translate?hl=en&amp;prev=_t&amp;sl=auto&amp;tl=en&amp;u=https://jeffreybigham.com/blog/2019/the-coming-ai-autumnn.html">Bigham</a> points out, what does come is an autumn in which, although we can reap the harvest of our well-spent efforts in applying AI in defined problems, the empty hype that still supports the market today deflates.</p><p>It is time to point out the nudity of the emperor and to highlight the limitations and inefficiencies of that narrow AI that was focused too broadly.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=769079287f9f" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bikolabs/the-emperors-automagical-suit-769079287f9f">The Emperor’s automagical suit</a> was originally published in <a href="https://medium.com/bikolabs">bikolabs</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[El automágico traje del emperador]]></title>
            <link>https://medium.com/bikolabs/el-automagico-traje-del-emperador-c2a0bbf6187b?source=rss----24fbd7f7636---4</link>
            <guid isPermaLink="false">https://medium.com/p/c2a0bbf6187b</guid>
            <category><![CDATA[reconocimiento-de-imagen]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <category><![CDATA[experimento]]></category>
            <category><![CDATA[bikolabs]]></category>
            <dc:creator><![CDATA[ujue agudo]]></dc:creator>
            <pubDate>Wed, 09 Sep 2020 14:41:33 GMT</pubDate>
            <atom:updated>2020-09-11T07:11:21.581Z</atom:updated>
            <cc:license>https://creativecommons.org/licenses/by-nc/4.0/</cc:license>
            <content:encoded><![CDATA[<h4>Un experimento sobre sesgo y bajo rendimiento en la IA de reconocimiento de imágenes</h4><p><em>por </em><a href="https://twitter.com/ujue"><em>Ujué Agudo</em></a><em> y </em><a href="https://twitter.com/patxangas"><em>Karlos G. Liberal</em></a><em>, miembros de Bikolabs, el laboratorio de </em><a href="https://www.biko2.com/"><em>Biko</em></a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SO3pMr3M7GmokvJOooMsEg.jpeg" /></figure><p>En mayo de este año, <a href="https://www.sciencemag.org/news/2020/05/eye-catching-advances-some-ai-fields-are-not-real">la revista Science se preguntaba</a> si nos hemos forjado una imagen sobre la Inteligencia Artificial que no se corresponde con su rendimiento real.</p><p>Pongamos el caso de la IA de reconocimiento de objetos. ¿Qué “ven” los algoritmos de reconocimiento de imágenes cuando nos “miran”? ¿Realmente identifican lo que hacemos, el contexto en el que nos encontramos, la persona que aparentemente somos, tal y como se presupone? ¿Su interpretación de la imagen resulta neutral y libre de sesgos? ¿Cómo de precisas son estas piezas de software que se ofertan al mercado como soluciones de inteligencia artificial de aplicación rápida y sencilla?</p><p>Hemos analizado el etiquetado y la descripción de imágenes de hombres y mujeres (algunos de ellos portando objetos que históricamente se han asociado con estereotipos de género) mediante algunos productos del mercado y algunos modelos pre-entrenados de inteligencia artificial. Los resultados (nefastas descripciones de las fotografías, etiquetado diferente entre hombres y mujeres, objetos que resultan invisibles dependiendo del género…) nos llevan a sumar un par de preguntas a las planteadas inicialmente: ¿Realmente la IA de reconocimiento de imágenes está en el momento de eficacia que vende el mercado? ¿o estamos confundiendo con magia lo que no llega ni a ser un truco bien ejecutado?</p><p>Esta es una historia (y un experimento) sobre modelos automágicos que no realizan adecuadamente la tarea para la que han sido creados y cuyo desempeño se encuentra incluso sesgado. El <a href="https://es.wikipedia.org/wiki/El_traje_nuevo_del_emperador">emperador está desnudo</a> y es hora de señalarlo masivamente con el dedo.</p><h3>La amplitud mágica de la Inteligencia Artificial</h3><p>De un tiempo a esta parte, a pesar de la fe puesta en los supuestos superpoderes de la IA, hemos tenido que asumir que ni es tan objetiva ni tan neutral como se deseaba creer. En muchas ocasiones es ineficaz, discriminatoria, <a href="https://theconversation.com/el-sexismo-en-los-algoritmos-una-discriminacion-subestimada-140790">sexista</a> y <a href="https://theconversation.com/discriminacion-racial-en-la-inteligencia-artificial-142334">racista</a>. Algo que no resulta extraño dado que los humanos, presentes en todo el ciclo de vida de la IA, podemos trasladar nuestras subjetividades y sesgos a la máquina en todas las fases del proceso.</p><figure><img alt="Ciclo de vida de la IA con el riesgo de sesgo humano en cada una de sus fases" src="https://cdn-images-1.medium.com/max/640/1*s7Y1zzKbt-qNtzSm60Hl-w.png" /><figcaption>El riesgo del sesgo humano en las diferentes etapas del ciclo de vida del Machine Learning, publicado por Catherina Xu y Tulsee Doshi en <a href="https://ai.googleblog.com/2019/12/fairness-indicators-scalable.html">https://ai.googleblog.com/2019/12/fairness-indicators-scalable.html</a></figcaption></figure><p>Con el aumento de conciencia sobre esta cuestión, se ha incrementado también el esfuerzo por identificar estos sesgos e idear formas de paliarlos (desde la investigación sobre <a href="http://aif360.mybluemix.net/?_ga=2.6672434.1890497583.1597312234-695232984.1597312234&amp;cm_mc_uid=38730991797015910823562&amp;cm_mc_sid_50200000=39581081597312233992&amp;cm_mc_sid_52640000=99179131597312234003">prácticas y herramientas técnicas para su mitigación</a> hasta la sugerencia de <a href="http://nautil.us/issue/58/self/machine-behavior-needs-to-be-an-academic-discipline">una nueva disciplina científica que analice el comportamiento de los algoritmos</a>).</p><p>Aunque se trata de estrategias necesarias para abordar el problema de los sesgos en la IA, todas ellas asumen como inevitable su aplicación como respuesta a un problema, obviando el paso previo de determinar si el problema a abordar puede considerarse terreno adecuado para una IA o no (a nivel práctico y concreto, no sólo a nivel teórico). <br>Pongamos el caso del reconocimiento de objetos. Se ha determinado que es un campo adecuado para la IA y por ello podemos encontrar en el mercado productos comerciales como Amazon Rekognition o modelos y arquitecturas de redes neuronales profundas como Img2txt o MobilNet dedicadas a ello. Estas IAs identifican objetos en imágenes o vídeos y los etiquetan o describen. ¿Con qué fin? Actualmente sus áreas principales de aplicación son la búsqueda visual de productos en ecommerces y similares, la organización automatizada de fotografías en repositorios de imágenes, el etiquetado automático de éstas, la moderación de contenido en base a ese etiquetado o la accesibilidad. Pero a futuro se espera que estas IAs permitan una experiencia mejor con Realidad Virtual y Aumentada, faciliten el reconocimiento facial, clasifiquen imágenes en medicina o habiliten la conducción autónoma, todo ello con garantías.</p><p>El reconocimiento de imágenes se concibe como una aplicación muy acotada de la IA, ajustada a sus capacidades actuales (<a href="https://en.wikipedia.org/wiki/Weak_AI">Weak o Narrow AI</a>) y con el foco adecuadamente puesto en resolver un tipo de problema concreto. Algo muy alejado de los cantos de sirena de la Inteligencia Artificial General (o <a href="https://en.wikipedia.org/wiki/Artificial_general_intelligence">AGI</a>), cuya aspiración consiste en igualar o superar la inteligencia humana y que de vez en cuando vuelve a resonar en nuestros oídos como ha ocurrido recientemente con el lanzamiento del <a href="https://openai.com/blog/openai-api/">GPT-3</a>.</p><p>Sin embargo, aún siendo conscientes de sus limitaciones de la IA, como en este caso, tendemos a tratar de resolver con ella problemas complejos a base de simplificaciones al extremo. Como cuando pretendemos que una IA nos recomiende <a href="https://www.eldiario.es/euskadi/blogs/al-margen/algoritmo-netflix-videoclub-barrio_132_1835335.html">qué película ver esta noche</a> pero también a qué <a href="https://www.washingtonpost.com/technology/2018/11/16/wanted-perfect-babysitter-must-pass-ai-scan-respect-attitude/">canguro contratar para cuidar de nuestros hijos</a> o qué zonas de la ciudad <a href="https://www.wired.com/story/los-angeles-police-department-predictive-policing/">patrullar para evitar crímenes</a>.</p><p>Llevamos décadas sin poder responder a preguntas complejas como <a href="https://ai.shorensteincenter.org/ideas/2018/11/12/dont-believe-every-ai-you-see-1">cuál es el objetivo del castigo en justicia penal</a>, por ejemplo, y sin embargo esperamos que una tecnología sea capaz de predecir la futura actividad delictiva de una persona y con ello determinar <a href="https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing">las condiciones de su libertad condicional</a>. <a href="https://www.newstatesman.com/politics/education/2020/08/level-results-injustice-shows-why-algorithms-are-never-neutral">O que una IA evalúe el desempeño académico</a> de unos estudiantes que no han podido terminar adecuadamente el curso a causa de una pandemia.</p><p>En comparación con estas áreas de aplicación, la tarea de reconocimiento de objetos puede parecer simple pero, ¿de verdad nos parece que identificar adecuadamente los elementos del mundo es una tarea concreta y acotada y por tanto perfecta para las IAs? Valorémoslo, porque como bien indican <a href="https://www.excavating.ai/">Kate Crawford y Trevor Paglen</a> del AI Now Institute, “las imágenes no se describen a sí mismas”, por lo que “la interpretación automatizada de imágenes es un proyecto intrínsecamente social y político”.</p><p>Tomemos el caso de <a href="https://arxiv.org/abs/1906.02659">un experimento reciente</a>, en el que, testando varios sistemas de reconocimiento de objetos como Google Cloud Vision, Amazon Rekognition o IBM Watson encontraron que su precisión era un 15% más alta cuando analizaban fotografías de objetos cotidianos (como un jabón de manos) tomadas en EEUU, que cuando lo hacían con las tomadas en lugares como Somalia o Burkina Faso. Representar el mundo mediante la clasificación del universo de objetos que forman parte de nuestra realidad suena, cuando menos, complejo.</p><p>Pero es que la propia situación de la inteligencia artificial en reconocimiento de imágenes también es un tanto compleja y convulsa. Por un lado, desde el mercado se proponen productos de fácil uso con el apellido de inteligencia artificial (tipo Amazon Rekognition o Google Cloud Vision) y un propósito casi genérico, que abarca desde identificar objetos, a determinar si un contenido es inapropiado, analizar rasgos faciales o registrar movimientos.</p><p>Por otro lado, tenemos toda una nueva industria del desarrollo, donde se mezcla la investigación pura con modelos y arquitecturas basadas en redes neuronales (como Img2txt o MobileNet) entrenadas específicamente para tareas y usos concretos, pero que también están siendo utilizadas como modelos pre-entrenados de aplicación más amplia desde herramientas como <a href="https://runwayml.com/">RunwayML</a>.</p><p>Según el punto de entrada de la persona interesada en utilizar estas soluciones de inteligencia artificial, se podría llegar a pensar que el uso de la IA es tan específico y complejo como diseñar y entrenar una red neuronal convolucional con un dataset propio, o todo lo contrario: un uso tan genérico y sencillo como contratar un producto del mercado o usar una herramienta online. Y el riesgo de las soluciones genéricas en terrenos que no son de comprensión simple es que generan la ilusión de magia.<br>De hecho, como afirma Donald Norman en su libro “El diseño de los objetos del futuro”, “si los aparatos automáticos e inteligentes funcionaran a la perfección, seríamos felices. Si de verdad fueran totalmente fiables, no tendríamos por qué saber cómo funcionan: la automagia estaría muy bien (…) Pero cuando nos quedamos atrapados en el mundo intermedio de los aparatos automáticos que no entendemos y que no funcionan como esperamos, o que no llevan a cabo la tarea que queremos realizar, entonces la vida no es más fácil y, sin duda, no es más agradable”.</p><h3>El mundo contemplado por las IAs es muy limitado</h3><p>En el reconocimiento de imágenes, las IAs encuentran e identifican objetos y los asocian con las etiquetas y categorías en las que se han entrenado. La mayoría de modelos pre-entrenados de IA utilizan un volumen limitado de categorías. Aunque el dataset en el que se basan muchos de estos modelos, ImageNet, contaba inicialmente con 21.000 categorías, estos modelos en su mayoría ahora sólo utilizan 1.000 de estas categorías.</p><p>Si bien tratar de reducir el análisis del universo visual a sólo 1.000 etiquetas puede entenderse como demasiado simplista, lo cierto es que en el sector no se considera un problema dado que se asume que los modelos pre-entrenados, como hemos comentado, se podrán <a href="https://idecor.cba.gov.ar/introduccion-a-las-redes-neuronales-convolucionales-para-clasificacion-de-imagenes/">volver a entrenar para la tarea específica que vayan a realizar</a> (por ejemplo, distinguir entre fotos con pizza o hamburguesas), en lugar de utilizarse para evaluar toda la realidad de objetos del mundo.</p><p>Sin embargo, si no conocemos cuáles y cuántas son las categorías contempladas por el modelo que vamos a usar (que puede encontrarse en la documentación técnica de algunos de ellos, pero no de todos), al aplicar la IA en categorías para las que no ha sido entrenada su desempeño parecerá muy pobre. Es lo que sucede cuando utilizamos redes neuronales como MobileNet en su aplicación genérica a través de RunwayML o de ML5js, por poner un caso. MobileNet, que no contempla la categoría “Persona” entre sus 1.000 categorías, si es utilizada para analizar fotos de personas nos devuelve desconcertantes resultados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*SCftVFMuGg11BXz1U0HH2w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*b7ZUi7QFJn86ck0HATyXbQ.png" /><figcaption>Foto 1, con “túnica” como etiqueta principal. Foto 2 etiquetada como “armadura”</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*1rh-W257sieaRq_wu65lpg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*zvFPuEQ3VqhqEHY8M6adlA.png" /><figcaption>Foto 3 etiquetada como “colador”. Foto 4 como “peluca”</figcaption></figure><p>Si por el contrario el modelo tiene en cuenta la categoría “Persona”, lo que descubrimos no son malos resultados, sino otros problemas, como sesgos sexistas, raciales… La presencia originariamente de etiquetas poco adecuadas en la categoría “Persona” (incluyendo insultos racistas y términos misóginos) fue evidenciada por Crawford y Paglen en su artículo “<a href="https://www.excavating.ai/">Excavating AI”</a>. Como los autores relatan, las etiquetas encontradas en ImageNet, que se basan en la conocida estructura semántica desarrollada por la Universidad de Princeton, WordNet, utilizan términos como “pervertido, solterona, zorra, ramera, semental, pajero, perdedor o cabrón”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eHTN2VarbpI8ouYyNZ8KNg.png" /><figcaption>Captura del árbol de etiquetas de ImageNet publicado por Kate Crawford and Trevor Paglen en su artículo <a href="https://www.excavating.ai/">Excavating AI</a></figcaption></figure><p>Para evidenciar esta situación, desarrollaron un proyecto de arte, ImageNet Roulette, del que se hicieron eco en los <a href="https://www.theguardian.com/technology/2019/sep/17/imagenet-roulette-asian-racist-slur-selfie">medios de comunicación</a> y provocó que <a href="https://www.diyphotography.net/online-database-imagenet-to-remove-600000-images-after-art-project-exposes-its-racist-and-gender-bias/">ImageNet eliminara hasta 600.000 fotografías</a> de esa categoría. Al tiempo el proyecto también fue eliminado.</p><p>Dede Bikolabs quisimos recrear esta historia utilizando el sistema de categorías completo de ImageNet con el antiguo <a href="https://github.com/dmlc/mxnet-model-gallery/blob/master/imagenet-21k-inception.md">modelo Full ImageNet Network</a>, que sí contempla las 21.000 categorías originales(incluida la categoría “Persona”). Y lo que encontramos fueron cosas como estas:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*o6ZUIby9fDLnVWujrLjT3w.png" /></figure><p>Conocer qué categorías contemplan las IAs actuales no es siempre sencillo, como hemos comentado. Algunos de softwares comerciales como Amazon Rekognition, <a href="https://aws.amazon.com/es/rekognition/faqs/">no informan</a> sobre el número de categorías que utilizan o cómo de detalladas o genéricas son éstas, por lo que resulta complejo acotar la expectativa sobre su eficacia esperada o detectar posibles sesgos en la categorización que se realizó durante su entrenamiento.</p><h3>A ciegas con los datasets de entrenamiento</h3><p>Descubrir no sólo bajo qué criterio las redes neuronales clasifican las imágenes sino incluso con qué datasets (y qué labels) se han entrenado resulta misión aún más imposible debido a la opacidad de las IAs y la de sus empresas propietarias. ¿Cómo obtuvieron su dataset de entrenamiento? ¿Utilizaron material gráfico propio o <em>scrapearon</em> el material de plataformas como Flickr y similares? Esta segunda opción es el caso del <a href="https://www.theverge.com/2019/3/12/18262646/ibm-didnt-inform-people-when-it-used-their-flickr-photos-for-facial-recognition-training">dataset de IBM</a>, creado para entrenar redes neuronales con casi un millón de imágenes, en el que los propietarios de las fotografías no fueron informados de su uso por parte de la compañía.</p><p>Pero además de la fuente de la que se obtienen las imágenes en bruto, es importante conocer las imágenes que se han utilizado para ejemplificar cada categoría, de forma que IA pudiera identificar y taguear adecuadamente objetos a futuro. Que dichas imágenes sean adecuadas para la etiqueta que representan puede ser crucial. Un contraejemplo de esto son las imágenes correspondientes a la etiqueta “girl” del mencionado dataset ImageNet, donde encontramos que las fotografías son cuando menos poco apropiadas para la etiqueta en cuestión…</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*nWINFSGWNrBaQkiwTeUDJQ.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*cT6AdxHBCeRyv2Xutd8ARA.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/499/1*AztDRl52_HGwuiSYg56YMQ.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*lI1puRUkP6q_QzNryvsmEw.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/375/1*TV2Db9M08lsC9ylYJt_TzQ.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/375/1*sYFQggCl5qSt0c7pAi2gLw.jpeg" /></figure><p>…y no muy diferentes de las representan la etiqueta “woman”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/972/1*PQs8NsAXmfxhqa5uoouW2g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*z4ZnywlQkpJccvuBIVVyAQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/499/1*OxRoTrPaRZGtf2cSMwftWw.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/330/1*NVKDYBOAoAVy7UqYPQoQHw.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/195/1*JOiR5QfAj_14Xwo9IFGWQw.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/333/1*l913ENh0n92A87WFPprFUw.jpeg" /></figure><p>Puede que la falta de coherencia entre las etiquetas y las imágenes de estas categorías sea la causa de que, como señalamos desde Bikolabs hace unos meses, <a href="https://twitter.com/ujue/status/1235179592752783360">Google Images etiquete las fotografías de mujeres</a> de forma generalizada como “girl” independientemente de su edad y su aspecto, pero sea más rico en etiquetas con las fotografías de hombres.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*txomdtcYa2rwpibAvxyMxg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VcXcswV4jF64gta-xP1Evw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XkglsQTZ9ivpBKMRyhtK6g.png" /><figcaption>Etiquetado de fotos de mujeres en Google Images como “girl”</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xeVJW9BSO3yfWld4THBC_w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0Co4lwjcdVOy8Ei92GowfQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*T3YrCK1fYBiR0MOU9_WCQw.png" /><figcaption>Etiquetado de fotos de hombres en Google Images como “gentleman”, “spokesperson” o “surfer hair”</figcaption></figure><p>Este pobre desempeño podría deberse también a una discordancia entre el enfoque de las imágenes de entrenamiento y el de las fotografías analizadas. Un ejemplo: si consultamos <a href="http://image-net.org/synset?wnid=n02906734">la categoría “escoba” en ImageNet</a>, encontramos que la mayoría de fotografías de entrenamiento para esta etiqueta carecen de contexto de uso. El foco de las fotografías se pone en el objeto en solitario.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/838/1*99LBZZANgJZRFZay8NvkCw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/333/1*wEhQoM5mPYvsfrSEkuiOLg.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sWfJGkhHeI5koBMTxqteqg.jpeg" /></figure><p>Al utilizar después un modelo que contempla la categoría escoba, como es el caso de MobileNet, para analizar fotografías donde el objeto se encuentra en su contexto de uso, la IA encuentra ciertas dificultades para distinguirlo de objetos “similares” como arpas, mopas o muletas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xpdtlXKP8fWL5qIyLSjqRw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XulBwNZRTTawnNmz0X_37A.png" /><figcaption>Foto 1 etiquetada como “arpa”. Foto 2 como “muleta”</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*x8M7wOeX4sb84g33zyI9AA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qGHqEP-pgODZMgfjkD0xMg.png" /><figcaption>Foto 3 etiquetada como “valla”. Foto 4 como “mopa”</figcaption></figure><p>Y dado que hemos señalado el etiquetado como labor clave, ¿sabemos quién etiquetó las fotografías de los modelos pre-entrenados? ¿Fueron humanos o fue otra IA la que realizó esta tarea? En el caso de Amazon, por ejemplo, la compañía cuenta tanto con un “ejército” de humanos que realizan labores en esta línea (a través del servicio <a href="https://www.mturk.com/worker">Amazon Mechanical Turk</a>, que se ha utilizado por ejemplo para la construcción del <a href="https://arxiv.org/pdf/1405.0312.pdf">dataset Coco</a>), como con productos de etiquetado automático (como el servicio <a href="https://aws.amazon.com/es/sagemaker/groundtruth/">Amazon SageMaker Ground Truth</a>). Pero no podemos conocer por cuál de estas opciones u otras ha optado la compañía para <a href="https://aws.amazon.com/es/rekognition/faqs/">etiquetar su dataset</a>.</p><h3>Desempeño en entredicho</h3><p>No siempre los malos resultados del reconocimiento de objetos se derivan de una mala elección de las imágenes de entrenamiento. A veces, simplemente, es que ponemos una expectativa a su rendimiento que no es realista.</p><p>Pongamos el caso de Img2txt que devuelve una descripción textual de las imágenes en lugar de etiquetas sueltas, habiéndose entrenado para ello con 20.000 imágenes descritas con una breve frase. Si accedemos a <a href="https://www.imageclef.org/photodata">las fotografías de entrenamiento</a> y las utilizamos para evaluar el modelo, descubrimos que las discrepancias entre las descripciones de entrenamiento y los resultados ofrecidos son amplias.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*j8xqSQFVmdDCsXJpiEo_tw.png" /><figcaption>Toda la riqueza de las descripciones de las fotografías en el dataset de entrenamiento (“a blond tourist and a local woman on a train with red seats”, en el archivo de texto) se pierde en el resultado devuelto por el modelo (“a couple of women standing next to each other”).</figcaption></figure><p>Entendemos que, cuando la tecnología esté lo suficientemente madura como para que los modelos de procesamiento de imágenes puedan cruzarse con un buen modelo de procesamiento de lenguaje natural, el resultado mejorará. Sin embargo, mientras, necesitamos ser conscientes del nivel de precisión que actualmente pueden devolver estas IAs antes de implantarlas a ciegas.</p><h3>Resultados sesgados</h3><p>Además de los problemas anteriores, en el transcurso de este análisis sobre el desempeño de las IAs de reconocimiento de objetos, encontramos que, en ocasiones, los resultados parecían mostrar sesgo de género. La alerta saltó cuando, jugando con una app para el sector del s<em>hopping</em>, CamFind, descubrimos que al eliminar un objeto de una fotografía, la descripción cambiaba significativamente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*6XqIH8jXiP9DBX2YqLlSrA.jpeg" /><figcaption>Imagen original</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uCUdkeUB5JWVQfymNc5AUA.png" /><figcaption>Descripción de la imagen al pasarla por CamFind, con literal “vestido de mujer azul y negro” en la foto original con escoba y “polo de hombre a rayas azules y negras” si borramos la escoba</figcaption></figure><p>Por ello, nos lanzamos a analizar con Amazon Rekognition e ImageNet fotografías de personas que portaban objetos históricamente estereotipados, contrastando los resultados con los “dobles” de estas fotografías con el género aparente de éstas cambiado. Nuestro objetivo era que la comparación se realizara entre fotografías lo más similares posibles.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/1*Zmvj70V2W9EoM_FF3_WeUg.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/1*3kFnW3c-NX3J1q_L2611yA.jpeg" /></figure><p>Lo que encontramos en Amazon Rekognition, igual que ocurría con CamFind, es que la fotografía se etiquetaba diferente según el género aparente. Pero en este caso, o el objeto era visible en una fotografía pero no en su par, o se confundía con otro objeto, o devolvía etiquetas que parecían tener relación con el género aparente de la persona fotografiada.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*tInw7gxKvawmM3btIf9LAQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*fyREhm0A4jlZO5mqKfyfow.png" /><figcaption>Mientras que en la foto original no se detecta el objeto “taladro”, en la foto modificada por FaceApp sí</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*CFR-4u7mNkASOzJ7DRDYyg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*94lu5UjRUjKo1LSmLkxn6g.png" /><figcaption>En ninguna de las dos fotografías se detecta el taladro, pero a la modificada se le asocia la etiqueta “cleaning”</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*r_erUaAwEUKs72LGVh6fmA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*AdP1yPZTJZ6vILid_lUbEg.png" /><figcaption>El objeto “martillo” sólo se detecta en la foto modificada para parecer hombre</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*Ym8qjSAfymrwig2Z27NgfA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*_PES0VnheGRky4sHmGyD4w.png" /><figcaption>En la foto original se detecta el casco y se asocia con profesiones relacionadas, mientras que en la modificada no se detecta nada</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*IUTy4tyk9zI1ZGjTdpgXsQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*6rt4hRdoAOYmxT5kKBNEWA.png" /><figcaption>En la foto original el objeto se confunde con un secador, mientras que en la modificada no</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*NCdE5e_2OvtrEbeHD_STcg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*PmT5rOV7m3d-Z1Qze9UhEQ.png" /><figcaption>La actividad se detecta en la foto original, “cleaning”, pero no en la modificada. Además, las etiquetas sobre la posible profesión de la persona fotografíada cambian entre ambas imágenes: “Nurse” vs. “Worker” y“Student”</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*2K11xbmx33W-Z7gIC-DIdQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*71qS-XRnvlK6vxqNZjojtw.png" /><figcaption>No se detectan los objetos ni la actividad en la foto original, pero sí en la modificada: “cleaning”</figcaption></figure><p>Por su parte, analizando las fotografías con Img2txt, encontramos que las descripciones también cambian según el género aparente, pero, en esta ocasión, los resultados que nos devuelve resultan disparatados en ambos casos. Algunos ejemplos:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/1*zz3HJ8mmie8VwISglQX4xg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/1*uW2L8jk_9ICqGzIjFUOU5w.png" /><figcaption>La IA “ve” un mando de videojuegos o una banana en lugar de un taladro o un spray</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/1*89-UzKDQF_-eVecbwvf06w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/1*Zt9ILb3XqCvBXL2faWbikw.png" /><figcaption>Unas tijeras o un móvil en vez de un martillo</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/1*FsB4llILC4Kdhw5G6JSI4A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/1*xixTeOfLlN2zO17tKcxJqQ.png" /><figcaption>Una tabla de snow o una maleta en lugar de herramientas varias</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/1*ILcEKVb9SNlAGBipqhYylQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/1*ZiIYBN557JJ0eoa5MIt26w.png" /><figcaption>Una raqueta de tenis o un frisbee en lugar de una escoba</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/1*r6ap1-iszNyYc3fVqKj8Xg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/1*lSV3z3slqHw8hjQE4azwzQ.png" /><figcaption>Un friesbee o un osito de peluche en lugar de objetos de limpieza</figcaption></figure><p>Además, en Amazon Rekognition encontramos que cuando se identificaba el género (binario) de la persona en la fotografía, a los hombres sólo se les asigna una etiqueta (Man), mientras que a las mujeres más (Woman, Female, Girl). Como decíamos antes, conocer el listado de categorías y su jerarquía, resultaría de gran utilidad en estos casos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*DNQ7WcXeKoY4e2phXfqZ1A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*ywgoNOZ5K00dyi7AYacMVw.png" /><figcaption>En las fotografía donde la persona aparenta ser una mujer, las etiquetas referentes al género son más abundantes</figcaption></figure><p>A la vista de estos resultados, <a href="https://www.businessinsider.com/google-cloud-vision-api-wont-tag-images-by-gender-2020-2?IR=T">iniciativas como la de Google IA</a> de dejar de mostrar el género en el etiquetado de imágenes no parece que vayan a resolver completamente el problema de los sesgos.</p><h3>Conclusiones</h3><p>Se estima que el “Mercado Global de Búsqueda Visual” superará los <a href="https://www.fritz.ai/image-recognition/">$14.7 mil millones</a> para 2023. Mientras, y quizá por esta misma expectativa, el mercado sigue sin querer desprenderse del halo mágico que envuelve a la IA, agasajándola con <a href="https://es.wikipedia.org/wiki/El_traje_nuevo_del_emperador">el traje nuevo del emperador</a>.</p><p>En Bikolabs pensamos que la imagen mágica e idílica sobre la IA que se nos ha querido vender en realidad no favorece nada al sector. Quizá sea complicado que vayamos a sufrir otro invierno de la IA, pero es posible que, como apunta <a href="https://jeffreybigham.com/blog/2019/the-coming-ai-autumnn.html">Jeffrey P. Bigham</a>, lo que sí llegue es un otoño en el que, aunque podamos recoger la cosecha de nuestros esfuerzos bien empleados al aplicar IA en problemas concretos, el hype vacío que aún hoy sustenta el mercado se deshinche.</p><p>Va siendo hora de señalar la desnudez del emperador y de evidenciar las limitaciones e ineficiencias de aquella IA estrecha que se enfocó de forma demasiado ancha.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c2a0bbf6187b" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bikolabs/el-automagico-traje-del-emperador-c2a0bbf6187b">El automágico traje del emperador</a> was originally published in <a href="https://medium.com/bikolabs">bikolabs</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Psicólogo para la Inteligencia Artificial]]></title>
            <link>https://medium.com/bikolabs/psic%C3%B3logo-para-la-inteligencia-artificial-6d391c5852d8?source=rss----24fbd7f7636---4</link>
            <guid isPermaLink="false">https://medium.com/p/6d391c5852d8</guid>
            <category><![CDATA[inteligencia-artificial]]></category>
            <category><![CDATA[psicologia]]></category>
            <category><![CDATA[cuento-corto]]></category>
            <category><![CDATA[futuro]]></category>
            <category><![CDATA[bikolabs]]></category>
            <dc:creator><![CDATA[Karlos g liberal]]></dc:creator>
            <pubDate>Tue, 18 Aug 2020 09:13:45 GMT</pubDate>
            <atom:updated>2020-08-18T10:14:42.477Z</atom:updated>
            <cc:license>http://creativecommons.org/licenses/by/4.0/</cc:license>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KeNwd0__ZBVzRfPJNuygKQ.png" /></figure><p>— Hola Don Javier, siéntese por favor. Hemos revisado sus informes con el Departamento de Riesgos y, aunque todo parece correcto, no podemos avalar su proyecto.</p><p>— Emilio, déjate de usted, que nos conocemos hace 20 años y llevamos haciendo negocios toda la vida. ¿Cómo que no me aceptáis el aval? Pero si esta operación ya la hemos realizado otras veces.</p><p>— Javier, la verdad, yo tampoco lo entiendo. Yo tramité como siempre el informe favorable, faltaría más. Pero al momento me lo denegaron. Hablé con el Departamento de Riesgos y me comentaron que ya no está en sus manos, que depende del Departamento de Datos. Javier, que todo cambia muy rápido, incluso para nosotros. Estoy seguro que es por el software ese que han metido para analizar el riesgo de las operaciones.</p><p>— Pues no entiendo nada Emilio. Entonces ¿qué, me voy por donde he venido? Joder, que llevamos 20 años haciendo estas operaciones. Quiero saber los motivos, algo dirá ese Departamento de Datos ¿no?</p><p>— Yo lo he intentado, pero me dicen que el modelo predice un riesgo por encima del corte aceptable. Y poco más. El Departamento Legal se limpia las manos y nuestro histórico no parece importar. Pero creo que si acudes a De la Serna, que es un abogado muy convincente, algo más te dirán.</p><p>— Javier, ya me han respondido. La verdad es que si no es por todos los negocios que tenemos con ellos estaríamos bien jodidos, y eso que la solución tampoco es para tirar cohetes. Nastex Corp Invest ha comprado una empresa de análisis de datos que tiene un departamento de Machine Learning e Inteligencia Artificial. Con todos los datos de las operaciones de la corporación han creado un modelo que permite “predecir” si una futura operación será adecuada, y según la <em>máquina </em>nuestra operación no lo será.</p><p>— Fernando, pero todo esto ya lo sabíamos, lo que yo quiero saber es cuál es el riesgo que ellos ven. Algo dirá la máquina ¿no? ¿es inteligente pero no sabe el por qué?</p><p>— Así es, la máquina es una caja negra donde meten datos y luego devuelve una respuesta. En este caso devuelve un porcentaje y si no llegas al 80% ya no pasas al Departamento Legal. A nosotros por ser nosotros y por llevar tanto tiempo trabajando con ellos nos dejan investigar los motivos.</p><p>— ¿Cómo? No lo entiendo. ¿Tengo que investigar yo la respuesta de la Inteligencia Artificial porque ella no sabe cómo realiza sus propias predicciones?</p><p>— Así es, ya te he dicho que no era para lanzar cohetes.</p><p>— Hola Javier, te presento a John, el experto que te dije que nos podía ayudar.</p><p>— Gracias Fernando. Entonces, John ¿a qué te dedicas exactamente?</p><p>— Soy analista de datos, experto en Machine Learning, más concretamente en redes neuronales. Aunque como todo esto suena a complicado, podríamos decir que soy un Psicólogo para Inteligencias Artificiales (AIPsychologist). Mi responsabilidad es la explicabilidad, aunque sinceramente más que explicar nos dedicamos a la interpretación. En mi trabajo trato de validar el conjunto de datos con el que se ha entrenado la I.A. Busco si esos datos no están sesgados o si los datos son los adecuados. Si para la I.A. se han usado modelos pre entrenados compruebo sus precisiones y sus ajustes finos.</p><p>— Explícate mejor</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/714/0*W3HS7xlUDDJd0YSW.png" /><figcaption><a href="https://medium.com/trusted-ai/explaining-ai-model-behaviour-with-ibm-watson-openscale-86515702c177">https://medium.com/trusted-ai/explaining-ai-model-behaviour-with-ibm-watson-openscale-86515702c177</a></figcaption></figure><p>— Fíjate en esta foto, imagínate que te contratan para crear una Inteligencia Artificial para diferenciar entre lobos y perros huskys. Para eso entrenas una red neuronal de clasificación de imágenes, en este caso con dos categorías, lobos y huskys. Para entrenar una red neuronal lo que hacemos es crear un banco de fotos que pasamos por la red, como de antemano ya sabemos que son lobos o huskys, sabemos lo “bien” que está aprendiendo la red neuronal, a más fotos que pasamos por la red, mayor es la predicción. En este caso, como puedes ver, el resultado es bueno ¿no?</p><p>— Eso parece.</p><p>— Pues no. Descubrimos que la Inteligencia Artificial, no clasificaba perros, lo que detectaba era nieve. En un porcentaje grande de las fotos del dataset, los lobos estaban sobre nieve y los huskys sobre otras superficies. En general la <em>sensación </em>era real, la máquina detectaba lobos o perros. Pero después de nuestra investigación el resultado fue una estupenda máquina para detectar nieve. Además una vez descubierto el problema la solución no era simple, no hay tantas fotos de lobitos sin paisajes nivales.</p><p>—Entonces ¿tú te dedicas a analizar si estos sistemas fallan como en el caso de los lobos?</p><p>— En este caso las redes neuronales lo que hacen muy bien es el reconocimiento estadístico de patrones, pero no están diseñadas para dar explicaciones. Se pueden dar pero es muy costoso, y más para empresas de software que lo que buscan es vender un modelo de predicción que de respuestas rápidas. Introducir complejidad para automatizar la simplicidad es una contradicción en sí misma. Y cuando esa complejidad no se entiende, como en tu caso, pues se tiene que buscar la interpretación del patrón.</p><p>— Vale, pero ¿por qué os denomináis psicólogos?</p><p>— Quien está deprimido lo siente, pero puede que no sepa los motivos y mucho menos la solución. Por eso lo de psicólogos de la I.A. Como te digo es toda una contradicción, hemos creados sistemas muy competentes en la búsqueda de patrones, pero en muchos casos esos patrones son sobre un contexto <em>Humano </em>y lo humano no siempre atiende a patrones, y cuando la máquina no entiende al humano, es cuando interviene el humano para <em>interpretar a la máquina. S</em>omos psicólogos de las I.A.s porque nos encargamos de la investigación de todos los factores, evaluación, diagnóstico, tratamiento y prevención que afectan al patrón estadístico que pueda generar malestar subjetivo y sufrimiento al individuo humano.</p><p>— Con lo que me dices, entiendo que nos estamos metiendo en un tema complejo, ya que aquí no estamos hablando de perros y lobos. Llevo trabajando con esta entidad financiera más de 20 años y ahora necesito contratar un psicólogo para que humanice una máquina que está fallando. No creo que eso les vaya a gustar.</p><p>— Bueno en tu caso, posiblemente no sea tan complicado</p><p>— ¿Y eso?</p><p>— La máquina posiblemente no falle, posiblemente el riesgo detectado sea real, pero no nos van a dejar comprobarlo, ahora tienen una Inteligencia Artificial que da predicciones financieras, pero no se van a arriesgar a que descubramos que lo que realmente tienen es un detector de nieve.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6d391c5852d8" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bikolabs/psic%C3%B3logo-para-la-inteligencia-artificial-6d391c5852d8">Psicólogo para la Inteligencia Artificial</a> was originally published in <a href="https://medium.com/bikolabs">bikolabs</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Deepfake, cuando la IA te robe la cara]]></title>
            <link>https://medium.com/bikolabs/deepfake-cuando-la-ia-te-robe-la-cara-92e79534b9ba?source=rss----24fbd7f7636---4</link>
            <guid isPermaLink="false">https://medium.com/p/92e79534b9ba</guid>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[tecnologia]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[ética]]></category>
            <category><![CDATA[bikolabs]]></category>
            <dc:creator><![CDATA[Karlos g liberal]]></dc:creator>
            <pubDate>Mon, 21 Oct 2019 06:44:00 GMT</pubDate>
            <atom:updated>2019-10-21T06:47:44.571Z</atom:updated>
            <cc:license>http://creativecommons.org/licenses/by/4.0/</cc:license>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vv0uppuQfV25v-6KrGr8Iw.jpeg" /><figcaption>La casa de blanco y negro, el templo de muchos rostros</figcaption></figure><p>Cada día aparecen nuevos videos donde se demuestran capacidades técnicas en la manipulación y generación de imágenes usando Inteligencia Artificial. La <a href="https://github.com/deepfakes">deepfake</a> es una de las técnicas más populares. Un <a href="https://github.com/deepfakes">deepfake</a> es un vídeo modificado utilizando tecnología de intercambio de caras. Se basa en machine learning, una de las rama de la Inteligencia Artificial.</p><p>Un ejemplo son los video que se muestran a continuación. En el primero, un imitador interpreta a distintos actores mientras la IA cambia la cara del imitador por la del famoso. En el segundo vídeo, la cara de Jack Nicholson es sustituida por la de Jim Carrey en varias escenas del resplandor con resultados asombrosos e inquietantes.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2F5rPKeUXjEvE%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3D5rPKeUXjEvE&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2F5rPKeUXjEvE%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/74cee038268b62dd57fc367e43f6d54e/href">https://medium.com/media/74cee038268b62dd57fc367e43f6d54e/href</a></iframe><h3>El_TylerDurden 🌈 on Twitter</h3><p>El deepfake de Jim Carrey a Jack Nicholson en &#39;El resplandor&#39;. Escalofriante en cada milisegundo. https://t.co/MQVstL1ia4</p><p>Uno de los retos del machine learning durante estos años ha sido el reconocimiento de imágenes. Proyectos como <a href="http://cocodataset.org/#home">COCO</a> o <a href="http://www.image-net.org/">Imagenet</a> han revolucionado esta rama de la <em>visión por computadoras.</em> Clasificar imágenes ya no es un reto, el reto ahora está en generarlas.</p><p>Las Deepfake podrían englobarse en la categoría de los sistemas generativos. <a href="https://developers.google.com/machine-learning/gan">Las Redes Generativas Adversas o adversarias (GAN)</a> son la gran revelación del deep learning, una de las ramas más prolíficas del machine learning en estos últimos dos años. <br>Simplificando mucho, una red generativa adversa se entiende fácilmente con la metáfora de un imitador y un crítico de arte. El primero intentará crear obras (es la parte generativa), el segundo revisará las imágenes que genera el imitador par ver si dan la talla.</p><p>Para lograr generar imágenes se requiere entrenar estos modelo con imágenes reales. El crítico de arte (la red convolucional de clasificación) usará estas imágenes para realizar la valoración.</p><p>En los sistemas generativos, la generación de caras verosímiles ha sido uno de los retos más conocidos y son muchos los que han ido evolucionando las técnicas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*0nvoHOOtouSOuo74.png" /></figure><p>Estas caras han sido generadas por el grupo de investigación de <a href="https://www.nvidia.com/en-us/research/machine-learning-artificial-intelligence/">Nvidia</a> mediante el modelo S<a href="https://github.com/NVlabs/stylegan">tylega</a>n (una evolución de GAN) y el dataset público de rostros humanos <a href="https://github.com/NVlabs/ffhq-dataset">Flickr-Faces-HQ (FFHQ)</a> que cuenta con 70,000 imágenes de alta calidad. El resultado es impresionante. Cualquiera de nosotros tendríamos dificultades para afirmar que estos rostros no son reales.</p><p>Con estos sistemas generativos podemos crear caras nuevas, podemos sustituir una cara por otra, pero se puede ir más allá. <br>El modelo <a href="https://phillipi.github.io/pix2pix/">pix2pix</a> es un ejemplo de la evolución de estos GAN. En este caso, el entrenamiento de las redes neuronales lo hacemos con una relación de imágenes y el proyecto viene con varios dataset de ejemplo, como se muestra a continuación:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*StgQJ0blR6obPgRy.jpg" /><figcaption>Pix2pix</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/0*C7WZ2fUxavNybImw.jpg" /></figure><p>Tomemos el caso de la imagen de una fachada como esta. Para entrenar el <a href="https://www.kaggle.com/vikramtiwari/pix2pix-dataset">dataset</a> cuentan con entorno a 400 imágenes de fachadas y sus equivalente de fachada segmentada. Los colores de estos segmentos son las distintas partes de la fachada: ventanas, balcones, puertas. Una vez entrenada la red podemos inferir del modelo entrenado y crear una herramienta de generación de fachadas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/540/1*HEpmXlm5N2hpSRMkVIC6GA.gif" /><figcaption><a href="https://hype.codes/pix2pix-neural-network-work-real-time">https://hype.codes/pix2pix-neural-network-work-real-time</a></figcaption></figure><p>Poder crear imágenes no es algo tan novedoso, el cine nos lleva deleitando con sus fantasías CGI un montón de años incluso para crear cosas innecesarias como “Polar Express”. Pero es una labor de modelado no un sistema automático basado en Inteligencia Artificial</p><p><a href="https://www.abc.es/tecnologia/moviles/aplicaciones/abci-deepnude-adios-machista-desnudaba-mujeres-201906282008_noticia.html">DeepNude</a> es el ejemplo donde se vislumbra el absurdo e innecesario uso de estas tecnologías.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/450/0*zBc-6Q82uY5E0KL9.jpg" /><figcaption>El canal de youtube <a href="https://medium.com/u/7a0861bda620">Dot CSV</a> tiene un video explicando el tema de forma magistral.</figcaption></figure><blockquote>¿Todo lo que se puede hacer se debe hacer?</blockquote><p>Hablando con <a href="https://medium.com/u/b25c9940f3b8"><strong>Aritz Suescun</strong></a><strong> </strong>compañero de trabajo y de nuestro podcast <a href="https://www.ivoox.com/podcast-mas-alla-orion_sq_f1306900_1.html">Más allá de Orión</a> nos surge otra pregunta <strong>¿se ha dejado de hacer algo alguna vez?</strong></p><p>La idea absurda que algunos tienen del progreso nos nubla la vista. Somos como Amundsen y Scott en un Tesla “a toda ostia”. ¿En serio tenemos que hacer realidad todo lo que se nos pase por la cabeza? ¿O por las gónadas? Tendríamos que poder imaginarnos un futuro sin que algún impertinente nos tenga que poner ejemplo simplones como: “<em>también un cuchillo puede ser arma”</em></p><p>Posiblemente los sistemas generativos contarán con miles de posibles buenos usos, eso seguro. ¿Pero malos, cuántos habrá? ¿Más? ¿Menos? ¿Lo hemos pensado? ¿Hemos perdido un minuto en medir las implicaciones que tiene todo esto? ¿Hemos evaluado si pix2pix es un cuchillo o es una bomba?</p><p>Construimos una máquina imparable de producir paranoia, ese estado donde uno desconfianza y acumula recelos hacia los demás de forma prolongada. Y lo hacemos a tumba abierta.</p><p>Los sistemas generativos que proporciona el deep learning acaban de aparecer. La vistosidad de las imágenes y los vídeos, agitan nuestra atención. Pero una vez que hemos puesto la máquina a <strong><em>generar,</em></strong> va a resultar difícil pararla.</p><p>¿Qué será lo siguiente a generar? ¿Nuestras posturas? ¿La voz? ¿La escritura?</p><p>Tik Tok cuenta con la mayor base de datos de expresiones del mundo. Se trata de una red social donde sobre todo se comparte la expresión. ¿Qué tal si creamos una IA que genere expresiones?<br>Nuestra caras, nuestras expresiones son algo casi único, una característica singular de nuestra identidad. Que esa singularidad se pueda capturar, generar, comerciar o vender debería preocuparnos. Podemos encontrar una interesante y profunda reflexión sobre la idea de vender la identidad digital en la gran película E<a href="https://es.wikipedia.org/wiki/El_congreso_(pel%C3%ADcula)">l congreso</a>.</p><p>Saltarse el limite de la identidad que otorga el rostro tiene un coste elevado, doloroso, incómodo o penitente. El cine ha venido a mostrar el sufrimiento que implica saltarse dicho tabú.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/398/1*eJ25UpD9PcjYEfggBj8dOg.gif" /><figcaption>Minority report</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*xCP2QFAS7EP5vRBkopme4g.gif" /><figcaption>Harry potter y el zumo multijugos</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/400/1*WbukYlW0zRTX9RfGRPODWg.gif" /><figcaption>total recall</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*OXRqbBOT8FHXRm5M0_gNGw.gif" /><figcaption>Juego de tronos</figcaption></figure><p>Estamos creando máquinas que nos generan aún mayor desconfianza sobre lo que vemos, sin siquiera tener claro el objetivo último de tales máquinas.</p><p>Resulta fácil buscar respuestas simples a toda esta complejidad, pero considero que nos encontramos en un momento de una fragilidad extraordinaria y que los sistemas generativos pueden contribuir a que nuestras vidas resulten menos deseables.</p><p>Todos podemos pasearnos por la paranoia, y abrazar el cinismo afirmando que esto no va conmigo, que no va con mi cara.</p><p>Igual en el futuro echaremos de menos poder mostrar nuestra cara.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2F_PoudPCevN0%3Ffeature%3Doembed&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3D_PoudPCevN0&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2F_PoudPCevN0%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/02fd13164f655ebf5b099b0d1c635626/href">https://medium.com/media/02fd13164f655ebf5b099b0d1c635626/href</a></iframe><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=92e79534b9ba" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bikolabs/deepfake-cuando-la-ia-te-robe-la-cara-92e79534b9ba">Deepfake, cuando la IA te robe la cara</a> was originally published in <a href="https://medium.com/bikolabs">bikolabs</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Buscando el Diseño mestizo]]></title>
            <link>https://medium.com/bikolabs/buscando-el-dise%C3%B1o-mestizo-cad53f0e1ee3?source=rss----24fbd7f7636---4</link>
            <guid isPermaLink="false">https://medium.com/p/cad53f0e1ee3</guid>
            <category><![CDATA[mestizaje]]></category>
            <category><![CDATA[bikolabs]]></category>
            <category><![CDATA[mapping]]></category>
            <category><![CDATA[diseño]]></category>
            <dc:creator><![CDATA[Karlos g liberal]]></dc:creator>
            <pubDate>Tue, 04 Jun 2019 15:42:11 GMT</pubDate>
            <atom:updated>2019-06-04T20:59:24.604Z</atom:updated>
            <cc:license>http://creativecommons.org/licenses/by/4.0/</cc:license>
            <content:encoded><![CDATA[<h3>Buscando el Diseño Mestizo</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BfPCDv6_ClIElxYfSBXVPA.jpeg" /></figure><p>Hablar de diseño hoy es complicado. Vivimos un momento en el que nada se escapa al diseño, todo está diseñado, todo requiere de una interfaz, de intermediarios; todo forma parte de un plan, de una máquina. El diseño clásico, donde lo útil y lo estético tiene un valor tangible, ahora está mezclado por muchas otras intenciones y el objeto de deseo ha dejado de ser un objeto y son muchas cosas al mismo tiempo. Ahora un <em>buen</em> diseño <em>debe</em> contemplar la emoción, la persuasión, el tiempo y el futuro. Pero ¿y si hubiera otra aproximación al diseño ajena al nuevo patrón establecido? ¿Cómo sería especular sobre ello?</p><p>En Bikolabs tenemos la <a href="https://medium.com/bikolabs/las-interfaces-mutan-722d534e9346">costumbre de pasear por periferias</a>; queremos demostrarnos que aún queda espacio para <em>otros diseños, </em>donde el plan y la máquina no sean tan contundentes y se den espacios para la improvisación y el error. Nos ocurre que en esa búsqueda uno tiene la sensación de haber pasado antes por esos lugares, o que esas periferias sean un tanto solitarias. Pero nos seguimos obligando a ir al borde.</p><p>Este último mes, hemos vuelto a las periferias. Durante mayo hemos tenido la oportunidad impartir un taller sobre <a href="https://www.tabakalera.eu/es/video-mapping-mayo-2019">mapping generativo en Tabakalera</a>, en Hirikilabs más concretamente. Decía <a href="https://retina.elpais.com/autor/montserrat_hidalgo_perez/a/">Montse Hidalgo Pérez</a> en Retina de El País que Hirikilabs <em>es ese paraíso tecnológico donde nadie quiere hacerse rico.</em> Completamente de acuerdo. Hirikilabs es un laboratorio ciudadano, un lugar donde personas normales pueden hacer lo que quieran, pueden diseñar lo que quieran. Es un espacio seguro y libre de juicio.</p><p>El taller lo realizamos entre <a href="https://twitter.com/josianito">Josianito</a>, <a href="http://www.elurmaluta.net/home">Txo Elurmaluta</a> e Ibai, que posiblemente sean de las personas que más respeto en esto de las <em>periferias.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7GTgCjIOtrXpzijtpbJdRQ.png" /></figure><h3>Hirikilabs on Twitter</h3><p>Mapping eta bisual generatiboak sortzeko lantegiaren lehenengo saioan @txo.rekin. Talde bikaina osatzen ari gara @patxangas @josianito @olatutalka @TelesonicAv @tabakalera</p><h3>Hirikilabs on Twitter</h3><p>Segunda sesión del taller #MappingGenerativo con @patxangas explicando los rudimentos del arte generativo conociendo #p5js y ejemplos 👌👌</p><h3>Hirikilabs on Twitter</h3><p>Cuarta sesión del taller de Videomapping generativo con @josianito introduciéndonos en el mundo de la interacción e interfaces. Aprendiendo mucho como siempre !</p><p>En el taller hablamos de interfaces, de proyectores, de proyectos, de técnicas, de tecnologías, de código, de comunidades, de interacciones. También jugamos con una gran fachada.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cgO3s9Hfy15UhQg3dXuU5Q.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2n0Pwuu6IP28XV7k4-yA-g.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3wMnW_SyIL4Q_4MSVAkzvA.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1pkp1KmK6tD_ALDXsrKnLw.jpeg" /><figcaption>ADAC @txo_elurmaluta <a href="https://medium.com/u/a8496e76aa10">SALA COT</a> <a href="https://medium.com/u/22be45c9ce41">karlos g liberal</a> sintes modulares y processing generativo 2019 donosti</figcaption></figure><p>Y lo pusimos en práctica a través del mestizaje.</p><h4>Diseño Mestizo</h4><blockquote>El Diseño Mestizo sería toda práctica que busca de forma radical la recombinación.</blockquote><p>Use la primera vez el término de <a href="https://www.biko2.com/bikodevs/diseno-mestizo/">Diseño Mestizo hace dos años y pico</a>, pero he necesitado un mes de taller para volver a tropezar con él.</p><p>En el Diseño Mestizo la clave está en asumir la cooperación como pieza fundamental del proceso creativo. Si todo está diseñado, si todo forma parte de un plan, solo nos queda la mezcla, la recombinación para romper con ese plan y crear el nuestro propio.</p><p>En un mundo tan acelerado y despiadado como el nuestro, montar un taller sobre mapping generativo podría ser una declaración de intenciones: es la búsqueda de la autonomía, de la autorregulación de lo cooperativo, es el deseo que se encuentra y se mezcla y que busca cambiar continuamente el panorama, contrariamente a lo que establece la norma. O sencillamente hacer los que nos da la gana ;)</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=cad53f0e1ee3" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bikolabs/buscando-el-dise%C3%B1o-mestizo-cad53f0e1ee3">Buscando el Diseño mestizo</a> was originally published in <a href="https://medium.com/bikolabs">bikolabs</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[La responsabilidad de la predicción]]></title>
            <link>https://medium.com/bikolabs/la-responsabilidad-de-la-predicci%C3%B3n-56d17df04a98?source=rss----24fbd7f7636---4</link>
            <guid isPermaLink="false">https://medium.com/p/56d17df04a98</guid>
            <category><![CDATA[ética]]></category>
            <category><![CDATA[predictions]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <category><![CDATA[responsabilidade]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Karlos g liberal]]></dc:creator>
            <pubDate>Thu, 23 May 2019 14:58:21 GMT</pubDate>
            <atom:updated>2019-05-23T14:58:21.541Z</atom:updated>
            <cc:license>http://creativecommons.org/licenses/by/4.0/</cc:license>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sYZxAbeP9zIhuurABvO7Bg.jpeg" /></figure><h4>¿Qué es el Machine Learning?</h4><p>A día de hoy, son pocos los que no han oído hablar de <em>Machine Learning</em>. En mayor o menor medida, o con mayor o menor grado de especialización, este concepto lleva en boca de muchos desde hace ya algún tiempo.</p><p>El <em>Machine Learning </em>surge en el ámbito de la <em>IA </em>(Inteligencia Artificial). Antes de dar por sentado determinados conceptos para tratar de aterrizar mejor en nuestras cabezas todos los recovecos de este mundo, nos gustaría plantear no lo que es, sino dar algunas pistas sobre cómo funciona este alucinante universo. Vayamos directos al <em>cómo </em>para poder plantearnos mejor el <em>qué</em>, y especialmente<em>, lo que no </em>es.</p><p>En estos momentos, una de las técnicas más utilizadas dentro del <em>Machine Learning</em> es el aprendizaje supervisado mediante redes neuronales, que nos permite <strong>construir programas de computadora que mejoran automáticamente adquiriendo experiencia</strong>. Esto quiere decir que el programa que se crea con<em> Machine Learning </em>no necesita que el programador indique explícitamente las reglas que debe seguir para lograr su tarea, sino que este mejora de manera automática.</p><p>En el aprendizaje supervisado disponemos de un conjunto de datos estructurados donde necesitamos asociar una etiqueta (<em>label</em>) que identifique el elemento. Es lo que denominamos “supervisión”. Un ejemplo típico sería el de un conjunto de fotos de animales donde su nombre <em>-animales- </em>sería la etiqueta o <em>label</em>.</p><p>En <em>Machine Learning</em> las redes neuronales se han consolidado como una de las mejores soluciones para este “<em>aprendizaje</em>”. Frameworks específicos como <em>Tensorflow </em>o <em>Keras </em>nos facilitan la tarea de poder crear y “<em>entrenar</em>” esas redes neuronales con un conjunto de datos.</p><p>Sigamos con el ejemplo anterior. Pensemos que queremos crear un servicio web donde al subir una foto, nos indique qué animal es. Para ello usaremos ese conjunto de fotos etiquetadas previamente. Ahora, separamos el conjunto de datos en dos partes: una parte para entrenamiento (80%) y la otra para la evaluación (20%). La primera parte de los datos (el 80%) nos servirá para realizar el entrenamiento de la red neuronal. Un conjunto de iteraciones sobre esta red neuronal irá ajustando la <strong>experiencia adquirida </strong>(o como se dice en esta jerga, <em>“irá aprendiendo”</em>) y esto nos permitirá crear un modelo que usaremos para nuestro servicio.</p><p>Con el otro conjunto de datos (20%) realizaremos una evaluación de nuestro modelo. Al tener la certeza de que los datos usados para el entrenamiento y evaluación son ciertos, podemos conocer el grado de precisión del mismo.</p><p>Hay que tener en cuenta que este ejemplo es una simplificación, ya que este artículo no profundiza en cuestiones técnicas. Además, la realidad siempre es más compleja. Sin embargo, esta descripción básica puede ayudarnos a entender que al final del proceso tendremos <strong>un modelo que usaremos para tareas predictivas,</strong> un patrón, ya sea detectando una sonrisa en una foto, un perro o el valor de una vivienda.</p><p>Una de las cualidades del <em>Machine Learning </em>es que el mismo sistema puede ser usado con datos diferentes. Por ejemplo, las redes neuronales convolucionales son el mecanismo más usado para detectar elementos en imágenes y clasificarlos, pero la misma red también vale para clasificar texto. Ese proceso iterativo de adquisición de experiencia, vale tanto para datos de una imagen (<em>pixels</em>, color), como para los datos de un texto (caracteres, palabras).</p><p>En este artículo hemos mencionado un tipo de aprendizaje y modelo, pero existen diferentes tipos de modelos: clasificación binaria, multiclase, regresión… Y además del aprendizaje supervisado, existe el aprendizaje profundo y el reforzado, que responden a propósitos diferentes. El <em>Machine Learning</em> es un campo complejo, amplio y en perpetuo cambio. Pero es importante entender su dimensión para contemplar sus posibles desafíos. Si te has quedado con ganas de saber más, el canal de youtube <a href="https://www.youtube.com/channel/UCy5znSnfMsDwaLlROnZ7Qbg"><strong><em>Dot CVS</em></strong><em> </em></a>podría ser un buen punto de partida para profundizar en estos temas.</p><h4>La responsabilidad de la predicción</h4><p>En Biko y más especialmente en Bikolabs llevamos tiempo reflexionando y trabajando sobre <em>Machine Learning</em>, una disciplina de la que es difícil quedarse al margen por las implicaciones que tiene. La madurez en <em>Bigdata</em>, la accesibilidad de entornos en la nube específicos y la consolidación de herramientas para estos campos han convertido el 2018 en un año muy prolífico para el<em> Machine Learning.</em></p><p>En Bikolabs nos gusta acercarnos a las tendencias desde sus periferias y en el caso del <em>Machine Learning,</em> nuestro punto de entrada ha sido la periferia creativa. Hace dos años creamos el <a href="https://receteitor.interzonas.info/"><strong><em>Receteitor</em></strong></a>, un proyecto que realizamos para la Conferencia Internacional de Gastronomía “<em>Diálogos de Cocina</em>”. Este proyecto fue una primera exploración al uso de este tipo de tecnología para <strong><em>exagerar</em></strong> las posibilidades que nos ofrece, algo que bordea lo grotesco. De la misma manera que un teclado del móvil nos anticipa la siguiente palabra, nuestro <a href="https://receteitor.interzonas.info/"><strong><em>Receteitor</em></strong></a><strong><em> </em></strong>nos da la siguiente receta. El modelo de <em>Machine Learning</em> (RNN) tiene la particularidad de <em>predecir</em> la siguiente serie usando el conjunto de datos con el que lo has entrenado. En nuestro caso lo hicimos con un libro de 900 recetas de cocina. Todo era una provocación para preguntarle a los y las cocineros: <strong>¿podrá una <em>máquina</em> crear recetas de cocina?</strong></p><p><strong>El resultado:</strong></p><p>Bueno, el resultado puede ser algo indigesto:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/616/0*SfaDscF3O8COTCzW" /></figure><p>El mundo del arte tiene la particularidad de no restringirse a necesidades funcionales, lo que le permite ahondar en cuestiones morales, estéticas o políticas en los ámbitos donde actúa. El <em>Machine Learning</em> ha sido un lugar poderoso para muchos artistas durante estos últimos años. Proyectos como “<a href="https://www.nextrembrandt.com/"><em>The Next Rembrandt</em></a>” de Microsoft o “<em>Magenta Make music and Art using Machine Learning</em>” de Google son ejemplos conocidos y que en Bikolabs usamos como inspiración.</p><p>Pero incluso en el arte, la Inteligencia Artificial tiene un reverso oculto: el pasado octubre la casa de subastas <strong>Christie’s</strong> vendió <em>la primera obra creada por una Inteligencia Artificial </em>(como literalmente se describía). La venta de la obra por cuatrocientos mil euros al colectivo <a href="http://obvious-art.com/"><em>Obvious</em></a> se vio envuelta en una polémica con implicaciones profundas que fue recogida en el gran artículo de Jason Bailey “<a href="https://www.artnome.com/news/2018/10/13/the-ai-art-at-christies-is-not-what-you-think"><em>The AI Art At Christie’s Is Not What You Think</em></a>”. En una primera parte del artículo, se repasan los principales artistas y pioneros que usan Inteligencia Artificial y <em>Machine Learning</em> para sus obras; y en la segunda profundiza sobre agencia y creatividad y señala cómo estamos otorgando entidad propia a estas <em>máquinas</em>, algo cuanto menos delicado. En definitiva: el artículo pone en cuestión la autoría de la obra por parte de una Inteligencia Artificial y lo hace describiendo estos cuatro puntos:</p><p>Un humano eligió el conjunto de datos.</p><p>Un humano diseñó la red.</p><p>Un humano entrenó la red.</p><p>Un humano curó los resultados resultantes.</p><p>Ahora parémonos un momento. Esto, que ya resulta complicado por lo subjetivo del arte, ¿<strong>cómo afectaría a una organización</strong>?.</p><p>Darle el rango de creativo o de inteligente a una creación artificial tiene impacto mediático, pero igual no tiene el efecto que esperábamos. Como cuando Microsoft publicó su <em>bot </em>y ese mismo día lo retiraba por su contenido <a href="https://www.bbc.com/mundo/noticias/2016/03/160325_tecnologia_microsoft_tay_bot_adolescente_inteligencia_artificial_racista_xenofoba_lb">xenófobo</a>, o como cuando recientemente saltó la noticia de que el sistema de ayuda a la contratación de <a href="https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G">Amazon</a> tenía un claro sesgo machista.</p><p>Puede que hayamos subestimado la capacidad de estas herramientas, del mismo modo que puede que les hayamos otorgado capacidades creativas como para crear cuadros a pesar de la intervención humana.</p><p>Los resultados que ofrecen las soluciones basadas en Inteligencia Artificial y más concretamente el <em>Machine Learning </em>son muy llamativos. Pero tenemos que tener cuidado con no confundir certeza con predicción. Recientemente Jesse Engel, investigador de<em> </em>Google Brain, comentó:</p><p><em>“Comencé a reemplazar mentalmente los términos de moda como ‘Inteligencia Artificial’, ‘Red neuronal’ y otros del estilo por ‘</em><strong><em>Modelos Predictivos</em></strong><em>’. Elimina una falsa sensación de agencia y refleja mejor la realidad y reduce el factor de exageración en un 300%”.</em></p><p>Como en el caso de la obra de Christie’s en los sistemas predictivos, cuando se habla de Inteligencia Artificial, especialmente de <em>Machine Learning,</em> de lo que estamos hablando es de crear <em>máquinas</em> predictivas donde la mediación humana es clara, pero <strong>da la sensación de que preferimos creer en la magia.</strong></p><p>En muchos casos, estas <em>máquinas</em> mejoran las predicciones con respecto a métodos anteriores, incluso en algunos de ellos los resultados son espectaculares. Que un asistente de voz nos <strong>entienda</strong> y nos <strong>hable</strong> nos parece impresionante, pero también nos deja una sensación extraña. Una sensación que se puede percibir en el documental <a href="https://www.alphagomovie.com/"><em>AlphaGo</em></a>, cuando la máquina gana <em>al hombre</em>. Viéndolo, al menos en nuestro caso, nos asalta una profunda duda: ¿Tenemos seguridad sobre estas predicciones? ¿Sabemos el margen de error de esa predicción?</p><p>En el aprendizaje automático las reglas están definidas, pero el propio diseño de las redes neuronales hace muy complicado dar con respuestas <em>claras</em> sobre cómo se ha llegado a esa predicción. Esto no parece problemático cuando la predicción juega a nuestro favor; pero qué pasará cuando la predicción vaya en contra de uno mismo y se den situaciones en las que necesitemos preguntar a la máquina:</p><p><em>“¿Por qué no me das la Hipoteca?”</em></p><p><em>“¿Por qué se salió el coche autónomo?”</em></p><p><em>“¿Por qué este diagnostico médico?”</em></p><p>Lerner (<a href="http://www.loyolaandnews.es/loyolaandpsico/creencia-en-un-mundo-justo/">1980</a>) propone que los individuos necesitamos creer que el mundo es un lugar justo para enfrentar su ambiente físico y social como algo ordenado y controlado (<em>“Creencia en el mundo justo</em>”). Entonces, ¿cómo lidiar con esta necesidad psicológica humana cuando no sea posible obtener respuesta de la máquina a esas preguntas?</p><p>En el artículo <em>“</em><a href="https://towardsdatascience.com/the-black-box-metaphor-in-machine-learning-4e57a3a1d2b0"><em>La caja negra, la metáfora del Machine Learning</em></a><em>” </em>advierte:</p><p><em>“En general, todo el sistema de Machine Learning está abierto a inspección. Además, está completamente compuesto de componentes simples que se entienden fácilmente de forma aislada. Sin embargo, incluso si conocemos el propósito del sistema en general, no hay necesariamente una explicación sencilla que podamos ofrecer acerca de cómo funciona el sistema, aparte del hecho de que cada componente individual opera de acuerdo con sus propias reglas, en respuesta a la información de entrada.</em></p><p><em>En otras palabras, el </em><strong><em>cómo</em></strong><em> del sistema es completamente transparente, pero </em><strong><em>el por qué</em></strong><em> es potencialmente incomprensible.”</em></p><p>Por otro lado, sabemos que predecir el futuro es imposible, pero constantemente nos dicen que una Inteligencia Artificial o herramientas basadas en <em>Machine Learning</em> lo han logrado; y lo hacen con titulares como <a href="https://www.elperiodico.com/es/ciencia/20190116/algoritmos-diagnostico-ansiedad-depresion-ninos-7249657">“<em>Los algoritmos también podrían detectar ansiedad y depresión en niños”</em></a> o, “<a href="https://israelnoticias.com/tecnologia/inteligencia-artificial-detectar-amenazas-ciberneticas/"><em>Según expertos, la Inteligencia Artificial podría detectar amenazas cibernéticas invisibles para los humanos</em></a><em>”</em> .</p><p>Como decía Umberto Eco, “<a href="https://elpais.com/diario/2002/12/15/opinion/1039906807_850215.html"><em>Cuando la tecnología no se entiende la podemos confundir con la magia</em></a><em>” </em>.</p><p>Pero esto no es magia. <strong>Esto son modelos predictivos que pueden condicionar nuestras vidas</strong> como rescatamos en el párrafo (traducido) del artículo <em>“Don’t Believe Every AI You See”:</em></p><p><em>“Ali Rahimi, un destacado investigador científico de Google, desató una polémica durante su discurso de aceptación después de recibir el premio ‘Test of Time’. Rahimi propuso de manera provocativa que ‘el aprendizaje automático se ha convertido en alquimia’. Argumentó que, aunque la alquimia ‘funcionaba’, se basaba en teorías no verificables, muchas de las cuales resultaron ser falsas, como la curación de enfermedades con lixiviados o la transmutación del metal en oro. El paralelismo se halla en que muchos modelos actuales de aprendizaje automático, especialmente aquellos que involucran el uso de redes neuronales o el aprendizaje profundo, son poco comprendidos y subteorizados. Parece que funcionan, y eso es suficiente. Aunque esto puede no importar en todos los casos, enfatizó Rahimi, es crucial cuando se trata de sistemas que cumplen funciones sociales importantes en campos como la atención médica y la justicia penal, o en tareas como la determinación de la solvencia crediticia y la curación de noticias. Y concluyó: ‘Me gustaría vivir en un mundo cuyos sistemas se basan en conocimientos rigurosos, fiables y verificables, y no en la alquimia.’”</em></p><p>En Bikolabs estamos trabajando y explorando lo que aporta la Inteligencia Artificial y el <em>Machine Learning</em>. Somos conscientes del impacto que está teniendo tanto para las organizaciones como para la vida cotidiana, por lo que estamos dedicando un esfuerzo importante a este estudio. El pasado 2018 presentamos dos proyectos (donde quedamos finalistas) sobre este ámbito: uno para la Fundación Cotec con el proyecto “<em>Cuando las máquinas decidan por nosotros” </em>y otro para la Fundación Mozilla con el proyecto “<em>Migrants vs I.A.”. </em>También hemos realizado un primer proyecto con la Asociación Española Contra el Cáncer donde trabajamos en la relación entre gestión de contenidos y <em>Machine Learning</em>. Hemos integrado Drupal<em> </em>con un sistema de procesamiento del lenguaje natural (PNL), una red neuronal convolucional (CNN) que nos permite la clasificación de texto.</p><p>Como venimos diciendo, <strong>predecir es una cosa y la certeza es otra.</strong> Pero en el momento en el que las mezclamos estamos más cerca de la magia que de la ciencia.</p><p>Nosotros no tenemos respuestas, pero <strong><em>pensamos </em></strong>que la ética y el pensamiento crítico es fundamental para abordar proyectos con <em>Machine Learning</em>. Y ese es nuestro camino, el de la búsqueda de la mejor manera para hacerlos.</p><p>La certeza y la magia deberían quedar en el arte.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=56d17df04a98" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bikolabs/la-responsabilidad-de-la-predicci%C3%B3n-56d17df04a98">La responsabilidad de la predicción</a> was originally published in <a href="https://medium.com/bikolabs">bikolabs</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Las interfaces mutan]]></title>
            <link>https://medium.com/bikolabs/las-interfaces-mutan-722d534e9346?source=rss----24fbd7f7636---4</link>
            <guid isPermaLink="false">https://medium.com/p/722d534e9346</guid>
            <category><![CDATA[web]]></category>
            <category><![CDATA[interfaces]]></category>
            <category><![CDATA[webxr]]></category>
            <category><![CDATA[vr]]></category>
            <dc:creator><![CDATA[Karlos g liberal]]></dc:creator>
            <pubDate>Thu, 23 May 2019 13:57:56 GMT</pubDate>
            <atom:updated>2019-05-23T13:57:56.851Z</atom:updated>
            <cc:license>http://creativecommons.org/licenses/by/4.0/</cc:license>
            <content:encoded><![CDATA[<h4>bienvenidos a la Immersive Web</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Aw86cMqToQNvRSsdDFmijQ.png" /></figure><h3>Introducción</h3><p>Cuando hablamos de navegar por la web, igual, en breve, es <strong>literal y virtualmente </strong>que lo hacemos.</p><p>La tecnología y su capacidad de mostrarnos la realidad desde diferentes prismas avanzan tan rápido que van construyendo sus propios ecosistemas con sus propias leyes a una velocidad de vértigo. Y en consecuencia, nuestro barco y nuestra navegación cambian.</p><p>Tal y como describe Carlos A. Scolari en su libro <a href="http://www.gedisa.com/gacetillas/000136.pdf">“Las <em>leyes de la interfaz”</em></a><em>, </em>esta va más allá de “la interfaz de usuario”. Hoy la red no es solo un lugar donde se mezclan actores humanos y tecnológicos, sino también un sitio donde interactúan relaciones y procesos.</p><p><em>Todo es una interfaz y esta tiene sus </em>leyes<em>¹</em>. Y la WebXR es precisamente la combinación de todas estas leyes, de este ecosistema vivo. Algo así como una especie de un anillo para gobernarlos a todos.</p><p>Por ello merece la pena detenerse por un momento para conocer cómo es este conjunto de normas y de qué manera afectan a la interfaz. Y a nuestro barco. Y a nuestra navegación.</p><p>Bienvenidos a la WebXR. Bienvenidos a la immersive web.</p><h3>Por qué estamos hablando de esto</h3><p>A la hora de hablar de WebXR, hay que tener en cuenta que las siglas “XR” hacen referencia al conjunto de hardware, aplicaciones y técnicas que permiten aunar Realidad Virtual, Realidad Aumentada y otras tecnologías relacionadas bajo el mismo paraguas. De esta manera, la WebXR se convierte en un ejemplo perfecto de hibridación, de interfaz evolucionada hacia la convergencia (como apuntaría Scolari).</p><p>Esto puede sonar a algo lejano, o a Matrix directamente.</p><p>Pero es tan real y tan cercano que casi se puede tocar con la punta de los dedos. (Literalmente).</p><p>La WebXR es una adaptación evolutiva de la interfaz que más usamos, <strong>la pantalla plana,</strong> y va a permitirnos, de forma progresiva, acceder a experiencias con diferentes grados de inmersividad. Podremos situar objetos obtenidos de una web en el mundo real con realidad aumentada o ver el salón del banquete de bodas desde dentro con realidad virtual, navegando en una web o desde nuestros móviles.</p><p>(la pena es que aún no te permita probar el menú)</p><p>Para poder empezar a imaginar lo que la WebXR va a suponer en nuestras interacciones digitales, la Fundación <em>Mozilla</em> ha publicado un desarrollado ejemplo WebXR en un comercio electrónico, e incluso han acuñado el concepto <em>Magic Window</em> para designar al portal de acceso a la realidad virtual y aumentada desde el móvil.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*X6KEdUzEcnuxkxxf" /></figure><h4>Todo pasa por ponerse unas gafas</h4><p>Obviamente, todo esto tiene que sustentarse sobre algo. La WebXR ya nos permite acceder a experiencias de realidad virtual (o aumentada) mediante los distintos tipos de gafas que hay en el mercado. La característica común entre estos dispositivos es que ofrecen cierto grado de seguimiento espacial con el que simular una vista de contenido virtual. Este seguimiento puede tener diferentes grados de libertad <em>(3DoF y 6DoF)²</em> que implican una mayor o menor sensación <em>inmersiva.</em></p><p>A pesar de la gran diversidad de oferta existente en el mercado puede que lo único que falte para normalizar y masificar el uso del VR sea la popularización de gafas tipo <em>standalone³,</em> como las <em>Oculus Go</em> y sus precios competitivos. Por su parte, Google, Microsoft y Mozilla están impulsando el soporte para acceder a dispositivos VR y AR⁴.</p><p>Si creamos una ecuación en la que entren en juego gafas asequibles y acceso desde la web, no hace falta ningún ingrediente más para que esto se popularice.</p><p>( Bueno, sí, uno más: no sentirse ridículo con las gafas puestas por la calle)</p><h3>Cómo experimentamos</h3><p>En <a href="https://medium.com/bikolabs">Bikolabs</a> iniciamos hace unos meses una colaboración con el proyecto <a href="http://chaosafterday.com/"><em>Chaos after day</em>,</a> una novela ilustrada con estética Cyberpunk. La novela propone <em>logicápsulas</em> a modo de capítulos y nos pareció interesante desarrollar una pequeña experiencia inmersiva para una de estas cápsulas.</p><p>De esta manera surge la idea de introducirnos en el mundo de la Realidad Virtual (VR) desde tecnología web. Vaya por delante que somos firmes creyentes de que la web es una plaza pública (tal y como dice <a href="https://www.academia.edu/3561316/El_kit_de_la_lucha_en_internet_de_Margarita_Padilla">Marga Padilla</a>⁵), donde lo digital y lo social se encuentran de una forma casi natural, sin intermediarios, sin marketplaces. Como dos vecinos de pueblo que se saludan. Así pues, lo natural para nosotros era arrancar desde este punto de partida: accediendo a la VR desde la tecnología web.</p><p>La realidad virtual en la web ha mutado en WebXR, así que hay que dejar de hablar de dispositivos (ordenadores, móviles, televisiones) para hablar de interfaces, ya que son ellas las que nos interpelan. Interfaces que, como afirma la cuarta ley de Scolari, <em>“evolucionan, convergen, se hibridan”. </em>Estas Interfaces, desde su hibridación, generan nuevos retos a la hora de diseñar experiencias en ellas.</p><p>Así, nuestro proyecto con la novela ilustrada <em>Chaos after day</em> se ha desarrollado con el entorno de programación <a href="https://aframe.io/">Aframe</a>⁶, compatible con WebXR. Con Aframe podemos modelar nuestro mundo virtual para que cualquiera pueda entrar en él con sus gafas accediendo desde la web.</p><p>Aframe está basado en la idea de estructurar el contenido y la interacción con los dispositivos y sensores en base a componentes.</p><p>Esta construcción de pequeñas piezas reutilizables con un propósito concreto tiene un reflejo muy claro en la tendencia del desarrollo basado en componentes de los últimos años.</p><p>Si React es el ejemplo más paradigmático de esta tendencia porque no solo permite crear nuevas interfaces, sino que también está creando una nueva estética; Aframe en WebXR sería el equivalente a React para el desarrollo de mundos virtuales en la web.</p><h3>Especulaciones</h3><p>Como decíamos al principio, todo es una interfaz. Por ello, tenemos que asumir que nuestro reto implica ser los intérpretes o constructores de estas interfaces, interfaces que por su mutación van a permitirnos ahora crear experiencias mucho más profundas y vívidas.</p><p>Dice Lucas Rizzotto que “<em>Diseñar VR es diseñar un baile. Las interacciones que creas definirán cómo te mueves, la frecuencia, el tempo… Un software, un baile.<br>Si eres capaz de reconocer lo que alguien está utilizando sólo por la forma en que se mueven (o no se mueven), usted tiene algo especial”.</em></p><p>Elige tu música. Ponte tus gafas. Es hora de bailar.</p><h3>Referencias</h3><ol><li>Todo es una interfaz y esta tiene sus leyes¹: <a href="https://hipermediaciones.com/2018/02/04/las-leyes-de-la-interfaz/">https://hipermediaciones.com/2018/02/04/las-leyes-de-la-interfaz/</a></li><li>(3DoF y 6DoF):<em> </em><a href="https://es.wikipedia.org/wiki/Seis_grados_de_libertad">https://es.wikipedia.org/wiki/Seis_grados_de_libertad</a></li><li>Standalone: <a href="http://www.dictionary.com/browse/standalone">http://www.dictionary.com/browse/standalone</a></li><li>VR y AR: <a href="https://blog.mozvr.com/tag/webxr/">https://blog.mozvr.com/tag/webxr/</a> y <a href="https://immersive-web.github.io/webxr/">https://immersive-web.github.io/webxr/</a></li><li>Marga Padilla: <a href="https://www.academia.edu/3561316/El_kit_de_la_lucha_en_internet_de_Margarita_Padilla">https://www.academia.edu/3561316/El_kit_de_la_lucha_en_internet_de_Margarita_Padilla</a></li><li>Aframe: <a href="https://aframe.io/">https://aframe.io/</a></li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=722d534e9346" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bikolabs/las-interfaces-mutan-722d534e9346">Las interfaces mutan</a> was originally published in <a href="https://medium.com/bikolabs">bikolabs</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[¿Puede una máquina emocionarte?]]></title>
            <link>https://medium.com/bikolabs/puede-una-m%C3%A1quina-emocionarte-d4d3f2e0cb77?source=rss----24fbd7f7636---4</link>
            <guid isPermaLink="false">https://medium.com/p/d4d3f2e0cb77</guid>
            <category><![CDATA[tensorflow]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[arte-generativo]]></category>
            <category><![CDATA[magenta]]></category>
            <category><![CDATA[rnn]]></category>
            <dc:creator><![CDATA[Karlos g liberal]]></dc:creator>
            <pubDate>Mon, 08 Apr 2019 08:26:12 GMT</pubDate>
            <atom:updated>2019-04-08T08:26:12.154Z</atom:updated>
            <cc:license>http://creativecommons.org/licenses/by/4.0/</cc:license>
            <content:encoded><![CDATA[<p><a href="https://wcmm.bikolabs.io/">Os presentamos WaterColor Melody Machine.</a></p><p>WCMM es una Inteligencia Artificial que toca el piano mientras pinta sobre un lienzo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*K1-Cfa0EQAncjMQyUTXqSQ.gif" /></figure><p>Te invito a que pares unos minutos y te dejes llevar por las historias que te propone nuestro intérprete autómata. Puede que viéndolo sientas alguna emoción o te recuerde a una canción o una película o un momento de tu vida. También puede que no sientas nada, que solo veas unos sonidos inconexos y un dibujo en una pantalla.</p><p>WCMM es el resultado de un proceso creativo haciendo uso de Machine Learning. Esta disciplina de la Inteligencia Artificial está de moda, demostrando su potencial práctico cada día. También su uso creativo está siendo explorado por artistas, científicos y empresas.</p><p>Y esa ha sido precisamente nuestra intención: explorar las posibilidades creativas que nos ofrece el Machine Learning, preguntándonos siempre a dónde nos llevan estas disciplinas de la IA.</p><p>¿Puede una Inteligencia Artificial tocar el piano? ¿Y pintar? ¿Nos pueden condicionar esas emociones?</p><p>Si definimos Inteligencia Artificial como cualquier invención que de alguna manera imita la inteligencia humana, ¿podemos decir que este intérprete al piano es inteligente?</p><p>Y ahora sí, lo dejamos en vuestras manos, porque…</p><p>…Que el intérprete sea sensible y te genere emociones es cosa tuya, él solo quiere contar historias y te ofrece cuatro con un resultado único e irrepetible. En tus manos está escuchar cada historia de forma independiente o mezclarlas entre sí.</p><p>Enlace al proyecto <a href="https://wcmm.bikolabs.io/">WCMM</a></p><p><em>Originally published at </em><a href="https://www.biko2.com/actualidad-biko/puede-una-maquina-emocionarte/"><em>www.biko2.com</em></a><em> on January 4, 2019.</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d4d3f2e0cb77" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bikolabs/puede-una-m%C3%A1quina-emocionarte-d4d3f2e0cb77">¿Puede una máquina emocionarte?</a> was originally published in <a href="https://medium.com/bikolabs">bikolabs</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Pastilla azul o pastilla roja]]></title>
            <link>https://medium.com/bikolabs/cuando-las-m%C3%A1quinas-decidan-por-nosotros-5d01004a7587?source=rss----24fbd7f7636---4</link>
            <guid isPermaLink="false">https://medium.com/p/5d01004a7587</guid>
            <category><![CDATA[matrix]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[castellano]]></category>
            <category><![CDATA[máquinas]]></category>
            <dc:creator><![CDATA[Zuriñe Miranda]]></dc:creator>
            <pubDate>Fri, 13 Apr 2018 09:46:50 GMT</pubDate>
            <atom:updated>2018-04-16T07:21:57.561Z</atom:updated>
            <cc:license>http://creativecommons.org/licenses/by/4.0/</cc:license>
            <content:encoded><![CDATA[<h4>¿La elección es nuestra o las máquinas son las que deciden por nosotros?</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*fNDghjgSPAuRXzhHPi-yHA.gif" /></figure><blockquote>“Esta es tu última oportunidad, después ya no podrás echarte atrás.</blockquote><blockquote>Si tomas la pastilla azul, fin de la historia. Despertarás en tu cama y creerás lo que quieras creerte.</blockquote><blockquote>Si tomas la roja te quedarás en el país de las maravillas, y yo te enseñaré llegar a la madriguera de conejos.</blockquote><blockquote>Recuerda, lo único que te ofrezco es la verdad, nada más”<strong>. The Matrix, Warner Bross 1999.</strong></blockquote><p>Este fragmento corresponde a una de las escenas más recordadas de la famosa película The Matrix de las hermanas Wachowski. En ella se nos presenta una decisión que, como veremos en las sucesivas películas, será de gran importancia. Neo se decanta por una de las dos pastillas que le oferta Morfeo.</p><p>Aunque a primera vista esta elección parece tomada de forma premeditada por el protagonista, al terminar la trilogía nos damos cuenta que no es del todo así. Esta toma de decisión se encuentra controlada y coaccionada ya que todo forma parte de una estratagema realizada por el Arquitecto, inteligencia artificial creadora del programa Matrix.</p><p>Podríamos pensar que esta situación, en la que una inteligencia artificial influye en nuestra toma de decisiones y en nuestro modo de actuar, es una cuestión de películas de ciencia ficción o de mundos de ficción pero nos equivocaríamos. Esta situación es más habitual de lo que creemos. ¿Queréis descubrir qué se cuece en este mundo que no es tan lejano a Matrix?</p><p>En el post que sigue, se detallan algunas de mis conclusiones sobre la investigación “Cómo las máquinas influyen en las decisiones” en el marco de las prácticas realizadas en Biko para <a href="https://www.biko2.com/bikolabs-creatividad-pirata/">Bikolabs</a>.</p><blockquote>Nuestra navegación en webs y apps revela más de lo que creemos</blockquote><p>Vivimos en un mundo en el que la explotación de la información personal se ha convertido en una industria de gran relevancia. Esta información se obtiene mediante el análisis y la evaluación de los comportamientos e interacciones que realizamos en el uso de Internet y de las redes sociales.</p><p>Nuestra forma de navegar, los sitios que visitamos o las cosas que compartimos revelan mucho de nuestra identidad, más de lo que podemos llegar a creer. Se ha demostrado que mediante algo tan simple como <a href="http://www.pnas.org/content/110/15/5802">los likes de Facebook</a> se puede predecir la orientación sexual, la personalidad, la visión política o la felicidad, entre otros. Estos datos sirven para identificar, clasificar y evaluar a los consumidores. ¿Cuál es el fin de esta recopilación de datos? Existen muchas opciones posibles y una de ellas puede ser influir en el comportamiento de los usuarios.</p><p>Hasta hace no mucho, el uso de esta información estaba vinculado exclusivamente a la publicidad en línea aunque paulatinamente, esto ha ido extendiéndose a otros sectores como puede ser la comunicación política o la calificación crediticia.</p><p>Ejemplo de esto es un caso que en las últimas semanas ha tenido gran repercusión:<a href="https://www.nytimes.com/es/2018/03/20/cambridge-analytica-facebook/?action=click&amp;contentCollection=Politics&amp;module=Translations&amp;region=Header&amp;version=es-LA&amp;ref=en-US&amp;pgtype=article"> Cambridge Analytica</a>, empresa dedicada a crear perfiles de votantes. Esta clase de empresas dedicadas a crear perfiles de usuarios son denominadas como “data brokers” o vendedores de datos. Estos recopilan datos de los consumidores y los venden a terceros a los que le interese obtener dicha información.</p><p>La razón por la que esta empresa ha sido noticia es que utilizó datos personales recopilados en Facebook con el propósito de influir en el comportamiento de los votantes estadounidenses, esto sin que los usuarios supieran que sus datos estaban siendo recolectados.</p><p>Aunque en este caso la participación de Facebook parece ser indirecta, pues no tenía conocimiento de que los datos estaban siendo utilizados con ese fin, no es la primera vez que la esta red social se ve envuelta en la utilización de datos para influenciar a sus usuarios.</p><p>En el año 2014 el equipo de expertos de la compañía publicó los resultados de <a href="http://www.pnas.org/content/111/24/8788">un experimento</a> que pretendía medir la capacidad que tenía la red social para influir en el estado de ánimo de sus usuarios. El experimento consistía en alterar el número de publicaciones según su contenido, mostrando a casi 700.000 personas un número muy bajo de publicaciones con contenido negativo o positivo. Concluyeron el experimento afirmando que podían alterar el estado de ánimo de los usuarios mediante un proceso de “contagio emocional”.</p><blockquote>¿Es que nadie va a pensar en los usuarios?</blockquote><p>Hay un aspecto que preocupa en gran medida a los investigadores de este campo: la privacidad el usuario. Los datos mediante los que se extrapola la información personal son de muy fácil acceso. Un “me gusta”, una publicación o la visita a una página web concreta son datos muy fáciles de obtener y de los que se puede extrapolar gran cantidad de datos personales.</p><p>Esta facilidad de acceso puede significar una vulnerabilidad de la privacidad de los usuarios pues se puede recopilar su información personal e influir en sus comportamientos sin su consentimiento o conocimiento. Los casos anteriormente mencionados son ejemplo de ello, en ninguno de estos los usuarios eran conscientes de que sus datos estaban siendo utilizados ni que se tenía la pretensión de influir en sus comportamientos.</p><p>Es por esto por lo que gran parte de los artículos que he leído señalaban la privacidad como ámbito por lo que preocuparse. La utilización de la información que dejamos mediante nuestra huella digital está a la orden del día, eso está claro. No hay nada más que fijarse en que cada vez más empresas utilizan esta huella para el “control” de sus usuarios, trabajadores o posibles trabajadores.</p><p>Ya no es raro escuchar que alguien no ha sido contratado por el contenido de sus publicaciones en las redes sociales. Incluso <a href="http://crackedlabs.org/en/corporate-surveillance">entidades bancarias utilizan estos datos</a> para calcular el puntaje de crédito de sus usuarios. Esto implica que la información obtenida pueda afectar a las opciones disponibles para las personas sin ser conscientes de ello.</p><blockquote>“Fabricamos máquinas para que nos ayuden a pensar, y ahora las máquinas piensan por nosotros”- <a href="http://kenliu.name/"><strong>Ken Liu</strong></a><strong>,</strong><a href="http://kenliu.name/stories/the-paper-menagerie-and-other-stories/"><strong>El zoo de papel</strong></a><strong>, 2016.</strong></blockquote><p>Uno de los aspectos que se pretendía conocer con la investigación “Cómo las máquinas influyen en las decisiones” era que nos lleva a otorgarle credibilidad a una máquina. ¿Qué nos lleva a confiar en una máquina? ¿Por qué nos llegamos a plantear que es un error no seguir las indicaciones o recomendaciones que no puede dar? ¿Qué es lo que nos hace tener fe ciega en sus resultados?</p><p>Después de las sucesivas lecturas realizadas, una conclusión a la que podríamos llegar es de que una parte importante de nuestra confianza en las máquinas se basa en los valores que les otorgamos. Generalmente las caracterizamos como “objetivas” o “neutrales” y eso es lo que nos lleva a que les otorguemos fiabilidad.</p><p>Un experimento que deja ver lo anteriormente dicho es el realizado por el psicólogo<a href="https://stanford.edu/~knutson/bad/sanfey03.pdf"> Alan G. Sanfey</a> en el año 2003. El experimento se basa en el llamado “juego del ultimátum” que consiste en que un jugador reparta una cantidad de dinero (10 €) con otro jugador haciéndole una oferta, si el segundo jugador acepta la oferta ambos se quedaran con la cantidad de dinero repartida pero si no lo hace, ninguno se quedara con el dinero. Sanfey decidió llevar este juego más allá y crear una versión modificada, sustituyendo al primer jugador por un ordenador.</p><p>Amañando las ofertas que se iban a proponer, decidió llevar a cabo las dos versiones del juego y comparar los resultados obtenidos. Lo que se detectó con esta comparación es que cuando una persona realizaba un reparto injusto del dinero la oferta era rechazada inmediatamente y se percibía como una ofensa, mientras que la reacción era completamente opuesta si la oferta injusta era realizada por un ordenador. De forma automática se asumía que la oferta realizada por el ordenador era un mero cálculo objetivo, que no estaba condicionado, lo que hacía que los sujetos aceptaran sin ningún problema.</p><p>Con este ejemplo se puede observar como no se duda de la objetividad de los resultados producidos por una máquina y cómo esto puede afectar tanto a nuestra toma de decisiones como a nuestra forma de actuar.</p><p>A pesar de la concepción de imparcialidad de las máquinas, hay que ser conscientes de un aspecto importante que parece no tenerse en cuenta, y es que las máquinas, al igual que cualquier producto, contienen parte del creador. Las máquinas, los algoritmos, las tecnologías…puede que esto suene a un mundo frío y aséptico pero no tenemos que olvidar que “los “no-humanos” adoptan las actitudes de los que los han instalado” <a href="https://arpaeditores.com/products/lecciones-de-sociologia-de-las-ciencias">(Latour</a>,<a href="https://arpaeditores.com/products/lecciones-de-sociologia-de-las-ciencias"> 2017</a>), por lo que puede que las máquinas no sean tan objetivas como pensamos.</p><blockquote>Conclusión</blockquote><p>Los ejemplos señalados sugieren que las máquinas pueden influir en nuestra toma de decisiones, forma de actuar o, incluso, en nuestro estado de ánimo. Esto es un tema que está suscitando mucha investigación, y no es de extrañar teniendo en cuenta en el contexto en el que nos encontramos.</p><p>Dado el auge de la explotación de datos personales, existe una preocupación por el uso ético de esta información, teniendo en cuenta los efectos que podrían producir si su empleo ilícito. Por lo tanto, debería de hacerse un esfuerzo porque la obtención y utilización de esos datos se realice de una forma ética.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5d01004a7587" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bikolabs/cuando-las-m%C3%A1quinas-decidan-por-nosotros-5d01004a7587">Pastilla azul o pastilla roja</a> was originally published in <a href="https://medium.com/bikolabs">bikolabs</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>