<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Adriana Robles on Medium]]></title>
        <description><![CDATA[Stories by Adriana Robles on Medium]]></description>
        <link>https://medium.com/@adriana.robles?source=rss-eb763bbd9e6b------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*6BMFL_5bs9xSCCJt</url>
            <title>Stories by Adriana Robles on Medium</title>
            <link>https://medium.com/@adriana.robles?source=rss-eb763bbd9e6b------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 05:52:44 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@adriana.robles/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Pruebas A/B aplicadas a hardware de Lyft]]></title>
            <link>https://medium.com/lyft-engineering-en-espa%C3%B1ol/pruebas-a-b-aplicadas-a-hardware-de-lyft-44c9a176cac?source=rss-eb763bbd9e6b------2</link>
            <guid isPermaLink="false">https://medium.com/p/44c9a176cac</guid>
            <category><![CDATA[hardware]]></category>
            <category><![CDATA[micromovilidad]]></category>
            <category><![CDATA[ciencia-de-datos]]></category>
            <category><![CDATA[bicicleta-electrica]]></category>
            <category><![CDATA[pruebas-a-b]]></category>
            <dc:creator><![CDATA[Adriana Robles]]></dc:creator>
            <pubDate>Mon, 30 Aug 2021 20:09:58 GMT</pubDate>
            <atom:updated>2021-08-30T20:09:58.190Z</atom:updated>
            <content:encoded><![CDATA[<p><em>Este artículo fue </em><a href="https://eng.lyft.com/a-b-tests-for-lyft-hardware-570330b488d4"><em>publicado originalmente</em></a><em> el 16 de junio de 2021 en </em><a href="https://eng.lyft.com/"><em>eng.lyft.com</em></a></p><p><em>Autores: </em><a href="https://medium.com/@gdrayna"><em>Garrett Drayna</em></a><em>, CJ Chen, and Mark Schulte, traducido al español por </em><a href="https://medium.com/@adriana.robles"><em>Adriana Robles</em></a></p><p>Las pruebas A/B son experimentos controlados para medir las diferencias en el desempeño entre grupos, herramientas ubicuas para el análisis de datos y representación del estándar para la medición de lineas de negocio. En Lyft, las pruebas A/B son usadas en casi todos nuestros productos, desde medir el desempeño de los algoritmos del <em>marketplace</em>, en los diseños de las aplicaciones y hasta los cambios en la infraestructura. Las unidades de análisis para la mayoría de nuestras pruebas A/B son los usuarios y, en algunas ocasiones, los mercados o incluso las horas del día. En esta publicación vamos a describir el nuevo tipo de pruebas A/B que el equipo de <em>hardware</em> está realizando en Lyft. También ilustraremos un par de pruebas A/B donde hemos mejorado de forma segura y confiable la experiencia del usuario, disminuyendo costos y mejorando el servicio en las ciudades donde Lyft opera.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/682/0*3g5vQETAL06q-qmF" /><figcaption><em>Figura 1: Primera generación de Lyft </em>eBikes<em> sin estación</em></figcaption></figure><p>El equipo de TBS (Transporte público, Bicicletas y <em>Scooters</em> [monopatines]) de Lyft es la red más grande de bicicletas compartidas en Norteamérica (incluyendo los sistemas en Nueva York, Chicago y San Francisco), y administra los <em>scooters</em> y productos de transporte público que están integrados en la app de Lyft. Actualmente TBS opera cuatro tipos de productos de <em>hardware</em> en muchas de las grandes ciudades de Norteamérica — bicicletas eléctricas y no eléctricas, <em>scooters</em> eléctricos y ciclo-estaciones. Lyft TBS diseña, opera y mantiene su propio <em>hardware</em>. Nuestros ingenieros de hardware, gestores de producto (<em>product managers</em>), científicos de datos y otros están constantemente buscando mejorar y refinar nuestros productos de hardware existentes y diseñar nuevos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*RAsYLiC74xvc44Qf" /><figcaption><em>Figura 2: Pruebas y experimentos en el ciclo de vida del hardware</em></figcaption></figure><p>Las organizaciones que desarrollan <em>hardware</em>, Lyft incluida, normalmente tienen un proceso complejo de pruebas que sucede durante el diseño y manufactura del <em>hardware</em>, pero ahí es donde suele terminar. Ya que Lyft es tanto dueño como operador de su propio <em>hardware</em> y ha establecido una cultura e infraestructura para análisis de datos, cuenta con una posición única para realizar pruebas directamente en el mercado (producción), adicionalmente a las pruebas tradicionales. Por ejemplo, para responder la siguiente pregunta: ¿qué tan bien trabajan las nuevas versiones de <em>firmware</em>? O ¿cómo reaccionan los usuarios a los diferentes niveles de carga de nuestras bicicletas eléctricas (<em>e-bikes</em>) y su consumo de energía? Sin embargo, primero necesitamos definir cómo ejecutar pruebas A/B en nuestro hardware.</p><p>Las pruebas A/B que se ejecutan de forma común en Lyft son por división de usuarios (<em>user-split</em>) y por división de tiempo (<em>time-split</em>). Lyft cuenta con <a href="https://eng.lyft.com/experimentation-in-a-ridesharing-marketplace-b39db027a66e"><em>poderosas herramientas internas para pruebas A/B</em></a> para simplificar o incluso automatizar partes del proceso de pruebas, y llevar a cabo estos tipos de pruebas A/B. Los usuarios de Lyft usan tanto el <em>hardware</em> como la app, entonces ¿por qué no dividir el experimento en usuarios? Las pruebas de división de usuarios son ideales para medir la reacción a las nuevas funcionalidades; ya que muchas de las respuestas se encuentran en las reacciones de los usuarios, lo más natural sería realizar estas pruebas, ¿cierto?</p><p>No tan rápido. La parte interesante aquí es que necesitamos medir tanto el desempeño del <em>hardware </em>en el mundo real como la reacción de los usuarios. O, podríamos interesarnos solamente en el desempeño del <em>hardware</em>, así como en verificar el funcionamiento y rendimiento de las nuevas versiones de <em>firmware</em>.</p><p><strong>¿Contamos con los datos suficientes para hacer que esto funcione?</strong></p><p>Actualmente Lyft opera entre 10,000–20,000 bicicletas y scooters, todos conectados por IdC (Internet de las cosas<em>, </em>IoT por sus siglas en inglés). Si bien esto puede parecer un número considerable, es pequeño si lo comparamos con muchas pruebas por división de usuario en Lyft, las que pueden tener millones de usuarios expuestos. ¿Acaso esto tendría el suficiente impacto estadístico?</p><p>Quizá <em>sí</em> es una respuesta no intuitiva, pero — hay un espectro. Muchas de las pruebas de <em>hardware</em> se miden por viaje (por ejemplo, conversión, calificación del viaje). La varianza en estas métricas de pruebas de hardware está dada por la variación entre viaje y viaje. Adicionalmente, el desgaste mecánico y el consumo eléctrico son determinados por el número de viajes, peso del viajero, selección de ruta, y otros elementos de UX. Esto significa que obtendremos resultados en el orden de las O(viajes) para estas métricas. Del otro lado de este espectro encontraremos fallas y errores poco comunes. Estos podrían o no ocurrir en una pequeña fracción de viajes.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/792/1*dM4FBXqWKQrvTigjB1aJzA.png" /><figcaption><em>Tabla 1: Efectividad de las métricas tomadas a una muestra de 2000 bicicletas, en pruebas divididas</em></figcaption></figure><p><strong>El calentamiento: Lanzamiento de <em>firmware</em> con pruebas A/B</strong></p><p>Para definir cómo implementaremos las pruebas A/B en <em>hardware</em>, decidimos atacar primero un problema de “calentamiento”, que es la adición de mediciones de desempeño a nuestro proceso de pruebas de <em>firmware</em>. Lyft emplea actualizaciones “<em>over-the-air</em>” (inalámbricas, OTA por sus siglas en inglés) para realizar cambios o actualizaciones del código en vehículos vía remota, sin necesitar intervención humana. Cada dos semanas integramos al código de nuestros vehículos nuevas funcionalidades, corrección de errores, refactorizaciones, etc., lo probamos y actualizamos los vehículos en producción. Hemos mejorado varios aspectos de desempeño en nuevas versiones de <em>firmware</em> con la realización de pruebas A/B, por ejemplo:</p><ul><li>Somos capaces de encontrar defectos “sólo en producción” que en pruebas en ambientes de calidad no se detectan.</li><li>Los desarrolladores pueden verificar que los arreglos funcionan correctamente, realizando la instrumentación adecuada para intentar reproducirlos.</li><li>Podemos medir el impacto en el negocio o usuarios provocado por los cambios y/o nuevas funcionalidades, las cuales no podemos o queremos probar aisladamente.</li></ul><p>Esta situación fue una buena candidata para llevar a cabo la construcción y ejecución de nuestra primera prueba de división por <em>hardware</em> en Lyft. Durante la primera ejecución de pruebas A/B en Lyft, detectamos algunos pasos clave:</p><ol><li>Configurar la plataforma de experimentación para enviar y rastrear los cambios, haciendo uso del id del vehículo y no del usuario.</li><li>Desarrollar un <em>firmware</em> de control que utiliza las variables en el servicio configurado y bajo prueba. Esto envía una nueva versión del <em>firmware</em> (OTA) a los vehículos dentro del grupo de pruebas.</li><li>Registrar exposiciones cuando el vehículo confirma que la nueva versión del <em>firmware</em> ya se encuentra corriendo.</li><li>Construir métricas adaptadas a las necesidades de cada liberación de <em>firmware</em>. Algunas de las métricas que definimos están en la siguiente tabla.</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/793/1*vDKiwXBVehLAPD_kcdlrTQ.png" /><figcaption><em>Tabla 2: Métricas para las pruebas A/B a firmware</em></figcaption></figure><p><strong>Pruebas A/B de funcionalidades de <em>hardware</em></strong></p><p>La forma ‘ideal’ de realizar pruebas A/B en hardware es aislando el desempeño de cada funcionalidad. Para hacer esto, construimos un sistema para pasar variables (es decir, usamos ‘banderas’) directamente desde nuestro servicio bajo prueba al <em>firmware</em>. No necesitamos depender de un dispositivo corriendo exitosamente las actualizaciones del sistema operativo, o forzar valores en la versión del <em>firmware</em>. En cambio, podemos parametrizar las variables de interés y probar el desempeño de cada uno de esos valores.</p><p>Recordemos el por qué probamos <em>hardware</em> y no usuarios — porque primero necesitamos conocer el funcionamiento del <em>hardware</em>, y después las reacciones del usuario. En las pruebas de división por <em>hardware</em>, los usuarios podrían notar diferencias si toman viajes en diferentes vehículos varias veces. Entonces, ¿cómo medimos las reacciones del usuario? Ejecutamos dos experimentos consecutivos, uno dividido por dispositivos y otro sintético dividido por usuarios.</p><p>En nuestro experimento real, medimos métricas de rendimiento de <em>hardware</em> y de viaje como calificación por viaje y viajes cancelados. En nuestras pruebas sintéticas, utilizamos el modelado de puntaje de propensión para emparejar usuarios que observaron diferentes variantes con usuarios similares que sólo vieron el control. Con este grupo sintético de control, podemos medir métricas de usuario a largo plazo, como retención y pérdidas de usuarios. Esto nos permite tomar decisiones que impactan todo el negocio. ¿Existen cambios en el rendimiento del hardware que hagan que valga la pena realizar cambios asociados a la experiencia de usuario?</p><p>Un experimento reciente que ejemplifica estas pruebas: ¿Deberíamos de poner los seguros en modo dormido (<em>sleep mode</em>) cuando no se esté en un viaje?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NBbFOX98LPKqSZQOHiIKGQ.png" /><figcaption><em>Imagen 3: Una representación del guardabarros de una bici eléctrica sin estación, con su módulo del cable de seguridad. Poner este módulo en modo de bajo consumo energético cuando no está en marcha mejoró significativamente nuestra necesidad de instalar baterías recién cargadas en la bicicleta en una prueba A / B dividida por hardware.</em></figcaption></figure><p>El contexto de este experimento fue:</p><ul><li>Podemos ahorrar batería al poner el seguro de la batería y el cable de seguridad en modo dormido. Sin embargo, cuando un usuario inicia un viaje, la bicicleta hace un sonido “bip” indicando el inicio del viaje, pero el cable de seguridad tarda de 1 a 2 segundos en despertar y liberarse. Esto duplica la latencia. Necesitamos verificar los experimentos de ahorro de energía en producción y medir si la latencia extra agrega fricción en la experiencia de usuario.</li></ul><p>Nuestra hipótesis:</p><ul><li>Lograremos un ahorro en el uso de energía y costos de operación, según lo predicho por las estimaciones basadas en el diseño de ingeniería, sin afectar la experiencia de usuario.</li></ul><p>Lo que encontramos fue fascinante (la información fue alterada, pero es correlacionalmente correcta):</p><ul><li>Consumo de energía en reposo (mientras espera un viaje): <strong><em>-25%</em></strong></li><li>Número de cambios de batería:<em> </em><strong><em>-17%</em></strong><em> </em>(Gran ahorro en el costo de operación)</li><li>Calificación de los viajes: <strong><em>-1%</em></strong></li><li>Bicicletas sin seguro puesto: <strong><em>+30%</em></strong></li><li>No hubo cambios en los viajes a largo plazo o en la retención de usuarios.</li></ul><p>Este es el poder de las pruebas A/B. Validamos que el cambio ahorraría una cantidad significativa de energía y optimizaría la operación de cambio de baterías. Sin embargo, también descubrimos un error de <em>firmware</em> que resultó en un aumento (pequeño pero significativo) de bicicletas sin seguro puesto. Además, notamos que los usuarios pudieron haber experimentado una pequeña fricción adicional en su experiencia. Arreglamos el error y lanzamos este experimento a todas las bicicletas eléctricas sin estación. Esto no es suficiente para cambiar la frecuencia con la que usan nuestro servicio, pero queremos realizar un seguimiento cuidadoso y continuar brindando la mejor experiencia de viaje que podamos.</p><p>Con las pruebas A/B a las funcionalidades del <em>hardware</em>, estamos trabajando para responder a varias preguntas clave para nuestro negocio. Por ejemplo: el <em>eAssist</em> (apoyo inteligente al pedaleo mediante un motor eléctrico) ha cambiado por completo los desplazamientos en bicicleta, y nuestros usuarios prefieren en gran medida las bicicletas eléctricas a los pedales cuando se les da la opción. Pero hay matices en esta decisión:</p><ul><li>¿Qué cantidad de <em>eAssist</em> es la cantidad adecuada para nuestros usuarios?</li><li>¿Deberíamos proporcionar motores de alta potencia y alto esfuerzo de torsión que brinden una buena patada pero que sean pesados ​​y consuman más energía?</li><li>¿O es mejor proporcionar una asistencia gradual para evitar que los usuarios suden, reduciendo la carga utilizada y manteniendo nuestra operación más sostenible desde el punto de vista medioambiental y económico?</li></ul><p>Hemos realizado múltiples simulaciones del sistema de propulsión, pero necesitamos confirmar cómo funciona en el mundo real. También esperamos ver las características del vehículo y la experiencia de usuario, la optimización del mantenimiento y muchas más variables. Con las pruebas A/B para <em>hardware</em>, podemos entregar los mejores vehículos para nuestros usuarios, al mejor precio y con el mejor rendimiento para nuestras ciudades.</p><p><em>Si estás interesado en unirte a un equipo en Lyft, ¡estamos contratando! Revisa nuestra página de </em><a href="https://www.lyft.com/careers"><em>bolsa de trabajo</em></a><em> para más detalles.</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=44c9a176cac" width="1" height="1" alt=""><hr><p><a href="https://medium.com/lyft-engineering-en-espa%C3%B1ol/pruebas-a-b-aplicadas-a-hardware-de-lyft-44c9a176cac">Pruebas A/B aplicadas a hardware de Lyft</a> was originally published in <a href="https://medium.com/lyft-engineering-en-espa%C3%B1ol">Lyft Engineering en Español</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Hardware Testing]]></title>
            <link>https://medium.com/globant/hardware-testing-80c1eb698ae6?source=rss-eb763bbd9e6b------2</link>
            <guid isPermaLink="false">https://medium.com/p/80c1eb698ae6</guid>
            <category><![CDATA[api-test]]></category>
            <category><![CDATA[smart-home]]></category>
            <category><![CDATA[hardware-testing]]></category>
            <dc:creator><![CDATA[Adriana Robles]]></dc:creator>
            <pubDate>Wed, 13 Jan 2021 12:20:39 GMT</pubDate>
            <atom:updated>2021-01-13T12:20:39.134Z</atom:updated>
            <content:encoded><![CDATA[<h3>Part 1. Integration testing</h3><p>by Adriana Robles</p><p>Before we start talking about how to test a hardware, let’s remember the definition of <em>Hardware. </em>Hardware is a thing built by circuits, cables, plastic, metal and so on, that accomplish a function, like a camera is used to overwatch you home when you are away or a smartwatch that helps you to be connected to your phone main functionalities and track your exercise routine, just to mention a couple of hardware examples.</p><p>Now that you are thinking in all those devices that can be setup in your home to create an “smart home” and the endless possibilities to have them communicating between each other and have fabulous functionalities like run a <em>smart routine</em> (sequence of instructions) that arms your home, lock the door and turn on your cameras all done by just saying “Hey Google/Siri/Alexa … I’ll be back”, now imagine all the combinations that a testing team has to analyze and design to test all this and have all those devices working as expected at your home. This is just the beginning, in this article you will have a good base about how this testing is done.</p><h4>What do you need to know?</h4><p>As software testing has different levels (you might remember the V model from the ISTQB), Hardware testing also has levels.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*I8eriNm5Xl0sAXD7" /></figure><p>As the title suggests I will be talking about the Integration testing level, per my experience in Hardware testing teams, the hardware level is done by the electrical engineers, same as the unit testing is done by the development team.</p><p>The first thing is to keep in mind that every time you are interacting with some Hardware by pressing a button, touching the screen or just talking to it by saying <em>“Alexa …”</em> / <em>“Hey Google …”</em> / <em>“Siri …”</em> your action is transformed to a request that calls a service, this service retrieves a response that can be interpreted by your hardware and performs the functionality you were requesting.</p><p>Some points to take into consideration when doing Hardware Integration testing (make calls to the services) are:</p><ul><li>Happy paths need to be tested, for example when you send the request to change color light, turn on/off lights, change temperature (smart thermostats), locking your door (smart locks), streaming your home camera and so on.</li><li>Authorization testing, it’s important to test that the service retrieves an error when you do the request with invalid credentials.</li><li>Error scenarios, you need to verify that malformed requests are correctly handled by an error message and code.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/822/1*_bfsDfrL1KhDFTU9OaN5sg.png" /></figure><p>Just to clarify the difference between Hardware functional testing and Integration testing, when you do HW functional testing, you will be testing:</p><ul><li>Fiscal interaction with the device</li><li>Validate the device does the functionality by seeing the light turns on or the door lock, for example.</li><li>Login in to the Smart App with different credentials and verify you cannot see or interact with the smart device.</li></ul><p>One more thing to highlight is that hardware testing is different from mobile testing, when you do mobile testing you are testing an application or a web site in it’s mobile version, but you are not doing hardware testing, you are just using hardware (cellphones) as a tool to test an application.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/789/1*li6zgjqrqOBV32GrZtLnqg.png" /><figcaption>Compares HW testing VS Mobile Testing</figcaption></figure><p>Get ready, you will be doing a lot of backend testing.</p><h4>Let’s do Hardware integration testing!</h4><p>As in all our testing processes, you need to identify and understand the business requirements, analyze them, and define the test cases. When you define these test cases, you will write them using as testing subject the backend which the Hardware calls, and write test cases to verify the functionality affects the Hardware (test cases where you interact with the device).</p><p>Let’s do an exercise; An Smart Light can perform 3 basic functionalities (to mention some), turn on/off, change light intensity and change light color. An example for the backend integration will be:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/794/1*fIo0SGKntuywQLQeEc52hA.png" /><figcaption><strong>TIP</strong>: To execute this you can use tools like Postman, SOAP UI, Curl, Rest Assured and so on.</figcaption></figure><p>Taking the same example above a test case to verify this actually provoques something in the device will be:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/793/1*P44DMS_XXgxpAT5m_9Vw6Q.png" /></figure><p>Now you will be thinking something like “then I have to test the same twice, one calling directly the backend and another by interacting with the device”, the answer is no, you will not have to do same test twice, my recommendation is to do most of the test through the backend because is faster and if the backend responses are ok, you can be 70% sure, your device will do the functionalities, but that other 30% is a basic hardware interaction testing, where you need to make sure the functionality works. For example on the backend you can do malformed requests, send the request with invalid credentials, turn on the light twice and verify the second one sends an error, you can send an invalid color to be set, and in the front you can test the basics, that when you turn on/off the like it works, when you select a color it change to it.</p><h4>Conclusion</h4><p>Do hardware testing is different from doing mobile testing, when you do this kind of test be sure you are familiar with backend testing and that if you aim to start doing automation at Hardware testing integration level, I’ll suggest you to start with a service automation testing approach and all the testing that needs interaction with the hardware will be done manually. You can use emulators for the devices, but it is always important to be sure in a sanity test the backend and the real hardware communicates correctly , that the functionalities and requirements are met.</p><p>This is just the beginning, for the next article I’ll be talking about automation, reporting and virtual devices.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=80c1eb698ae6" width="1" height="1" alt=""><hr><p><a href="https://medium.com/globant/hardware-testing-80c1eb698ae6">Hardware Testing</a> was originally published in <a href="https://medium.com/globant">Globant</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>