At least for early stage digital products.

Yes, someone said that during a meeting at the studio last week. Having transitioned from economics to design strategy, I’m very allured by the “scientific” methods used in the design process to better understand the behaviors and motivations of people we design for. With that in mind, I dove into the design research world and later held a presentation for my fellows at the studio about the subject.

The keynote turned into a candid debate about a very specific topic: Usability Testing. It turns out that, far from my knowledge, User Research and especially Usability Testing has been a significant theoretical and practical on-going discussion at the studio since its creation.

To give some context for the non-designers –like, until recently me– usability testing is an evaluation of a product or service by testing it with real users. There is no clear understanding of when user testing began. In a broad sense we can say that it has its roots in the fields of Ergonomics and Human Factors, near the beginning of the 20th century.

In the ‘70s, companies like AT&T and IBM conducted usability tests on information systems that were being converted from being purely manual to computer-based. By 1998, usability testing started to be used on a wide-scale basis for commercial purposes. Jeff Bezos said that in Amazon’s first year they didn’t spend a single dollar on advertising, instead only to improve the customer experience.

The Debate

Let’s go back to the presentation room, where the intense debate started around usability testing. The opinions in the room were completely divided.

One group of designers believed, from previous experiences, that although lab usability testing might be useful for physical products, in the digital world, the research methodology brought little-to-no knowledge into the design process.

From their point of view, lab usability testing created an artificial environment in which the test participant had no intentionality, therefore the study provided biased results and sometimes non-relevant information.

Besides, assuming that resources are scarce in the digital startup world ecosystem, where most of the studio’s clients flourish, usability testing is an expensive research practice easily substituted by other methods and with an uncertain return on investment for the design process. Therefore, they believe that remote usability testing would be a more appealing and efficient research tool.

On the other side of the room, the usability testing enthusiasts defended their position. They accepted remote usability testing methods might be a good approach for some products, cheaper and with intentionality, but that didn’t mean that lab usability testing is a research tool that we should throw away.

In the end, the most extreme side of the debate, the usability testing negators, stated that lab usability testing was useless for digital products. However, if the method was not adapted to today’s web and mobile designers’ needs, it should stop being considered part of modern research methods spectrum, a severe statement.

The debate ended with animosity, but the meeting finished with an open-minded conclusion, leaving room for project leaders in the studio to choose the research method best suited for each product.

I found myself in the middle of the debate, in which I had no empirical arguments to make. I thought that maybe someone had already compared methods or at least listed benefits and disadvantages of each one. I went online to do some research.

The Findings

It is blatantly clear that even the least devoted usability testing experts recognize its value, and while it doesn’t mean they are right about it, they have relevant insights about the research technique.

Traditional usability testing guidelines do not apply to every product or service. A website for the elderly and a mobile app for millennials do not have the same design. While millennials were born with technology in their hands, the elderly have had a more difficult path adapting to technology. Usability testing guidelines have to be approached with flexibility when the method is required, if and only if the method is required.

When thinking about how product engineering has evolved in the last decade, we can all agree that technology has made it easier to build an MVP. If the product you are building isn’t a colossal engineering challenge, it’s best to put it out there as fast as possible and start the iteration loop; gather data, analyze it and iterate for your users behaviors. In this case, usability testing wouldn’t be necessary.

Usability testing is an expensive method that has been used as a late-stage “nice-to-have” methodology, but when used correctly it does add value.

We all want to better understand our users to deliver the best-designed product. Usability testing research, both remote and face-to-face, help us obtain relevant information to understand how people interact with the interface we designed.

My stand on the matter, as an outsider and a new designer, is that usability testing does add value to the design research process in regards to specific problems, but it has constraints that have to be taken into account when deciding to use it.

What do you think? Do usability testing opponents have grounds in depreciating its value? Are seniors designers too comfortable using outdated research techniques?

Which is your angle on the matter?

Share your experience and points of view in the comments.

Berto Ceballos is a proud Fellow at 23 Design, a studio that solves value creation, distribution, engagement and monetization challenges through design.

Did you enjoy this post? Click the heart icon to help spread the word.

Is Lab Usability Testing Worthless? was originally published in Spotlight on Medium, where people are continuing the conversation by highlighting and responding to this story.

Hace 8 semanas conocí a un equipo de producción que tenía como objetivo viajar por 5 ciudades para documentar la vida de los desarrolladores en ellas. Viajarían más de 3 semanas alrededor del mundo para realizar un video de 120 segundos. Solo pude pensar en lo afortunados que eran.

Aprendí muchísimo en los dos días que pude pasar con ellos, desde cómo presentaron el proyecto, cuánto tiempo llevo la aprobación del mismo hasta de que manera harían la post-producción del video. Fue una experiencia única.

La única razón por la que pude pasar esos dos días con ellos fue por que el equipo de Relaciones para Desarrolladores de Google en México nos habían pedido el apoyo de hospitality. Pasaron solo 6 semanas para que me encontrara viajando en un avión rumbo a Manizales, Colombia en una aventura similar a la de aquel equipo que había conocido.

El proyecto se aprobó 5 semanas después de conocer al equipo de producción, después de un evento social en donde pude platicar con una de las personas clave para la realización del proyecto. Recuerdo que llovía muy fuerte y había sido un largo día pero tenía claro que debía ira es evento, solo seguí mi instinto.

Los proyectos en la oficina habían estado moviéndose muy rápido desde hacía casi un mes, habíamos lanzado un par de vacantes y dos negocios paralelos estaban por salir. Todo esto nos tenía (y tiene todavía) trabajando sin parar. El proyecto no tenía mucho orden por el poco tiempo de planeación pero yo tenía claridad en algo, debía de ser un video único con una gran historia.

Con el tiempo encima reuní al pequeño crew que viajaríamos a Colombia; Osama (ingeniero de audio) y Diego (fotógrafo), quien no tenía pasaporte vigente y faltaba menos de una semana para el viaje. Con la ayuda de Tony, mi socio en Bemena, compramos equipo que nos daría ese plus que buscábamos en calidad, hice reservaciones, planee el presupuesto y aliste todo el equipo que llevaríamos.

El martes 23 de septiembre a las 5am nos encontramos en el aeropuerto Diego, Osama y yo. Teníamos muy claro cómo queríamos que se viera este video pero la historia no estaba cerca de ser definida. Aproveché el vuelo para leer algunos artículos y ver algunos videos para entender como debíamos trabajar esta historia, habíamos hecho varios videos de eventos pero no habíamos contado una historia con un objetivo tan específico en un ambiente tan poco controlado. Era algo totalmente nuevo.

Decidí que lo mejor sería involucrar al crew en esta parte del proyecto. Como realizador sentía la presión de definir la historia, la lista de tomas y el equipo que usaríamos para cada una de ellas pero por otra parte sabía que entre los tres podríamos llegar a un mejor resultado. Solo asumí que tres cabezas pensaríamos mejor que una y que de esta manera todos conectaríamos mejor con el video. A la hora de darles la noticia de mi decisión pude darme cuenta que el equipo agradecía haber sido tomado en cuenta en este proceso y yo agradecí su ayuda. (Gracias Diego y Osama )

Llegamos a Colombia y antes de cualquier cosa nos sentamos a trabajar en la historia que queríamos contar. Dicha historia giraría alrededor de dos eventos organizados por UP Latam, el primero era un summit regional de líderes de comunidades de Startup Weekend y el segundo era un Startup Weekend Mega con 5 verticales y cientos de participantes.

El primer día de grabación, de cinco, nos ayudo a tener contexto. Pudimos entender quienes eran nuestros personajes, sus historias, retos y logros. Haciendo uso de la famosa metodología lean cada día llegábamos a hacer cambios en la historia, entendíamos mejor en que queríamos enfocarnos y que debíamos dejar fuera. Siempre había sido tan dificil para mi dejar fuera algo pero entre mayor claridad en la historia mejores argumentos tenía para hacerlo.

Grabamos 5 días y los imprevistos fueron mínimos. No nos quedamos con tomas sin hacer, no hubo testimoniales que faltaran, archivos dañados o equipo perdido. Todo salió tan bien como pudo haber salido, poco a poco iremos entendiendo que pudo haber mejorado pero hasta ahora estamos muy contentos con el resultado. El proceso de post-producción apenas comienza y sé que tendremos retos que enfrentar pero también sé que tenemos al mejor equipo para poder hacerlo.

Tengo claro que el trabajo no está completo hasta que el video salga y pueda lograr el impacto que nosotros buscamos, hasta que veamos que el trabajo realizado logra la calidad en narrativa y fotografía que tanto buscamos. Hasta entonces, esta historia continúa.