1. Preparing the test location and infrastructure

Public life in Switzerland is gradually being brought back up to speed. Hairdressers and DIY stores were the first to be allowed to reopen their doors. On 11 May, restaurants were allowed to open and all shops served customers once again. However, certain regulations apply to ensure the safety of each individual. There is also a growing demand for on-site user testing at the customer’s premises. Why? Remote studies have their advantages, but so does on-site testing. For example, the use of test objects or closer observation of body language. Here you can find out more about in-house usability tests.

Let’s get back to the safety rules: These are to be considered just as much in user research at the office or in usability labs. What does that mean for you? Like INNOArchitects, you must prepare your test location accordingly before your first test users can arrive. Clean and disinfect the premises and equipment (keyboard, mouse, touch screens, etc.) that will be used. Equip the room with the necessary products such as protective masks and disinfectants. In addition, it helps to clearly label the rooms required during the test so that the test users do not get lost in other rooms.

2. Order and instruct test users

After you have made the test location Corona-compliant, it is very important to instruct the test users accordingly. We will support you in doing so if you order test users with us. Not only while ordering, but also when screening suitable candidates. Even before the lockdown, we made sure that no candidates who have recently traveled to affected areas were assigned for user tests or workshops at the customer’s test location. We proactively inform our test users about necessary security measures and rules of conduct so that they can participate in the test with a good feeling. You can add further personal instructions to the test users by clicking on “Message to test users” and the field “Instructions” in our order form.

3. D-Day: Leave doors open

If at all possible, leave the doors to the room where you are conducting the user test open. This way you and the test users avoid any contact with door handles and reduce the risk of an infection. Furthermore, open doors are inviting and help the test users to move swiftly into the right room. If required, we will gladly provide you with our door hangers so that the users recruited by us can find their way around more easily as they are familiar with our brand.

4. Greeting of the test users

Fixed rituals, well-known and familiar things are very important for most people. We often feel that everything that is unfamiliar is wrong. And normally people shake hands when greeting each other in Europe. But not so in times of a pandemic. However, to get rid of the feeling of being impolite when greeting without a “handshake”, there are enough funny greeting alternatives for you on the internet. Some of them also serve very well to loosen up this exceptional situation (like these examples). INNOArchitects solves this with a majestic greeting: Waving like the Queen.

5. Communicate rules of conduct and hygiene

With the instructions before the user test many uncertainties can be eliminated. Nevertheless, it is important to repeat them on the day itself and, above all, to pay attention to the rules of conduct. It is best to place the rules prominently in the location where the test will be carried out. But what are the most important rules to follow? Here you have a short overview for your test:

The rules recommended by the World Health Organization (WHO) can be viewed here at any time.

6. Have the test users take the protective measures

The next step is very simple. The test users have received all the necessary information. At INNOArchitects, the study organisers and all test users will enter their names in a list at the reception to prove who was present in their open workspace on that day. In addition, the test users have to sign a non-disclosure agreement on site as usual. You receive the proof of which test users were present on site also in our lineup. Afterwards let the test users disinfect their hands and put on the protective mask.

7. Keep a safe distance even in the waiting room

It may happen that some test users arrive earlier than others. It is very important that they are able to maintain the safe distance in the waiting room. Therefore, provide them with a sufficiently large room for the waiting time. Label the room accordingly, mark the safety distance and also equip it with the necessary products such as disinfectant.

8. Ready, set, test

After all your test users have arrived, been instructed accordingly and have taken the protective measures, you can start. Always keep a safe distance when testing. Make sure that all users present do so too.

9. Security tips for user tests

In this example of INNOArchitects a panel discussion was organised. Nevertheless, we would like to give you a few tips for user tests, as this scenario is slightly different in terms of the execution. As a moderator, you can no longer look directly over the shoulders of the test user. This does not mean that you cannot sit in the same room. Just keep a safe distance (see also 5. Communicate rules of conduct and hygiene). You can also use e.g. video conference call or Lookback observer mode for you as a moderator. However, the moderation can take place directly in the room.

10. Saying goodbye to test users

The same rules apply when saying goodbye to the test users as when welcoming them. Please provide the test users with another disinfection station and a waste bin with lids for the correct disposal of waste (such as the disposable face masks) in front of the exit.

11. Clean the test location at the end

Finally, only one important step remains. After all test users and all employees who are no longer needed have left the room, you have to clean and disinfect the premises again. Clean and disinfect all door handles, used surfaces and equipment (e.g. such as a mouse) to ensure the safety of the people who will use the rooms afterwards.

12. Alternative locations in case tests are not allowed at your office

For some companies it is still not possible to conduct user tests or workshops on their own premises. In some cases, work is still done from home. Or it is simply not possible to receive external people. However, we have some alternatives for you. In Switzerland, there is the workspace provider www.workspace2go.ch, where you can book rooms throughout Switzerland. They strictly follow the instructions of the Swiss government and can therefore offer a secure environment. Memox is another provider with an extensive Coronavirus protection concept for rooms in Switzerland, but also in Germany. Or you can check this link for other countries in Europe.

About INNOArchitects

INNOArchitects accelerates innovation and transformation in the digital age — and supports its partners with the latest innovation methods. The end customer’s needs are always at the centre of attention. Together with INNOArchitects, TestingTime has already surveyed over 1000 recruited test users. The innovation and training offer of INNOArchitects can be found here.

Corona protection measures for on-site user research was originally published in TestingTime UX Blog on Medium, where people are continuing the conversation by highlighting and responding to this story.

Die Schweizerische Bundesbahnen (SBB) führt regelmässig Studien mit Testpersonen von TestingTime durch. Nebst klassischen Benutzertests, wird bei der SBB auch gerne mit neuen Methoden experimentiert. Eine davon ist die “Touchpoint Study”. Um den Ablauf einer Touchpoint Study zu illustrieren, haben wir zusammen mit Eva Siegenthaler, Andrea Schneider und Mélanie Muggli von der SBB diese Case Study zusammengestellt. Diese Case Study bietet dir einen Einblick, wie die SBB Touchpoint Studien vorbereitet, durchführt und auswertet.

Die Schweizerische Bundesbahnen (SBB) sind nicht nur überdurchschnittlich pünktlich sondern haben in den vergangenen Jahren auch die Wichtigkeit von guter Customer Experience (CX) erkannt und entsprechende Massnahmen durchgeführt. Im 2014 beauftragte die IT der SBB die Mitarbeiterin Eva Siegenthaler ein UX Team aufzubauen und anzuführen. Inzwischen ist das 14 köpfige UX Team gut in laufende Projekte innerhalb der Firma integriert. Seit Oktober 2016 leitet Eva Siegenthaler das Customer Experience & Touchpoint Management. Zusammen mit dem divisionsübergreifenden Kernteam arbeitet sie am Ziel, ein durchgängig positives Kundenerlebnis über alle relevanten analogen und digitalen Touchpoints zu schaffen. In diesem Zusammenhang wurde auch die folgende Touchpoint Study konzipiert und durchgeführt.

Was ist eine Touchpoint Study?

In der CX Welt sind Touchpoints bekannt von User Journeys, wo ein Kunde wiederholt und über Zeit auf unterschiedliche Art und Weise mit einer Firma und deren Produkten oder Dienstleistungen in Berührung kommt. Z.B. eine Bahnfahrt mit der SBB beinhaltet verschiedene Berührungspunkte wie Fahrplan, Ticketkauf, Ticketkontrolle, Verpflegung, etc.

Wikipedia definiert Touchpoint aus der Sicht von Marketing. Hier das Wichtigste in Kürze:
Touchpoint (auch Touch Point, wörtlich „Berührungspunkt“) oder Point of Contact (POC, wörtlich „Kontaktpunkt“) ist ein Begriff des Marketings. Er bezeichnet die Schnittstelle eines Unternehmens, einer Marke oder eines Wirtschaftsguts (z. B. Ware, Dienstleistung) zu möglichen, bestehenden oder ehemaligen Kunden, Lieferanten, Mitarbeitern und anderen Stakeholdern.

Je nach Perspektive kann der Touchpoint genauer bezeichnet werden, z. B. als Corporate Touchpoint (Schnittstelle zum Unternehmen) bzw. Brand Touchpoint (Schnittstelle zur Marke) oder Customer Touchpoint (Schnittstelle zum Kunden). Touchpoints gibt es sowohl im Business-to-Business- als auch Business-to-Consumer-Bereich. Bei Kunden und Lieferanten kann der Kontakt über einen Touchpoint vor, während oder nach einer Transaktion (z. B. Kauf) erfolgen.

Wenn man nun von einer Touchpoint Study spricht, werden genau solche Berührungspunkte mit echten Kunden auf Benutzerfreundlichkeit untersucht. Man kann Touchpoints qualitativ mit Benutzertests oder per Shadowing untersuchen. Für eine komplexe und verteilte User Journey wie bei der SBB wäre dies aber enorm aufwändig. Daher wurde bei dieser Studie eine Variante der Tagebuchstudie als quantitative Methode gewählt.

Was ist eine Tagebuchstudie?

Die Tagebuchstudie ist ein Begriff aus der Marktforschung und beschreibt die realitätsnahe, tagebuchartige Erfassung von Nutzungsgewohnheiten und Verhaltensweisen durch (potentielle) Kunden. Die Erfassung der Daten erfolgt über einen vorbestimmten Zeitraum, in welchem die Studienteilnehmer in regelmässigen Abständen über eine App oder in schriftlicher Form aufzeichnen, wie, wann und wo sie das zu testende Produkt oder Service benutzen.

Falls du dich vertiefter mit Tagebuchstudien befassen möchtest, empfehle ich dir unsere Case Study mit Zalando zu lesen.

Das Studiendesign der SBB Touchpoint Study

100 Bahnreisende sollen beauftragt werden, Erlebnisse im Zusammenhang mit der SBB über zwei Wochen hinweg mit einer App zu protokollieren. Dazu wurde intern bei der SBB eigens eine Smartphone App im Rahmen eines Hackathons entwickelt, um Fotos und Kommentare von Touchpoints mitteilen zu können. Die SBB wünschte eine repräsentative Verteilung über Alter, Geschlecht, Reiseverhalten und Region (Deutschschweiz vs. Westschweiz). Es wurde ein Startdatum festgelegt, auf welches die rekrutierten Teilnehmer elektronisch über die Durchführung sowie Verwendung der App eingeführt wurden. Dann waren die Teilnehmenden auf sich gestellt und übermittelten mittels der App interessante Reiseerlebnissen mit der SBB. Nach erfolgreicher Teilnahme wurden die Daten ausgewertet und die Teilnehmenden von TestingTime entschädigt.

Welches Ziel wurde mit der Studie verfolgt?

Das Ziel war es der Geschäftsleitung der SBB reale Eindrücke aus dem Alltag der Bahnreisenden näher zu bringen und Probleme aufzuzeigen. Man wollte Touchpoints erfassen, die besonders relevant für die Kunden sind und einen grossen Einfluss auf das Kundenerlebnis haben. Dank der Übermittlung von Fotos konnten Erlebnisse von Teilnehmenden zeitnah und unverfälscht kommuniziert werden. Bilder und Kommentare von Kunden aus dem realen Alltag sind Fakten, welchen kaum widersprochen werden kann. Mit der Touchpoint Study konnte die SBB enorm schnell und flächendeckend über die gesamte Schweiz wichtige Eindrücke aus der realen Kundenwelt der SBB sammeln. Die gesammelten Erlebnisse wurden konsolidiert verschiedenen Gremien und Abteilungen vorgestellt, um entsprechend Massnahmen einzuleiten.

Es ist beeindruckend zu sehen, welche Wirkung reale Bilder von Reisenden auf das Management haben.

Die Planungsphase

TestingTime wurde vom UX Team der SBB ca. 1 Monat vor dem Start kontaktiert. Das genaue Vorgehen wurde in einem Skype Call diskutiert sowie Erfahrungen aus der Zalando-Studie ausgetauscht. Wir wurden beauftragt, 100 Teilnehmende per Studiendesign zu rekrutieren. Um die Rekrutierung in Auftrag zu geben, konnte die Tagebuchstudien-Option auf TestingTime verwendet werden.

Das zentrale Element der Studie war die App. Es gibt existierende Apps wie dscout, jedoch wurde bei der SBB entschieden, mit dem Entwicklungs-Team der SBB eine eigene leichtgewichtige Feedback-App zu entwickeln. Die Gründe waren Kontrolle über die App Experience sowie Wiederverwendbarkeit in späteren Studien.

Um die Rekrutierung durchführen zu können, muss ein genaues Datum für den Start festgelegt werden. Bei der SBB wurde intensiv an der Entwicklung der App gearbeitet sowie das Briefing für die Testpersonen in Deutsch und Französisch aufbereitet. Der Startpunkt wurde festgelegt, nach dem die App Entwicklung abgeschlossen wurde. Nach Bekanntgabe des Startdatums, konnten die 100 Teilnehmenden innert 7 Tagen rekrutiert werden. Mit unmoderierten Langzeitstudien läuft man aber Gefahr, dass Testpersonen verfrüht abbrechen und die Studie nicht zu Ende führen. Um dem entgegenzuwirken, wurden 10% mehr Teilnehmende rekrutiert als tatsächlich benötigt wurden.

Durchführung

Das Projektteam der SBB erhielt die rekrutierte Liste der Teilnehmenden via einem Lineup-Link. Hier ein Beispiel. Von dort können alle E-Mail-Adressen der Teilnehmenden exportiert werden, um das Briefing zu teilen. Das detaillierte Briefing wurde dann am vereinbarten Startdatum per E-Mail als PDF-Dokument direkt vom UX-Team der SBB an die Teilnehmenden zugestellt. Im Briefing wurde erklärt, wie die App installiert werden muss und was die Aufgabe über die nächsten zwei Wochen beinhaltet.

Die neu entwickelte App zeigte bei einigen Teilnehmenden ein Problem mit der Installation, welche aber mit dem vorhandenen Support der SBB behoben werden konnten. Innert wenigen Stunden waren die Teilnehmenden instruiert und begannen Touchpoint-Erlebnisse zu übermitteln.

Für einige Teilnehmer war die Installation der App und die Erstellung eines Logins eine zu grosse Hürde, diese schieden aus der Studie aus. Bemerkenswert war aber, dass viele Teilnehmende sehr aktiv waren und viele Beiträge und Fotos teilten. Dank der aktiven Teilnahme mussten auch keine Erinnerungen an die Teilnehmenden geschickt werden. Nach 2 Wochen waren mehrere Hundert Beiträge gesammelt.

Analyse

Alle gesammelten Feedbacks wurden zur Analyse aufbereitet. Danach ging es an die Auswertung. Die Daten wurden qualitativ und quantitativ ausgewertet. Bei der qualitativen Analyse wurde jedes einzelne Feedback in einer Team-Session gelesen, ausgewertet und codiert. Bei der Codierung wurden die Touchpoints mit Zahlen codiert. Dies ermöglichte eine quantitative Auswertung, d.h. die Touchpoints konnten geclustert werden, was die Berechnungen möglich machte.

Resultate

Die Resultate der Analyse gaben Einblick darüber, welche Berührungspunkte für die Kunden von grosser Relevanz sind und wo Painpoints sowie Begeisterungsfaktoren sind. Diese wurden nun diversen Gremien der SBB präsentiert und diskutiert. Die SBB plant eine weitere Erhebungswelle und möchte in einem nächsten Schritt nun Optimierungsvorschläge aus der Studie ableiten.

Hat dir der Artikel gefallen? Sende uns ein 👏 👏 👏

Originally published at www.testingtime.com on August 15, 2017.

SBB Case Study — Touchpoint Studien was originally published in TestingTime UX Blog on Medium, where people are continuing the conversation by highlighting and responding to this story.

In meiner Tätigkeit als Interaction Designer, habe ich über die letzten Jahre hunderte von moderierten Benutzertests für kleine und grosse Firmen durchgeführt. Neben den bekannten Grundregeln, habe ich dabei wertvolle Erkenntnisse erlangt, was einen guten User Test ausmacht. Für diesen Artikel habe ich meine Erfahrungen in fünf goldene Regeln für erfolgreiches User Testing zusammengefasst.

Wenn du die folgenden Regeln beachtest, wird die Relevanz und Glaubwürdigkeit deines Benutzertests gegenüber allen Stakeholdern noch weiter erhöht.

Die fünf Regeln in der Übersicht:

1. Die Durchführung eines User Tests ist Teil der User Experience.
2. Management willkommen! Aber nur bei durchgängiger Teilnahme.
3. Ein Benutzertest ist keine Show-Veranstaltung.
4. Spare nicht bei den Testpersonen.
5. Ein Benutzertest ist kein Projekt. Es ist vielmehr Prozess und Kultur.

1. Die Durchführung eines User Tests ist Teil der User Experience

Testpersonen, die bestehende oder potentielle Kunden darstellen, kommen zu dir ins Büro, um an einem Benutzertest teilzunehmen. User Researcher fokussieren sich oft zu stark auf den Test und vergessen regelmässig, wie wichtig das drumherum ist. Z.B. Kann die Person den Eingang einfach finden? Wird die Person herzlich empfangen? Möchte die Person etwas trinken? All diese Dinge sind wichtig. Die Testperson bewegt sich in völlig unbekanntem Territorium, und es ist deine Aufgabe, dass sie sich wohl fühlt. Der Eindruck, der bei der Testperson bleibt ist meistens eher wie du sie behandelt hast und nicht wie der Prototyp war, den sie gesehen hat. Sei dir dieser Position als Gesicht deiner Firma bewusst. Daher empfehle ich ein paar Getränke und Snacks bereit zu stellen und die Türeingänge gut anzuschreiben (schnapp dir einen gratis Türhänger).

2. Management willkommen! Aber nur bei durchgängiger Teilnahme.

Damit Entscheidungen nicht auf schönen Hypothesen basieren, ist es wichtig, dass Entscheidungsträger hautnah miterleben, wie Testpersonen auf einen Prototypen reagieren. Ist eine Person vom Management dabei, ist es auch immer ein gutes Zeichen, dass ein hoher UX Reifegrad in der Firma herrscht. Oft erlebe ich aber, dass sich das Management nur Zeit für einen einzelnen Test nimmt. Das grosse Problem dabei ist, dass in dieser einzelnen Session Dinge passieren können, die über alle Tests hinweg völlig irrelevant sind, aber im Kontext dieses einzelnen Tests als gravierend erscheinen. Damit rennt ein Entscheidungsträger mit einem einzelnen Eindruck zu anderen Stakeholdern und verfechtet Dinge mit der Begründung: “ich habs ja selber gesehen”. Genau das ist enorm gefährlich und lenkt User Research in komplett falsche Bahnen. Können sich Entscheidungsträger nicht für mindestens 3 Sessions verpflichten, macht es viel mehr Sinn ein “Highlight Video” mit den Personen zu teilen. Ist es dir trotzdem wichtig, dass ein Entscheidungsträger dabei ist, hilft oft auch, dass die Person aktiv in die Durchführung des Tests mit einbezogen wird. Z.B. kann diese Person die Rolle des Beobachters übernehmen und aktiv Notizen schreiben.

3. Ein Benutzertest ist keine Show-Veranstaltung

Dieses Thema liegt nahe am vorgängigen Thema. Oft wird das Top Management vom Research Team zu einer Session eingeladen, wo demonstriert wird, wie wichtig die Research-Arbeit ist. Man versucht damit die Entscheidungsträger zu überzeugen, dass User Testing eine gute Sache ist und dies auch zukünftig gemacht werden muss. Nur leider wird diese Session oft zur Show-Veranstaltung. Es wird dazu gerne eine ideale Testperson ausgewählt und geschult, um möglichst den Erwartungen des Top Managements zu gefallen. Dies ist völlig kontraproduktiv und hilft weder dem aktuellen Testobjekt noch der ganzen Organisation. Zudem erhalten die Besucher nur einen einzelnen und isolierten Eindruck, was wiederum zu potentiellen Fehlentscheidungen führen kann. Auch hier gilt, die Besucher müssen sich für mindestens drei Sessions verpflichten oder es ist für alle Involvierten besser, dass ein “Highlight Video” im Anschluss produziert und geteilt wird.

4. Spare nicht bei den Testpersonen

Alle zelebrieren den User Centred Design Prozess. Im Kern steht die Testperson, die regelmäßig mit eingebunden wird. Umso mehr erstaunt es mich, wie oft die Kosten für die Rekrutierung sowie der Incentivierung thematisiert werden.

In einem durchschnittlichen Benutzertest fallen die Kosten für die Testpersonen als völlig irrelevant auf, verglichen mit den Personalkosten aller Beteiligten. Schlussendlich steht und fällt ein Benutzertest mit guten Testpersonen. Benutzt man Bekannte und Freunde als Testpersonen, spart man leider am falschen Ort. Es verfälscht die Resultate und endet in einer Zeitverschwendung. Gibt es trotz aller Begründungen klare Budget Limiten für die Rekrutierung, empfehle ich auf Guerilla Methoden auszuweichen.

5. Ein Benutzertest ist kein Projekt. Es ist vielmehr Prozess und Kultur.

Viele Projektverantwortliche glauben, dass ein Benutzertest etwas einmaliges ist und als Projekt behandelt werden muss. Oft glauben Projektverantwortliche auch, dass eine Web App zuerst fertig programmiert werden muss, bevor ein Nutzertest durchgeführt werden kann. Einmal testen, ist wie gar nicht testen. Die grösste Herausforderung ist schlussendlich nicht wie man einen Benutzertest durchführt, sondern wie man das Team dazu bringt, dies regelmäßig zu machen. Eine starke UX Kultur herrscht dann, wenn Leute aus anderen Abteilungen bei einem Benutzertest mit dabei sein möchten oder Ideen einbringen, was sie auch gerne testen möchten.

Das Fazit

Ich hoffe dich mit diesen 5 Regeln auf neue User Testing Themen zu sensibilisieren und deren Wichtigkeit aufzuzeigen. Einer der grössten Kritiken von qualitativem User Research ist heute immer noch, dass der Erfolg oder Misserfolg gegenüber quantitativem Research nicht nachhaltig gemessen werden kann. Umso wichtiger ist es, dass du methodisch korrekt vorgehst und dich nach soliden Regeln und “Best Practices” richtest.

Wendest du diese Regeln in deinem Alltag an, steigt deine Glaubwürdigkeit deiner methodischen Fähigkeiten was wiederum einen enormen Effekt auf die Glaubwürdigkeit deiner Resultate mit sich bringen wird.

Interessiert mehr zu diesem Thema zu lernen?

Hast du Interesse mehr zu den wichtigen Regeln in diesem Bereich zu erfahren, dann empfehle ich unsere Anleitung für moderiertes User Testing herunterzuladen.

— —

Wenn dir dieser Artikel geholfen hat, bitte drücke das 💚, damit auch andere Leute aus der Community davon profitieren können. Lass uns zudem in den Kommentaren wissen, falls du noch weitere Regeln und Richtlinien fürs User Testing kennst und hilfreich findest. Sharing is caring!

5 goldene Regeln für erfolgreiches User Testing, von denen niemand spricht was originally published in TestingTime UX Blog on Medium, where people are continuing the conversation by highlighting and responding to this story.

Diese Woche haben wir mit der Tagebuchstudie eine neue Research Methode auf unserer Testpersonen-Rekrutierungs-Plattform aufgeschalten. Zalando hat das Feature bereits ausgiebig getestet und wir berichten in diesem Blogbeitrag über deren Erfahrungen.

Was ist eine Tagebuchstudie?

Die Tagebuchstudie ist ein Begriff aus der Marktforschung und beschreibt die realitätsnahe, tagebuchartige Erfassung von Nutzungsgewohnheiten und Verhaltensweisen durch (potentielle) Kunden. Die Erfassung der Daten erfolgt über einen vorbestimmten Zeitraum, in welchem die Studienteilnehmer in regelmässigen Abständen über eine App oder in schriftlicher Form aufzeichnen, wie, wann und wo sie das zu testende Produkt benutzen.

Um den Ablauf einer Tagebuchstudie zu illustrieren, haben wir zusammen mit Zalando’s UX Researcher Carina Kuhr eine Case Study zusammengestellt. Das reale Szenario bietet dir einen Einblick wie Europas grösster E-Commerce Anbieter Tagebuchstudien vorbereitet, durchführt und auswertet.

Wie Zalando Tagebuchstudien durchführt

Vor ein paar Monaten hat Zalando bei uns Testpersonen bestellt, um über zwei Wochen eine Tagebuchstudie durchzuführen. Der Zweck der Studie war, das Kaufverhalten und die Entscheidungsprozesse beim Kauf von Geschenken möglichst realitätsnah zu beobachten und zu verstehen.

Planungsphase — Die Checkliste

Carina Kuhr, UX Researcher bei Zalando, empfiehlt eine 3–4 wöchige Planungsphase bevor eine Studie durchgeführt wird. Dabei fallen folgende Aufgaben an:

• Interne Abstimmung mit Stakeholdern — Was ist das Ziel der Studie? Welche Dinge sollen in Erfahrung gebracht werden?
• Festlegen des Budgets — dies definiert die Dauer und Anzahl der Teilnehmenden.
• Ausarbeiten des Research Plans und der Hypothesenbildung
• Definition der Teilnehmenden — ein Mix von Alter, Geschlecht, Wohnsitz, und studienspezifischen Kriterien.
• Ausarbeitung der Aufgaben für die Testpersonen — was müssen die Studienteilnehmer festhalten und in welchen Intervallen.
• Vorbereitung aller Materialien zum Auswerten, sowie Festlegung der Arbeitsaufteilung während der Studie — dies beinhaltet u.a. das Tracking der Teilnahme, die Festlegung der Ansprechpartner für die Teilnehmer auf verschiedenen Kanälen, die simultane Analyse und das Motivieren der Teilnehmer

Rekrutierung der Testpersonen

Zwei Wochen vor Studienbeginn beauftragte uns Carina, 12 Testpersonen für die Tagebuchstudie zu rekrutieren. Dabei wurde ein Alters- und Geschlechtermix sowie andere relevante Kriterien von existierenden und potentiellen Kunden gewünscht. Die Rekrutierung wurde über unser Bestellformular in Auftrag gegeben.

Nebst der Zielgruppendefinition muss für eine Tagebuchstudie auch der Durchführungszeitraum, der ungefähre Aufwand für die Teilnehmenden sowie eine Kurzbeschreibung der Aufgabe definiert werden.

Eine Tagebuchstudie startet typischerweise mit einem E-mail Briefing und endet mit einem Online-Fragebogen.

Die Liste der rekrutierten Teilnehmer haben wir Zalando über unser übersichtliches Online-Lineup (Beispiel) zur Verfügung gestellt. Zalando konnte schon während der Rekrutierung live mitverfolgen, welche Testpersonen ausgewählt wurden.

Nach Abschluss der Rekrutierung haben wir das Zepter wieder an Zalando übergeben, damit die Durchführung der Tagebuchstudie gestartet werden kann. Wir kamen dann erst wieder am Schluss ins Spiel, um die Teilnehmenden zu bezahlen.

Das Setup der Tagebuchstudie

Zalando benutzt intern das Tool dscout. Diese Software wird von Probanden via App zur elektronischen Aufzeichnung von Tagebucheinträgen benutzt. Zalando nutzt deren übersichtliches Webinterface zum Verwalten und Auswerten der Einträge.

Während der Studie

Am ersten Tag der Studie wurden sämtliche Probanden persönlich per Telefon instruiert und nochmals im Detail durch die Anforderungen und die täglichen Aufgaben geführt.

Die Testpersonen erhielten dabei zwei Missionen:

• Suche online nach Geschenken und verfasse insgesamt mindestens 10 vollständige Tagebucheinträge.
• Suche offline nach Geschenken und verfasse insgesamt mindestens 10 vollständige Tagebucheinträge.

Während der Studie benutzten die Testpersonen das heruntergeladene App, um die Gedanken festzuhalten. Sämtliche Einträge aller Testpersonen (Text, Video, und Bilder) werden bei Zalando auf einer Weboberfläche aggregiert.

“Diese Phase gestaltete sich ziemlich arbeitsintensiv”, erzählt uns Carina. “Die Teilnehmer hatten trotz sauberem Briefing weitere aufgabenspezifische Fragen oder hatten technische Probleme die gelöst werden mussten. Unser Team entschied sich zudem fortwährend ankommende Tagebucheinträge zu analysieren und zu kategorisieren. Bei hunderten von Einträgen, hatte sich diese Strategie im Nachhinein sehr bewährt.”

Auswertung und Analyse

“Wir kategorisierten unsere Daten in mehreren Durchläufen. Zwei Researcher lasen jeden Eintrag vorab einmal durch und markierten die Texte mit Tags wie ‘Problem’, ‘Feature Request’ oder ‘Decision Criteria’. In einer zweiten Runde wurden die weniger interessanten Insights herausgefiltert und so blieben am Ende nur noch die wirklich interessanten Einträge. In den nachfolgenden Iterationen wurden die Insights immer weiter kondensiert, bis wir auf weiterverwendbare und wiederkehrende Muster gestossen sind”, erinnert sich Carina.

Resultate der Geschenk-Studie

Das Zalando-Team war mit sehr erkenntnisreichen Ergebnissen aus der Studie hervorgekommen.

“Wir haben herausgefunden, wie der Entscheidungsprozess beim Geschenke-Einkauf abläuft, dass er aus mehreren Schritten besteht und nicht so geradlinig abläuft wie man sich das vorstellt. Auch haben wir festgestellt, dass man für die verschiedenen Geschenk-Typen, Anlässe und Schritte im Entscheidungsprozess das Angebot personalisieren muss. Schlussendlich haben wir eine spezielle Kampagne basierend auf unseren Insights geschaltet, die die Bedürfnisse unserer Kunden beim Geschenke kaufen optimal erfüllt hat.”

Weitere Insights direkt vom UX & Technology Team von Zalando, findest du auf Twitter @ZalandoTech oder auf deren offiziellen Tech Blog.

Vielen Dank an Carina Kuhr, für die wertvollen Insights zu dieser Case Study.

Hast du noch Fragen bezüglich Tagebuchstudien?

Bist du inspiriert worden deine eigene Tagebuchstudie durchzuführen? Falls du noch Fragen hast, nutze die Kommentarfunktion oder schreibe uns eine Email an contact@testingtime.com.

Tagebuchstudien — Case Study mit Zalando was originally published in TestingTime UX Blog on Medium, where people are continuing the conversation by highlighting and responding to this story.

Für das 2017 haben wir uns kein kleineres Ziel gesetzt, als eine messbare 5 Sterne-Qualität zu erreichen. Qualität in der Rekrutierungswelt bedeutet eine Auswahl von perfekt passenden Testpersonen, die ohne Ausfälle an Studien teilnehmen. Messbar haben wir das Ganze mit unserer neuen Rating-Funktion gemacht. Dabei werden sowohl einzelne Testpersonen als auch der gesamte Service bewertet. Dieses Feedback bedeutet uns viel, da wir Probleme so aufdecken und rasch verbessern können.

Höchste Qualität, dank neuer Rating-Funktion was originally published in TestingTime UX Blog on Medium, where people are continuing the conversation by highlighting and responding to this story.

Auch dieses Jahr hat die Schweiz ihren World Usability Day an der HSR in Rapperswil gefeiert. Umgeben vom Zürichsee und wunderschöner Natur, galt das Thema diesmal der Nachhaltigkeit, genau genommen den Begriffen Sustainable UX und Green UX. Es ging also darum, wie die User Experience dazu beitragen kann, die Umwelt zu schonen und ein nachhaltigeres Leben zu führen. Fünf spannende Vorträge und ein interaktiver Lean World Cafe standen im Programm und haben mögliche Lösungsansätze aufgezeigt und diskutiert.

Mobilität

Laut Dr. Ing. Thomas Sauter-Servaes von der ZHAW neigt sich die Mobilität, so wie wir sie heute kennen, allmählich dem Ende zu. So können wir beim Auto eher von einem Stehzeug als vom Fahrzeug sprechen, da diese im Durchschnitt eine Nutzzeit von etwa 26% haben und mehr stehen als fahren. Die meisten Autofahrer sitzen zudem alleine im Fahrzeug, was nicht nur vermehrt zu Staus führt sondern auch dazu, dass 95% der Fläche in den Innenstädten von parkenden Autos beansprucht wird.

Die Probleme sind nicht neu und die Lösungsfindung hat bereits begonnen. Insbesondere die Digitalisierung, Elektrifizierung und Robotisierung tragen dazu bei, dass Veränderungen der Mobilität in rasantem Tempo auf uns zukommen. Genau hier bestehen die Chancen den Wandel aktiv mitzugestalten und das Ganze an den Bedürfnissen aller Verkehrsteilnehmer zu orientieren. Fahrzeuge die weniger CO2 verursachen sind ein Ansatz, Elektroautos eine Optimierung davon. In naher Zukunft können wir zudem mit selbstfahrenden Autos rechnen, die miteinander kommunizieren und möglichst effizient fahren. Aber löst das unsere Probleme?

Einen spannenden Ansatz bringt das Sharing, also das Teilen von Alltagsgegenständen, um diese effizienter zu nutzen. Ein Vorreiter im Zusammenhang von Mobility ist Blablacar. Hier kann ein Fahrzeugbesitzer seine geplante Route online veröffentlichen und eine Mitfahrgelegenheit anbieten, um so nicht nur die Kosten zu teilen, sondern dabei auch die Umwelt zu schonen. Die grösste Hürde scheint hier die soziale Akzeptanz zu sein, die Komfortzone zu verlassen und mit ‘Fremden’ mit zu fahren bzw. diese im eigenen Fahrzeug mitzunehmen. Eine positive User Experience kann dem entgegenwirken. Wir stehen hier allerdings noch am Anfang des Potentials. Die Zukunft wird uns nicht zurück auf das Pferd bringen, sondern eher in die Kutsche der Zukunft, die man auf effiziente Art und Weise mit weiteren Personen teilen kann.

Energie

Viel zu tun gibt es auch bei der Energiegewinnung und -nutzung. Der Verbrauch steigt täglich an, eine wirklich nachhaltige Lösung mit erneuerbaren Energien wurde bisher noch nicht gefunden. Auch ist das Thema im Laufe der Zeit immer komplexer geworden und der Durchschnittsbürger kennt sich hier kaum noch aus.

Andrea Zulauf präsentiert mit dem Projekt RENGOO einen Lösungsansatz. Das Angebot verschiedener Energielieferanten soll transparent dargestellt werden, sodass Licht ins Dunkel gebracht wird wie der Endbenutzer zur Energie kommen und wie die produzierte Energie mit anderen geteilt werden kann. Auch hier ist die User Experience gefragt. Gute Erfahrungen der Endnutzer könnten der entscheidende Faktor sein im Rennen um die Energie der Zukunft.

Einen ähnlichen Weg geht auch Lutz Gegner von BEN Energy. Für ihn stehen in Zukunft Transparenz und Einfachheit im Vordergrund. In der Praxis ist es heute nämlich noch so, dass der Energieverbrauch sehr abstrakt und unübersichtlich dargestellt wird. In der Vergangenheit war beispielsweise der Stromzähler einfach zugänglich und man konnte verfolgen wie sich der Zählerstand schneller dreht, wenn z.B. der Staubsauger läuft. “Zurück in die Energiezukunft” lautet daher das Motto und es soll wieder mehr Sensibilität geschaffen werden für den persönlichen und bewussten Umgang mit Energie. Mittel- bis langfristig gilt es das Thema auf spielerische, transparente, zugängliche Art und Weise wieder ins Bewusstsein zu rücken. Mögliche Ansätze hierfür: den Endnutzer durch personalisiertes Feedback oder messbaren Vergleichen wieder mehr einbeziehen. Denn nur derjenige wird aktiv etwas verändern wollen, dem die Thematik auch bewusst ist.

Ernährung

Es geht um klimafreundliches Essen. Das zuzubereiten ist einfacher als es sich anhört, so Manuel Klarmann, Co-Gründer von Eaternity. Deren Ziel ist es Restaurants und Konsumenten faktenbasiert aufzuzeigen, wie man sein Essen klimafreundlich gestalten kann. Schliesslich werden knapp ein Drittel der weltweiten Treibhausgase verursacht von unser aller Essverhalten. Eaternity verbreitet allerdings Hoffnung, weil die Möglichkeit besteht diese Emissionen um ca. die Hälfte zu reduzieren. Wenn also drei Mal pro Woche klimafreundlich gegessen wird, kann jährlich 1 Tonne CO2 pro Person eingespart werden. Dabei geht es nicht um den kompletten Verzicht, sondern darum einen bewussteren Umgang im Alltag zu etablieren. Die Eaternity App macht die Auswirkungen Allgemein messbar und somit vergleichbar, sodass veranschaulicht wird welchen Einfluss die individuelle Ernährung auf die Umwelt hat.

Nudging

Andreas Wolkenstein von der Universität Tübingen kommt mit der These, “gutes tun und sich wohlfühlen dabei — die Welt durch Green UX zu einem besseren Ort machen”. Hört sich vielversprechend und sinnvoll an, aber warum leben wir das nicht bereits? Oder tun wir schon?

Heute sind es insbesondere gesetzliche Regularien oder Verbote die die Welt zu einem besseren Ort machen sollen. Der grosse Erfolg hinsichtlich mehr Nachhaltigkeit lässt bisher noch auf sich warten. Es wäre allerdings fahrlässig zu behaupten, die gesetzliche Grundlage bringe uns nicht weiter. Eher noch sind es kleine Schubser (nudging), also Aufforderungen, Erinnerungen, das darauf Hinweisen, die uns in die nachhaltige Richtung bewegen können. Es ist sehr wichtig die Themen Umwelt und Nachhaltigkeit in den Alltag einzubauen, ein Bewusstsein hierfür zu entwickeln und die Gewohnheiten anzupassen. Kleine Schubser und eine positive Experience können dabei behilflich sein, alte Muster zu ändern und Schritt für Schritt das umweltbewusste Handeln in die Gewohn- und Gepflogenheiten zu integrieren.

Lean World Cafe: Diskussionsgruppen zu den WUD Themen

Von der Workshop-Methode des World Cafes dürfte man bereits gehört haben, das Prinzip dahinter ist einfach. Man sitzt oder steht sich in Gruppen gegenüber, diskutiert ein Thema und zeigt seine Perspektive auf. Auf beschreibbaren Tischdecken kann das diskutierte veranschaulicht und festgehalten werden. Beim WUD haben wir das angepasst und ein Lean World Cafe daraus gemacht — gleiches Prinzip, nur schlanker, also ohne Papier, Stift und Kaffee. Spannende Gespräche, verschiedene Einblicke und konkrete Vorschläge zu Themengebiet Green UX waren das Ergebnis.

UX ist die Lösung

Das Thema Green UX wirft zunächst möglicherweise Fragezeichen auf. Bei genauerem Hinsehen wird allerdings klar, dass nicht nur Produkte und Prozesse durch User Experience optimiert werden können, sondern auch individuelle Verhaltensweisen. Nachhaltigkeit und UX Design sind innig miteinander verflochten. Ein stärkerer Fokus auf Nachhaltigkeit und die damit verbundene positive Experience mit Umweltthemen können uns dabei helfen, nicht nur sichtbares zu verbessern wie bei der Mobilität, sondern auch schlecht sichtbares leichter zugänglich zu machen, wie wir es bei den beiden Energie-Vorträgen gehört haben.

Aber auch bei unseren Essgewohnheiten kann mit mehr Bewusstsein und Transparenz einiges erreicht werden. Die User Experience trägt ihren Anteil dazu bei, indem die veränderten Erfahrungen gerne und mit gutem Gefühl aufgenommen werden, anstatt Veränderungen von vornherein abzulehnen.

Danke

Herzlichen Dank dem Verein UX Schweiz für das Organisieren eines weiteren gelungenen World Usability Day. Ein weiteres Dankeschön geht an die HSR für die wunderschöne Location und das Catering. Dem Roland Siegenthaler von echt praktisch für seine visuelle und amüsante Zusammenfassung des ganzen Events. Last but not least: Boris Baldinger für die wunderschönen Impressionen vom Event. Die ganze Fotoserie kann hier angeschaut werden: http://uxschweiz.ch/events/world-usability-day-2016/impressionen/

Author: Ahmet Sakali, Business Consultant bei TestingTime

Rückblick World Usability Day 2016 was originally published in TestingTime UX Blog on Medium, where people are continuing the conversation by highlighting and responding to this story.

Einen ausgiebigen Artikel zum ganzen Event hat Mannheim-Design veröffentlicht.

UX-Day in Mannheim

UX-Day Mannheim 2016 was originally published in TestingTime UX Blog on Medium, where people are continuing the conversation by highlighting and responding to this story.

Nutzertests werden typischerweise vor Ort (in-house) beim Kunden durchgeführt. Im Normalfall nehmen 5 Testpersonen, verteilt über einen Tag, an moderierten Tests teil. UX Researcher nutzen immer häufiger Remote Methoden, um schneller und günstiger an reales Benutzerfeedback zu gelangen.

Seit einigen Jahren gibt es Tools, die unmoderierte Remote User Tests ermöglichen. Unmoderiert bedeutet, dass eine Testperson von Zuhause, ohne Begleitung eines Moderators, an einem Test teilnimmt und sich dabei filmen lässt. Das Video wird dem UX Researcher zur Analyse innert Stunden zugestellt. Die wohl bekannteste Plattform dafür ist www.usertesting.com aus den USA.

Im deutschsprachigen Europa sind folgende zwei unmoderierte Plattformen bekannt. Beide Plattformen arbeiten auch regelmässig mit uns TestingTime zusammen.

• Usability-Tests zur Optimierung von Websites - Ergebnisse in 24h
• UserZoom | Remote Usability Testing & UX Research Platform

Vor- und Nachteile von moderierten vs. unmoderierten Remote User Tests

Um Äpfel und Äpfel zu vergleichen, fokussiert folgender Vergleich nur auf Remote User Tests.

Vorteile Remote Moderiert:

• Bevorzugtes Tool verwenden können: Skype, Hangout, GoToMeeting etc.
• Ideal für das Testen von Prototypen in jeglichem Reifegrad (LoFi -HiFi).
• Kombination von Nutzertest und offenem Interview. Speziell das Nachhacken bei unerwarteten Ereignissen ist von Vorteil.
• Testen von unveröffentlichten Apps und Webseiten.
• Ideal für die RITE Methode

Nachteile Remote Moderiert:

• Zeitlicher Aufwand. Ein Moderator und optional ein Beobachter ist notwendig für die Durchführung.
• Schwierige Zielgruppen sind während den üblichen Arbeitszeiten von UX Researchern schlecht verfügbar. Feierabend-Termine sind oft unumgänglich.
• Suboptimal für das Testen von Touch Interfaces.

Vorteile Remote Unmoderiert:

• Testen im natürlichen Umfeld ohne Einfluss eines Moderators.
• Kein Moderator zeitgleich notwendig. Resultate kommen innert Stunden per Video zurück.
• Videoanalyse kann nachträglich effizient gemacht werden.

Nachteile Remote Unmoderiert:

• Testobjekt muss ausgereift sein. Idealerweise eine betriebsfähige Webseite oder App.
• Präzises Schreiben von Instruktionen / Tasks ist notwendig, ansonsten verliert sich die Tesperson im Alleingang.
• Kein Nachhacken während dem Test möglich. D.h. bei interessanten Ereignissen kann nicht unmittelbar auf den Grund gegangen werden.
• Bei technische Problemen mit der Testinfrastruktur kann kein Support gegeben werden, da die Testperson auf sich alleine gestellt ist. Oft blockiert es die Durchführung des kompletten Tests.

TestingTime unterstützt seit wenigen Wochen beide Formate. Das Bestellen von Testpersonen für unmoderierte remote Benutzertests wurde dazu kürzlich auf dem Bestellformular eingeführt.

Wir haben speziell darauf geachtet, dass Testpersonen für unmoderierte Tests unabhängig von einem Testanbieter bestellt werden können. Man braucht lediglich einen öffentlichen Link zum Testobjekt und wir lenken, ähnlich wie bei Online-Umfragen, die passenden Teilnehmer auf ihren Test.

Welches Verfahren Sie schlussendlich verwenden, hängt stark von ihrem Testdesign und dem verfügbaren Budget ab. Bei den oben genannten Plattformen können Sie auch den ganzen Service (Planung, Durchführung und Analyse) vom Anbieter dazu kaufen.

Bei Fragen zur Wahl der passenden Testmethode, können Sie uns gerne jederzeit unter contact@testingtime.com kontaktieren.

Moderiert oder unmoderiert testen? was originally published in TestingTime UX Blog on Medium, where people are continuing the conversation by highlighting and responding to this story.

Historisch bedingt besitzen die meisten Usability- und UX-Agenturen einen hauseigenen Testpersonen-Pool. Typischerweise ist dieser ca. 1000 Personen stark und wird für eigene Usability-Projekte verwendet. So war auch soultank AG (www.soultank.ch), eine etablierte Usability-Agentur aus Zug, die vergangenen 15 Jahre aufgestellt. Teilnehmer wurden typischerweise aus dem eigenen Pool rekrutiert. Bei Engpässen wurde auf TestingTime’s Pool von über 30‘000 Personen zugegriffen.

“Dank nachhaltig guten Erfahrungen mit TestingTime, haben wir die Entscheidung gefasst, die Rekrutierung komplett an sie auszulagern. Mit einem Serviceangebot wie TestingTime gibt es für eine moderne Usability- und UX-Agentur keinen Grund mehr, das Rekrutierungsgeschäft selber zu betreiben. TestingTime hat sich auf das Thema spezialisiert und löst die Herausforderungen der Rekrutierung effizient und zuverlässig. Wir sind die Profis in der Durchführung von Usability Studien und natürlich in der Beratung im UCD-Umfeld. Da liegt unser Fokus.”

Vorteile einer Auslagerung:

• Fokus auf die Kernkompetenzen wie Planung, Durchführung und Analyse von Usability Studien.
• Einsparung von notwendigen Ressourcen für Poolaufbau, Pflege und Rekrutierung.
• Eine Poolgrösse von 1000 Personen schränkt ein. Die Rekrutierung aus einem Pool von über 30‘000 ermöglicht präzisere Profile.
• Spezialisten erledigen den Rekrutierungs-Job schneller, günstiger und zuverlässiger.
• Stressfreie Studien. Kurzfristige Absagen oder Änderungen von Testpersonen müssen nicht selbst gehandhabt werden.
• Attraktivere Konditionen durch Volumen-Pakete, wie z.B. das PrePay-Angebot.

Nachteile einer Auslagerung:

• Rekrutierung ist abhängig von TestingTime oder einem anderen Partner.
• Wegfall von Umsätzen aus einem Nebengeschäft.

Auslagerung in zwei Phasen umgesetzt

In der ersten Jahreshälfte hat die soultank AG exklusiv über TestingTime rekrutiert. Den internen Pool haben sie dabei nicht mehr verwendet. Somit konnte geprüft werden, ob sämtliche Rekrutierungsanforderungen über TestingTime erfüllt werden können.

Anfang Juli wurde die Machbarkeits-Studie erfolgreich abgeschlossen. Der hauseigene Pool wurde an TestingTime verkauft, sodass bestehende Testpersonen wieder die Möglichkeit erhalten, an spannenden Studien teilzunehmen. TestingTime profitiert durch den weiteren Ausbau seines reichhaltigen Pools, mit dem auch andere Kunden die Vorteile eines unlimitierten Zugangs zu Testpersonen genießen können.

Benutzen Sie Ihren eigenen Pool für die Rekrutierung? Möchten Sie mehr über die Vorteile einer Auslagerung erfahren?

Wir freuen uns auf Ihre Kontaktaufnahme unter contact@testingtime.com oder +41 44 585 12 30.

Rekrutierung auslagern. Fokus gewinnen. was originally published in TestingTime UX Blog on Medium, where people are continuing the conversation by highlighting and responding to this story.

Wir haben am grössten UX Camp in Berlin erneut teilgenommen. 2 Tage vollgepackt mit spannenden Sessions. Das Thema “chat bot” war klar das meistgehörte Buzz Word am diesjährigen UX Camp. Wir glauben an “chat bots” aber noch viel mehr an das Prinzip von “chat roulette”. Darauf aufbauend haben wir unsere zukünftige Vision für User Research in einer Session präsentiert.

Über Chat Bots und Chat Roulette was originally published in TestingTime UX Blog on Medium, where people are continuing the conversation by highlighting and responding to this story.