
Die meisten Checklisten für die Website-QA sind eine Liste von Dingen, die man sich ansehen sollte. Formulare werden abgeschickt, Links funktionieren, Bilder laden, auf dem Handy sieht es richtig aus. Das ist nicht falsch, und doch fangen sie fast nichts, denn der schwierige Teil der QA vor dem Launch lag nie darin, welche Punkte auf der Liste stehen.
Es sind zwei andere Dinge: wer hinschaut, und in welcher Konfiguration diese Person hinschaut.
Wer es gebaut hat, kann es nicht sehen
Bitten Sie die Person, die eine Seite gebaut hat, zu prüfen, ob sie funktioniert, und sie wird prüfen, dass sie funktioniert. Sie klickt auf das, was sie gebaut hat, in der Reihenfolge, in der sie es gebaut hat, mit den Daten, die sie beim Bauen verwendet hat, im Browser, der gerade offen war.
Das ist keine Kritik an ihr, sondern eine Beschreibung davon, wie man weiß, dass etwas funktioniert. Sie weiß, welcher Button als Nächstes kommt. Sie weiß, dass das Formular ein Datum in einem bestimmten Format verlangt. Sie weiß, ohne es zu bemerken, dass das Ding links ein Tab ist und keine Überschrift. Ein Erstbesucher weiß von alldem nichts, und der Checklistenpunkt “prüfen, dass der Anmeldeablauf funktioniert” wird ehrlich mit Ja beantwortet, von jemandem, der unmöglich erleben kann, wie er schiefgeht.
Die erste Spalte einer Checkliste, die ihren Platz verdient, ist deshalb nicht der Punkt. Es ist wer ihn durchführt, und bei allem, was ein Fremder berührt, sollte das jemand sein, der es nicht gebaut hat. Eine Kollegin oder ein Kollege aus einem anderen Team findet in fünfzehn Minuten eine andere Menge an Dingen, als die Autorin oder der Autor in zwei Stunden findet.
“Es funktioniert” ist eine Aussage über eine Konfiguration
Die zweite Spalte ist die, die Checklisten meist ganz weglassen.
Ihr QA-Durchlauf läuft auf einem Rechner: einem Browser, einer Fenstergröße, einem Betriebssystem, einem Satz Einstellungen, einem Netzwerk, einem Profil mit Ihren Erweiterungen darin. Die Seite, die Ihre Besucher bekommen, ist eine andere. Dieselbe Seite wird von einer anderen Engine dargestellt, bei einem anderen Zoom, mit erzwungenem Dunkelmodus, mit einer Erweiterung, die CSS einschleust, über eine Verbindung, die abbricht.
Deshalb ist “auf Chrome getestet” eine schwächere Aussage, als sie klingt, und warum die drei Engines wichtiger sind als die zwanzig Browsernamen. Eine Checkliste, die sagt “Layout prüfen”, stellt eine Frage ohne Antwort. Eine, die sagt “Layout bei 200 % Zoom prüfen, und in einem privaten Fenster ohne Erweiterungen”, stellt zwei Fragen, von denen jede eine Antwort hat.
- Schwach
- Prüfen, dass der Checkout auf dem Handy funktioniert.
- Besser
- Jemand, der die Seite noch nie gesehen hat, schließt auf einem echten Telefon in Safari einen Kauf ab, mit vergrößerter Systemschrift.
Daten verwenden, die aussehen wie im Betrieb
Die dritte Sache ist die, die am wenigsten kostet, sie zu beheben. Ein QA-Durchlauf mit Test User und test@example.com prüft eine Seite, die niemand benutzen wird. Im Betrieb gibt es Namen mit Apostrophen, Adressen, die über vier Zeilen gehen, Konten, die noch leer sind, und eine Liste mit elftausend Zeilen.
Legen Sie einmal vier oder fünf ungewöhnliche Datensätze in das System, gegen das Sie prüfen, und behalten Sie sie. Die meisten Layoutfehler, die Kundinnen und Kunden erreichen, stecken nicht im Layout. Sie stecken in einer Annahme darüber, wie lang eine Zeichenkette ist.
Die Checkliste
Drei Spalten, und die beiden rechts sind diejenigen, die die Arbeit tun. Halten Sie die Liste kurz genug, dass jemand sie tatsächlich durchführt.
# QA vor dem Launch: <was ausgeliefert wird>
Jede Zeile: was geprüft wird, wer es prüft und in welcher Konfiguration.
"Jemand anderes" bedeutet eine Person, die das nicht gebaut hat.
| Prüfpunkt | Wer | Konfiguration |
| --- | --- | --- |
| Das Hauptziel dieses Releases, von Anfang bis Ende | jemand anderes | ein echtes Telefon, Safari |
| Dasselbe, auf einer Desktop-Engine, die nicht Chromium ist | irgendjemand | Firefox oder Safari |
| Layout bei 200 % Browser-Zoom | irgendjemand | jeder Desktop-Browser |
| Die Seite ohne Erweiterungen und ohne gespeicherte Sitzung | irgendjemand | privates Fenster |
| Formulare, mit ungewöhnlichen Daten | jemand anderes | beliebig |
| Der leere Zustand, mit einem neuen Konto | jemand anderes | beliebig |
| Der lange Zustand, mit einer großen Liste | irgendjemand | beliebig |
| Nur Tastatur, ohne Maus, durch den Hauptablauf | jemand anderes | jeder Desktop-Browser |
| Dunkelmodus, falls die Betriebssystemeinstellung berücksichtigt wird | irgendjemand | Betriebssystem auf dunkel |
| Alles, was die Versionshinweise versprechen | jemand anderes | beliebig |
## Ungewöhnliche Daten, die Sie bereithalten sollten
- ein Name mit Apostroph und ein Name mit 80 Zeichen
- ein Konto ohne jeglichen Inhalt
- eine Liste, lang genug, um darin zu scrollen
- ein Wert in einem Währungs- oder Datumsformat, das nicht Ihr eigenes ist
## Diesmal nicht geprüft
Schriftlich festgehalten, in einer Zeile. Der Sinn ist, dass später niemand annimmt, es sei geprüft worden.
## Wenn etwas nicht stimmt
Beschreiben Sie, was Sie gerade getan haben, was Sie gesehen haben und in welcher der oben genannten Konfigurationen. Ein Screenshot ist besser als eine Beschreibung. Beheben Sie es nicht nebenbei.
Was die Checkliste nicht leisten kann
Es lohnt sich, ehrlich über die Grenze zu sein, denn eine Checkliste legt den Glauben nahe, dass man mit ihrem Abschluss eine korrekte Seite hat.
Alles oben Beschriebene ist immer noch ein Team, auf einer Handvoll Konfigurationen, an einem Tag, an dem sonst nichts schiefgeht. Die erste Woche echten Datenverkehrs wird eine Reihe von Fehlern hervorbringen, die kein Durchlauf vor dem Launch hätte finden können: der Browser, an den Sie nicht gedacht haben, die Erweiterung, die Sie nie installiert haben, das Netzwerk, das auf halbem Weg abbricht, der Zustand, den niemand reproduzieren kann, weil er davon abhängt, was die Person zwanzig Minuten zuvor getan hat.
Session Replay
Kostenlose Chrome-Erweiterung. Ein Klick auf der Seite, die sich falsch verhält, erfasst den Screenshot, die Konsole und das Netzwerkprotokoll und gibt Ihnen einen Link, den Sie ins Ticket einfügen können.
Was Sie zusammen mit der Checkliste ausliefern sollten, ist also ein Weg für diese Menschen, Ihnen Bescheid zu geben, und zwar mit genug Anhängen, dass Sie nicht bei “es hat nicht funktioniert” anfangen müssen. Das ist die Hälfte, die eine Checkliste strukturell nicht abdecken kann, weil sie sich mit den Konfigurationen befasst, von denen Sie nicht wussten, dass es sie gibt.
Was Sie streichen können
Bei einer kleinen Änderung können Sie das meiste davon streichen. Drei Zeilen und eine Umfangsangabe sind ein echter QA-Durchlauf und dauern zehn Minuten.
Was niemals gestrichen wird, sind die zweite und die dritte Spalte. Eine Checkliste mit nur der ersten ist eine Liste von Dingen, die jemand abhakt, während er auf die Version der Seite schaut, die für ihn bereits funktioniert, und das ist dasselbe, wie gar nicht zu prüfen. Die Testplan-Vorlage ist das Dokument eine Ebene darüber, und Smoke Testing ist die Fünf-Minuten-Variante für den Fall, dass es keine Zeit für all das gibt.