
Die meisten Testfallvorlagen sind eine Tabelle mit fünfzehn Spalten: eine ID, ein Modul, eine Priorität, die Vorbedingungen, die Schritte, das erwartete Ergebnis, dann ein Status, wer den Fall ausgeführt hat, wann, auf welchem Build, und eine Kommentarspalte, die sich mit „bestanden“ und „siehe Slack“ füllt.
Sehen Sie sich diese Spalten noch einmal an, und Sie erkennen, dass sie zwei verschiedene Dinge beschreiben. Die erste Hälfte beschreibt eine Prüfung. Die zweite Hälfte beschreibt, dass jemand sie einmal durchgeführt hat. Beides in dieselbe Zeile zu schreiben ist der Grund, warum Testfall-Tabellen verrotten, und genau das macht diese Vorlage anders.
Der Testfall und der Durchlauf sind zwei verschiedene Dokumente
Ein Testfall wird einmal geschrieben und nur dann geändert, wenn sich das geprüfte Verhalten ändert. Ein Durchlauf findet bei jedem Release statt. Das eine ist eine Definition, das andere ein Protokoll, und beide haben unterschiedliche Lebensdauern.
Geben Sie der Zeile eines Falls eine einzige Statusspalte, dann überschreibt jeder Durchlauf den vorherigen. Die Tabelle kennt nur das jüngste Ergebnis. „Beim letzten Release auf diesem Build bestanden“ ist weg, sobald jemand „fehlgeschlagen“ darüberschreibt, und mit ihr der Nachweis, der Ihnen sagen würde, ob der Fehler neu ist.
- Schwach
- Eine Zeile pro Fall, mit Spalten für Status, Getestet von und Datum, die bei jedem Durchlauf überschrieben werden.
- Besser
- Der Fall ist einmal geschrieben, darunter steht ein Durchlaufprotokoll, dem nur immer neue Zeilen hinzugefügt werden.
Die zweite Form beantwortet die Fragen, die Menschen tatsächlich stellen: Wann hat das zuletzt bestanden, auf welchem Build hat es angefangen zu scheitern, und wurde es überhaupt jemals unter Safari ausgeführt? Die erste Form kann keine davon beantworten, weil jede Antwort in dieselbe Zelle geschrieben wurde.
Die Vorlage
Vier Abschnitte. Die ersten drei definieren die Prüfung und ändern sich selten. Der vierte ist das Durchlaufprotokoll, und es wächst nur.
# Testfall: [was geprüft wird, in einem Satz]
**ID:** [TC-Nummer]
**Bereich:** [Funktion oder Bildschirm]
**Zuletzt geändert:** [Datum, und was am Verhalten geändert wurde]
## Vorbedingungen
Der Zustand, den das System erreicht haben muss, bevor Schritt 1 Sinn ergibt. Der Fall richtet
dies selbst ein; er setzt nie voraus, dass ein anderer Test zuvor gelaufen ist.
- [Konto, Rolle oder Daten, die vorhanden sein müssen]
- [Umgebung, Flag oder Browser, falls es darauf ankommt]
## Schritte
Eine Aktion pro Schritt.
1. [Aktion]
2. [Aktion]
3. [Aktion]
## Erwartetes Ergebnis
Konkret genug, um falsch sein zu können. Beschreiben Sie auch, was NICHT passieren darf.
- [was die Person, die den Test durchführt, sehen sollte]
- [was nicht passieren darf: keine Navigation, keine zweite E-Mail, keine Abbuchung]
## Durchlaufprotokoll
Eine Zeile pro Durchlauf. Bearbeiten Sie nie eine alte Zeile, sondern fügen Sie eine neue hinzu.
| Datum | Build | Wer | Browser und Umgebung | Ergebnis | Was tatsächlich zu sehen war | Nachweis |
| --- | --- | --- | --- | --- | --- | --- |
| [Datum] | [Version] | [Name] | [Browser, Betriebssystem, Umgebung] | bestanden / fehlgeschlagen / blockiert | [beobachtet, in Worten] | [Link] |
Blockiert ist nicht fehlgeschlagen
Das Ergebnisfeld hat drei Werte, und den dritten lassen die meisten Vorlagen weg.
Ein Fall ist blockiert, wenn er überhaupt nicht ausgeführt werden konnte: Das Testkonto fehlte, Staging war nicht erreichbar, das Feature-Flag war aus. Dabei wurde nichts über das Verhalten herausgefunden. Trägt man das als fehlgeschlagen ein, steigt die Fehlerzahl aus einem Grund, der mit der Software nichts zu tun hat, jemand eröffnet einen Fehler, den niemand reproduzieren kann, und die eigentliche Frage, warum die Vorbedingung nicht erfüllt war, wird nie gestellt.
Erfasst man ihn dagegen als bestanden, was häufiger passiert, als irgendjemand zugibt, dann zählt eine Prüfung, die nie gelaufen ist, als Abdeckung. Von diesen beiden Fehlern ist dieser schlimmer, weil niemand zurückgeht, um ihn zu korrigieren.
Die Spalte, die die Arbeit erledigt
Was tatsächlich zu sehen war ist die wertvollste Zelle im Durchlaufprotokoll, und in den meisten Tabellen gibt es sie gar nicht. Stattdessen gibt es eine Statusspalte, und „fehlgeschlagen“ in einer Statusspalte sagt der nächsten Person fast nichts.
Vergleichen Sie „fehlgeschlagen“ mit „Die Fehlermeldung erschien, aber die Seite wechselte außerdem zum Dashboard, und der Benutzer war angemeldet“. Das Zweite ist schon ein halber Fehlerbericht. Es sagt, was passiert ist, es sagt, wie das vom erwarteten Ergebnis abweicht, das drei Abschnitte weiter oben steht, und es wurde von der einen Person geschrieben, die es gesehen hat, in dem einen Moment, in dem sie es noch genau beschreiben konnte.
Schreiben Sie es auch bei bestandenen Durchläufen auf, in wenigen Worten. Ein bestandener Durchlauf, der festhält, was gesehen wurde, lässt sich später überprüfen. Ein bestandener Durchlauf, der nur „bestanden“ festhält, muss man glauben.
Was zu streichen ist
Das meiste von der Version mit fünfzehn Spalten, weil etwas anderes es bereits festhält.
Entworfen von und Erstellungsdatum stehen in der Versionshistorie des Ortes, an dem der Fall liegt. Priorität gehört zum getesteten Bereich und nicht zu jedem einzelnen Fall, und bei einem einzelnen Fall wird sie einmal gesetzt und nie wieder überprüft. Testdaten gehören in die Vorbedingungen, wo sie als Teil der Vorbereitung gelesen werden und nicht in einer Spalte daneben. Nachbedingungen sind meist das erwartete Ergebnis noch einmal, und wenn nicht, sind sie die Vorbedingungen des nächsten Falls.
Was Sie nicht streichen sollten, ist die Zeile Zuletzt geändert. Ein Fall, dessen erwartetes Ergebnis am Tag, an dem er zu fehlschlagen begann, still bearbeitet wurde, ist das irreführendste Dokument im Testen, und eine Zeile mit Datum und Grund macht genau das sichtbar.
Was in jeden Abschnitt gehört und wie Sie Schritte schreiben, die jemand anderes nachvollziehen kann, behandelt der Leitfaden zum Schreiben eines Testfalls ausführlich. Wenn sich die Fälle zu einem Release summieren, ist die Testplanvorlage die Seite, die festlegt, welche davon im Umfang liegen.
Wenn ein Durchlauf fehlschlägt
Ein fehlgeschlagener Durchlauf ist der Anfang eines Fehlerberichts, und eine gute Zeile im Protokoll hat den größten Teil der Arbeit bereits erledigt: Die Schritte sind geschrieben, das erwartete Ergebnis ist geschrieben, und daneben steht, was tatsächlich zu sehen war. Was die Zeile nicht festhalten kann, ist der Zustand des Rechners, auf dem es fehlschlug. Die Browserversion, die Konsole und die Anfragen hinter der Seite sind genau das, wonach die Person fragen wird, die den Fehler behebt, und bis sie fragt, ist der Tab längst geschlossen.
Session Replay
Kostenlose Chrome-Erweiterung. Ein Klick auf die Seite, die sich fehlerhaft verhält, erfasst den Screenshot, die Konsole und das Netzwerkprotokoll und gibt Ihnen einen Link zum Einfügen ins Ticket.
Dafür ist die Spalte Nachweis da. Tragen Sie den Link in die Zeile ein und nennen Sie die Fall-ID im Fehlerbericht, dann bleiben die beiden verbunden: Wer den Fehler behebt, kann dieselbe Prüfung wiederholen, und wer den Fall beim nächsten Release ausführt, sieht, dass er einmal fehlgeschlagen ist und warum.
Die Kurzfassung
Schreiben Sie den Fall einmal und protokollieren Sie jeden Durchlauf darunter, statt einen einzigen Status zu überschreiben. Geben Sie dem Ergebnis drei Werte, denn eine Prüfung, die nicht laufen konnte, ist weder bestanden noch fehlgeschlagen. Halten Sie fest, was tatsächlich zu sehen war, bei bestandenen Durchläufen ebenso wie bei fehlgeschlagenen. Streichen Sie die Spalten, die etwas anderes bereits festhält, und behalten Sie die Zeile, die sagt, wann das erwartete Ergebnis zuletzt geändert wurde.