
A maioria dos modelos de caso de teste é uma folha de cálculo com quinze colunas: um ID, um módulo, uma prioridade, as pré-condições, os passos, o resultado esperado, depois um estado, quem o executou, quando, em que construção, e uma coluna de comentários que se enche de “passou” e “ver no Slack”.
Olhe outra vez para essas colunas e verá que descrevem duas coisas diferentes. A primeira metade descreve uma verificação. A segunda descreve uma vez em que alguém a executou. Pôr as duas na mesma linha é a razão pela qual as folhas de casos de teste apodrecem, e é a única coisa que este modelo faz de forma diferente.
O caso e a execução são documentos diferentes
Um caso de teste é escrito uma vez e só muda quando muda o comportamento que verifica. Uma execução acontece em cada versão. Um é uma definição e o outro é um registo, e têm tempos de vida diferentes.
Dê à linha do caso uma única coluna de Estado e cada execução sobrepõe-se à anterior. A folha só conhece sempre o resultado mais recente. “Passou na versão anterior, nesta construção” desaparece no momento em que alguém escreve “falhou” por cima, e com ele desaparece a prova que diria se a falha é nova.
- Fraco
- Uma linha por caso, com colunas Estado, Testado por e Data que são substituídas sempre que o caso é executado.
- Melhor
- O caso escrito uma vez, com um registo de execuções por baixo, ao qual só se acrescentam novas linhas.
A segunda forma responde às perguntas que as pessoas realmente fazem: quando passou pela última vez, em que construção começou a falhar, e se alguma vez foi executado no Safari. A primeira forma não consegue responder a nenhuma delas, porque todas as respostas foram escritas na mesma célula.
O modelo
Quatro secções. As três primeiras definem a verificação e mudam raramente. A quarta é o registo de execuções, e só cresce.
# Caso de teste: [o que está a ser verificado, numa frase]
**ID:** [número do caso]
**Área:** [funcionalidade ou ecrã]
**Última alteração:** [data, e o que mudou no comportamento]
## Pré-condições
O estado em que o mundo tem de estar antes de o passo 1 fazer sentido. O caso prepara isto
sozinho; nunca depende de outro teste ter sido executado antes.
- [conta, papel ou dados que têm de existir]
- [ambiente, flag ou navegador, se for relevante]
## Passos
Uma acção por passo.
1. [acção]
2. [acção]
3. [acção]
## Resultado esperado
Suficientemente específico para poder estar errado. Diga também o que NÃO deve acontecer.
- [o que a pessoa que executa deve ver]
- [o que não deve acontecer: nenhuma navegação, nenhum segundo email, nenhuma cobrança]
## Registo de execuções
Uma linha por execução. Nunca edite uma linha antiga; acrescente uma nova.
| Data | Construção | Quem | Navegador e ambiente | Resultado | O que foi realmente visto | Prova |
| --- | --- | --- | --- | --- | --- | --- |
| [data] | [versão] | [nome] | [navegador, SO, ambiente] | aprovado / reprovado / bloqueado | [observado, por palavras] | [ligação] |
Bloqueado não é reprovado
A coluna de resultado tem três valores, e o terceiro é o que a maioria dos modelos deixa de fora.
Um caso fica bloqueado quando não pôde ser executado de todo: faltava a conta de teste, o staging estava em baixo, a flag da funcionalidade estava desligada. Não se aprendeu nada sobre o comportamento. Registe isso como reprovado e a contagem de defeitos sobe por uma razão que nada tem a ver com o software: alguém abre um erro que ninguém consegue reproduzir, e a pergunta real, porque é que a pré-condição não foi cumprida, nunca chega a ser feita.
Registe-o como aprovado, o que acontece com mais frequência do que alguém admite, e uma verificação que nunca correu passa a contar como cobertura. Das duas mentiras, esta é a pior, porque é a que ninguém volta a corrigir.
A coluna que faz o trabalho
O que foi realmente visto é a célula mais valiosa do registo de execuções, e na maioria das folhas de cálculo nem sequer existe. Existe, em vez disso, uma coluna de Estado, e “reprovado” numa coluna de Estado diz à pessoa seguinte quase nada.
Compare “reprovado” com “apareceu a mensagem de erro, mas a página também navegou para o painel e o utilizador ficou com sessão iniciada”. A segunda versão já é meio relatório de erro. Diz o que aconteceu, diz em que se distingue do resultado esperado escrito três secções acima, e foi escrita pela única pessoa que o viu, no único momento em que ainda o podia descrever com exactidão.
Escreva-a também nas aprovações, em poucas palavras. Uma aprovação que regista o que foi visto pode ser verificada mais tarde. Uma aprovação que regista apenas “aprovado” tem de ser confiada.
O que eliminar
A maioria das colunas da versão de quinze colunas, porque outra coisa já as guarda.
Criado por e Data de criação estão no histórico de versões do sítio onde o caso vive. Prioridade pertence à área testada e não a cada caso, e num caso isolado é definida uma vez e nunca mais revista. Dados de teste pertencem às pré-condições, onde são lidos como parte da preparação e não numa coluna ao lado. Pós-condições são normalmente o resultado esperado repetido, e quando não são, são as pré-condições do caso seguinte.
O que não deve eliminar é a linha Última alteração. Um caso cujo resultado esperado foi editado discretamente no dia em que começou a falhar é o documento mais enganador em testes, e uma linha com uma data e um motivo é o que torna isso visível.
Para saber o que vai em cada secção e como escrever passos que outra pessoa consiga seguir, o guia sobre como escrever um caso de teste trata do assunto em pormenor. Quando os casos se juntam numa versão, o modelo de plano de testes é a página que diz quais deles estão no âmbito.
Quando uma execução falha
Uma execução reprovada é o início de um relatório de erro, e um bom registo de execução já fez grande parte do trabalho: os passos estão escritos, o resultado esperado está escrito, e o que foi realmente visto está escrito ao lado deles. O que a linha não consegue guardar é o estado da máquina onde falhou. A versão do navegador, a consola e os pedidos por trás da página são exactamente o que a pessoa que vai corrigir irá pedir, e quando o pedir, o separador já estará fechado.
Session Replay
Extensão gratuita do Chrome. Um clique na página que está com problemas captura a captura de ecrã, a consola e o registo de rede, e dá-lhe uma ligação para colar no bilhete.
É para isso que serve a coluna Prova. Coloque a ligação na linha, ponha o ID do caso no relatório de erro, e as duas ficam unidas: quem corrigir pode executar a mesma verificação, e quem a executar na versão seguinte pode ver que falhou uma vez e porquê.
O resumo
Escreva o caso uma vez e registe cada execução por baixo dele, em vez de sobrepor um único estado. Dê ao resultado três valores, porque uma verificação que não pôde ser executada não é nem aprovada nem reprovada. Registe o que foi realmente visto, nas aprovações tal como nas falhas. Elimine as colunas que outra coisa já regista, e mantenha a linha que diz quando o resultado esperado mudou pela última vez.