
Большинство шаблонов тест-кейсов представляют собой таблицу с пятнадцатью колонками: ID, модуль, приоритет, предусловия, шаги, ожидаемый результат, затем статус, кто выполнил, когда, на какой сборке, и колонка комментариев, которая заполняется словами “прошло” и “см. Slack”.
Посмотрите на эти колонки еще раз, и они окажутся описанием двух разных вещей. Первая половина описывает проверку. Вторая описывает один раз, когда кто-то ее выполнил. Размещение обоих на одной строке и есть причина, по которой таблицы тест-кейсов приходят в негодность, и это единственное, что этот шаблон делает иначе.
Тест-кейс и прогон: два разных документа
Тест-кейс пишется один раз и меняется только тогда, когда меняется проверяемое им поведение. Прогон происходит в каждом релизе. Одно является определением, другое записью, и у них разный срок жизни.
Если в строке тест-кейса есть одна колонка Статус, каждый прогон перезаписывает предыдущий. Таблица знает только самый последний результат. “В прошлом релизе на этой сборке прошло” исчезает в тот момент, когда кто-то пишет “провален” поверх, и вместе с ним исчезает доказательство того, что позволило бы понять, новая ли это ошибка.
- Слабее
- Одна строка на тест-кейс, с колонками Статус, Проверил и Дата, которые перезаписываются при каждом запуске тест-кейса.
- Лучше
- Тест-кейс, написанный один раз, с журналом прогонов под ним, в который только добавляются новые строки.
Вторая форма отвечает на вопросы, которые люди действительно задают: когда это в последний раз прошло, на какой сборке это начало падать и запускалось ли это вообще когда-либо в Safari. Первая форма не может ответить ни на один из них, потому что все ответы записаны в одной и той же ячейке.
Шаблон
Четыре раздела. Первые три определяют проверку и меняются редко. Четвертый раздел: журнал прогонов, и он только растет.
# Тест-кейс: [что проверяется, в одном предложении]
**ID:** [номер тест-кейса]
**Область:** [функция или экран]
**Последнее изменение:** [дата и что изменилось в поведении]
## Предусловия
Состояние, в котором должна находиться система до того, как шаг 1 имеет смысл. Тест-кейс сам
подготавливает это состояние; он никогда не полагается на то, что другой тест уже выполнялся.
- [учетная запись, роль или данные, которые должны существовать]
- [окружение, флаг или браузер, если это важно]
## Шаги
Одно действие на шаг.
1. [действие]
2. [действие]
3. [действие]
## Ожидаемый результат
Достаточно конкретный, чтобы в нем можно было ошибиться. Укажите также, что НЕ должно произойти.
- [что должен увидеть тот, кто выполняет проверку]
- [что не должно произойти: никакой навигации, никакого второго письма, никакого списания]
## Журнал прогонов
Одна строка на прогон. Никогда не редактируйте старую строку; добавьте новую.
| Дата | Сборка | Кто | Браузер и окружение | Результат | Что было фактически увидено | Доказательство |
| --- | --- | --- | --- | --- | --- | --- |
| [дата] | [версия] | [имя] | [браузер, ОС, окружение] | пройден / провален / заблокирован | [что наблюдалось, словами] | [ссылка] |
Заблокирован не значит провален
В колонке результата три значения, и третье из них то, что большинство шаблонов опускает.
Тест-кейс заблокирован, когда его вообще не удалось выполнить: не было тестовой учетной записи, staging был недоступен, флаг функции был выключен. О поведении ничего не выяснено. Запишите это как провал, и счетчик дефектов вырастет по причине, которая не имеет отношения к программе: кто-то заводит баг, который никто не может воспроизвести, а настоящий вопрос, почему предусловие не выполнено, так и не задается.
Запишите это как пройденное, что случается чаще, чем кто-либо признает, и проверка, которая никогда не запускалась, засчитывается как покрытие. Из двух обманов этот хуже, потому что его никто не возвращается исправлять.
Колонка, которая делает работу
Что было фактически увидено самая ценная ячейка в журнале прогонов, а в большинстве таблиц ее вообще нет. Вместо нее есть колонка Статус, и “провален” в колонке статуса почти ничего не говорит следующему человеку.
Сравните “провален” с “появилось сообщение об ошибке, но страница также перешла на панель, и пользователь оказался авторизован”. Второе уже наполовину является отчетом об ошибке. Оно говорит, что произошло, говорит, чем это отличается от ожидаемого результата, написанного тремя разделами выше, и записано тем единственным человеком, который это увидел, в тот единственный момент, когда он еще мог описать это точно.
Записывайте это и при прохождении, в нескольких словах. Прохождение, которое фиксирует увиденное, можно проверить позже. Прохождение, в котором написано только “пройден”, нужно принимать на веру.
Что удалить
Большую часть колонок из версии с пятнадцатью колонками, потому что что-то другое уже их хранит.
Автор и Дата создания есть в истории версий того места, где живет тест-кейс. Приоритет относится к тестируемой области, а не к каждому тест-кейсу; для отдельного тест-кейса его задают один раз и больше не пересматривают. Тестовые данные относятся к предусловиям, где их читают как часть подготовки, а не в соседней колонке. Постусловия обычно повторяют ожидаемый результат, а когда не повторяют, становятся предусловиями следующего тест-кейса.
Не удаляйте строку Последнее изменение. Тест-кейс, у которого ожидаемый результат тихо отредактировали в день, когда он начал падать, является самым вводящим в заблуждение документом в тестировании, а одна строка с датой и причиной делает это видимым.
Что должно быть в каждом разделе и как писать шаги, которые сможет выполнить другой человек, подробно описано в руководстве как написать тест-кейс. Когда тест-кейсы складываются в релиз, шаблон плана тестирования является страницей, которая говорит, какие из них входят в объем.
Когда прогон провален
Провалившийся прогон становится началом отчета об ошибке, и хорошая строка журнала уже сделала большую часть работы: шаги записаны, ожидаемый результат записан, а рядом с ними записано, что было фактически увидено. Строка не может сохранить состояние машины, на которой все сломалось. Версия браузера, консоль и запросы, стоящие за страницей, это именно то, что запросит человек, который будет исправлять, а к тому моменту, когда он попросит, вкладка уже будет закрыта.
Session Replay
Бесплатное расширение Chrome. Один клик на странице, которая работает неправильно, захватывает снимок экрана, консоль и журнал сети, и выдает вам ссылку для вставки в тикет.
Для этого и нужна колонка Доказательство. Поместите ссылку в строку, укажите ID тест-кейса в отчете об ошибке, и они останутся связанными: тот, кто будет исправлять, может выполнить ту же проверку, а тот, кто запустит ее в следующем релизе, увидит, что она однажды провалилась и почему.
Краткая версия
Записывайте тест-кейс один раз и фиксируйте каждый прогон под ним, а не перезаписывайте один статус. Дайте результату три значения, потому что проверка, которую не удалось выполнить, не является ни пройденной, ни проваленной. Записывайте, что было фактически увидено, при прохождении так же, как при провале. Удаляйте колонки, которые что-то другое уже фиксирует, и сохраняйте строку, которая говорит, когда ожидаемый результат менялся в последний раз.