
Большинство чек-листов QA для сайтов представляют собой список того, на что нужно посмотреть. Формы отправляются, ссылки работают, картинки загружаются, на мобильном выглядит нормально. Они не ошибаются, но почти ничего не ловят, потому что сложная часть предзапускового QA никогда не была в том, какие пункты стоят в списке.
Дело в двух других вещах. Кто смотрит и в какой конфигурации он смотрит.
Человек, который это сделал, не видит ошибок
Попросите разработчика, который создал страницу, проверить, что она работает, и он проверит, что она работает. Он нажмёт то, что сделал, в том порядке, в каком делал, с данными, которые использовал во время работы, в браузере, который у него открыт.
Это не упрёк, а описание того, как устроено знание о том, что что-то работает. Он знает, какая кнопка следующая. Он знает, что форма хочет дату в определённом формате. Он знает, не замечая этого, что элемент слева это вкладка, а не заголовок. Посетитель, который зашёл впервые, ничего этого не знает, и пункт чек-листа «проверить, что регистрация работает» честно отмечают как «да» те, кто никак не может испытать на себе, что здесь что-то пойдёт не так.
Поэтому первая колонка в чек-листе, который оправдывает себя, это не пункт. Это кто его проверяет, и для всего, к чему прикоснётся незнакомец, проверять должен тот, кто этого не делал. Коллега из другой команды, который потратит на это пятнадцать минут, найдёт другой набор проблем, чем автор, который работает над этим два часа.
«Работает» это утверждение об одной конфигурации
Вторая колонка, которую чек-листы обычно вообще опускают.
Ваша проверка QA идёт на одной машине: один браузер, один размер окна, одна операционная система, один набор настроек, одна сеть, один профиль с вашими расширениями. Сайт, который получают ваши посетители, это другой. Ту же страницу рисует другой движок, при другом масштабе, с принудительно включённой тёмной темой, с расширением, которое внедряет CSS, по соединению, которое время от времени обрывается.
Поэтому «проверено в Chrome» звучит слабее, чем кажется, и поэтому три движка важнее, чем двадцать названий браузеров. Чек-лист, в котором написано «проверить вёрстку», задаёт вопрос без ответа. Тот, в котором написано «проверить вёрстку при масштабе 200% и в приватном окне без расширений», задаёт два вопроса, и у каждого из них есть ответ.
- Слабо
- Проверить, что страница оформления заказа работает на мобильном.
- Лучше
- Кто-то, кто её раньше не видел, оформляет покупку на реальном телефоне в Safari, с увеличенным системным размером текста.
Используйте данные, похожие на продакшен
Третья вещь, и самая дешёвая в исправлении. Проверка QA, проведённая с Test User и test@example.com, тестирует сайт, которым никто пользоваться не будет. В продакшене есть имена с апострофами, адреса в четыре строки, аккаунты без единой записи и список на одиннадцать тысяч строк.
Добавьте в то, что вы проверяете, четыре или пять неудобных записей, один раз, и храните их. Большинство ошибок вёрстки, которые доходят до клиентов, находятся не в вёрстке. Они в предположении о том, какой длины может быть строка.
Чек-лист
Три колонки, и две справа делают основную работу. Держите его достаточно коротким, чтобы кто-то действительно его прогонял.
# Предрелизная проверка QA: <что выпускается>
Каждая строка: что проверяется, кто проверяет и в какой конфигурации.
«Кто-то другой» означает человека, который не делал это.
| Проверка | Кто | Конфигурация |
| --- | --- | --- |
| Главный сценарий этого релиза от начала до конца | кто-то другой | реальный телефон, Safari |
| То же, но в настольном движке, не Chromium | кто угодно | Firefox или Safari |
| Вёрстка при масштабе браузера 200% | кто угодно | любой настольный браузер |
| Страница без расширений и без сохранённой сессии | кто угодно | приватное окно |
| Формы с неудобными данными | кто-то другой | любая |
| Пустое состояние, с новым аккаунтом | кто-то другой | любая |
| Заполненное состояние, с большим списком | кто угодно | любая |
| Только клавиатура, без мыши, по основному сценарию | кто-то другой | любой настольный браузер |
| Тёмная тема, если системная настройка учитывается | кто угодно | ОС в тёмном режиме |
| Всё, что обещают заметки к релизу | кто-то другой | любая |
## Неудобные данные, которые стоит держать под рукой
- имя с апострофом и имя длиной 80 символов
- аккаунт без единой записи
- список, достаточно длинный, чтобы по нему нужно было прокручивать
- значение в валюте или формате даты, которые не ваши
## Не проверено в этот раз
Записывается одной строкой. Смысл в том, чтобы никто потом не предполагал, что это проверяли.
## Если что-то не так
Опишите, что вы делали, что увидели и в какой из перечисленных выше конфигураций. Скриншот лучше описания. Не исправляйте на ходу.
Чего не может чек-лист
Стоит честно сказать о его пределе, потому что чек-лист порождает уверенность, что если его закрыть, сайт корректен.
Всё выше по-прежнему делает одна команда, на нескольких конфигурациях, в день, когда больше ничего не ломается. Первая неделя реального трафика выявит набор сбоев, которые никакая предрелизная проверка найти не могла: браузер, о котором вы не подумали, расширение, которое вы никогда не ставили, сеть, которая обрывается на полпути, состояние, которое никто не может воспроизвести, потому что оно зависит от того, что человек делал двадцать минут назад.
Session Replay
Бесплатное расширение для Chrome. Один клик на странице, которая работает неправильно, сохраняет скриншот, консоль и журнал сети и даёт ссылку, которую можно вставить в тикет.
Поэтому то, что стоит выпустить вместе с чек-листом, это способ для этих людей сообщить вам, с достаточным приложенным материалом, чтобы не начинать с «не работает». Именно эту половину чек-лист структурно не покрывает, потому что она о конфигурациях, которых вы не знали.
Что удалить
На небольшом изменении большую часть. Три строки и строка о границах это настоящая проверка QA, и она занимает десять минут.
Никогда не удаляются вторая и третья колонки. Чек-лист только с первой колонкой это список того, что кто-то отметит, глядя на версию сайта, которая уже работает для него, а это то же самое, что не проводить проверку. Шаблон плана тестирования это документ на уровень выше, а дымовое тестирование это пятиминутная версия на случай, когда на всё это нет времени.