Как получить полезный отчёт об ошибке от нетехнического пользователя

Нетехнический пользователь не является худшим репортёром. Он отвечает на другой вопрос, чем вы спросили, и обычно проблема заключается в самом вопросе.

Почти каждая форма отчёта об ошибке просит один и тот же набор информации: что не сработало, как воспроизвести проблему и что должно было произойти вместо этого. Каждый из этих пунктов требует от репортёра провести диагностику. “Что не сработало” требует объяснения причины. “Ожидаемый результат и полученный” требует понимания того, как должна работать программа. Это знание у них отсутствует, и поэтому они пишут вам. “Как воспроизвести” требует внимания к последовательности действий, которые до ошибки не казались важными.

То, что человек может вам сказать точно, это что он пытался делать и что он видел. Это наблюдения. Всё остальное в форме - это просьба о теории.

На чём не стоит зацикливаться

Дорого обходится в неподготовленном отчёте не отсутствие деталей. Это объяснение. Объяснение выглядит как наблюдение, и вы потратите утро на его разбор.

“Система меня разлогинила” - это вывод. На самом деле произошло следующее: появился экран с формой входа. Экран может появиться по крайней мере по четырём причинам, не связанным между собой: сеанс действительно истёк, один вызов API вернул 401 и клиент перенаправил пользователя на основе этого, была передана кэшированная страница с заголовком выхода, или пользователь открыл вкладку в другом окне и вышел там. Если начать с “меня разлогинила”, вы идёте в хранилище сеансов. Если начать с “экран входа появился, когда я был в процессе оплаты”, у вас есть время, страница и симптом. Хранилище сеансов это только одно из четырёх мест для проверки, а не единственное.

Слабо

Сайт меня разлогинил во время оплаты.

Лучше

Я был на шаге оплаты, и страница вернулась к форме входа. Моя корзина осталась нетронутой.

В улучшенном варианте не требуется никакое техническое знание. Это тот же человек, но его просят рассказать, что он видел, а не что это значит.

Слова, которые означают не то, что вы думаете

Словарь общий, но определения разные. Эти пять слов причиняют больше всего вреда, потому что обе стороны уверены, что поняли друг друга.

Упал

Вкладка закрылась, страница стала пустой, загрузчик не остановился, или сам браузер закрылся.

Зависла

На клики ничего не реагирует, или что-то загружается без индикатора загрузки.

Удалился

Исчез из списка перед пользователем. Может быть скрыт фильтром, находиться на другой странице, в другом аккаунте, или действительно удалён.

Страница

URL-адрес, вкладка, модальное окно, шаг в процессе, или весь сайт.

Ошибка

Сообщение, которое вы написали, сообщение об ошибке браузера, или просто результат, который пользователь не ожидал.

Вы не можете это исправить, опубликовав глоссарий, потому что никто не читает его перед тем, как отправить отчёт об ошибке. Вы это исправляете, никогда не задавая вопросы, ответ на которые это одно из этих слов. “Система упала?” не имеет полезного ответа. “Что было на экране, когда всё перестало работать?” имеет.

Спросите о последнем, что работало

Самый продуктивный вопрос для человека без специальной терминологии не касается самого отказа.

Спросите, что они делали непосредственно перед этим, и спросите, работало ли это когда-нибудь. Оба это то, что человек помнит без усилий. Вместе они ограничивают проблему: первый даёт вам точку входа, второй говорит вам, идёте ли вы на регрессию или на то, что никогда не работало для этого человека в этой ситуации. Функция, которая работала для них во вторник, но не работает сегодня, это другое расследование, чем та, которая никогда не работала.

“Это когда-нибудь работало для вас?” также делает то, чего другие вопросы не делают. На него можно ответить “да” или “нет”, поэтому он почти всегда получает ответ.

Попросите скриншот, а не описание

Скриншот это единственный артефакт, который неподготовленный человек производит надёжно и точно, потому что его создание не требует специальной терминологии. Он содержит информацию, которую они не могли бы вам рассказать, даже если бы вы спросили: URL в адресной строке, ширину окна, какой аккаунт авторизован, точную формулировку сообщения, перекрывает ли баннер кнопку. Большая часть того, что вы бы выяснили за четыре письма, находится в одном изображении, которое заняло пять секунд.

Поэтому “не могли бы вы отправить мне картину того, что вы видите” стоит больше, чем любой вопрос, который вы можете написать. И это самое лёгкое в списке.

Стоит знать и ограничение. Скриншот показывает поверхность в один момент времени. Он не может сказать вам, что браузер делал внутри, и отказ часто не оставляет следов на поверхности: запрос, вернувший 500, пока страница выглядит нормально, невидим в изображении.

То, что они не могут дать, и что не стоит у них просить

Ошибки консоли, журнал сети, версию браузера, размер окна просмотра. Это то, что действительно сократило бы расследование, и каждое требует, чтобы репортёр открыл инструменты разработчика и знал, что искать.

Такой запрос имеет реальную цену, и это не время репортёра. Запрос читается как тест. Человек, который не может найти консоль, теперь знает, что он не смог помочь должным образом. И следующее, что они замечают, это то, что они держат при себе. Количество людей, готовых рассказать вам о проблеме, небольшое и полностью добровольное. Это легче потерять, чем построить.

Честный ответ в том, что эту половину нужно собирать, а не просить.

Оно не напишет заголовок за вас, и оно не может сказать вам, что пытался делать человек. Эта часть приходит только от вас, которые их спрашивают. Поэтому вопросы важны.

Задавайте вопросы по одному

Список из шести вопросов возвращается с двумя ответами и без указания, какие четыре пропущены. Хуже того, это читается как форма, а форму люди откладывают до выходных.

Отправьте один вопрос. Когда получите ответ, отправьте следующий, если он всё ещё нужен. Это кажется медленнее, и это не так, потому что альтернатива это долгое молчание, за которым следует неполный ответ, генерирующий три дополнительных вопроса в любом случае.

Помните, что вы прерываете. Отчёт об ошибке это конец цепочки небольших решений беспокоить кого-то: они заметили, решили, что это не их вина, выяснили, где об этом сообщить, и написали. Каждый обмен после этого это ещё один шанс, чтобы цепочка разорвалась. Ничто вам не скажет, когда это произойдёт. Вы просто никогда не услышите ответ, и с вашей точки зрения это неотличимо от того, что проблема исчезла.

Вопросы в порядке, в котором их нужно задавать

Четыре вопроса, ни один из которых не требует от человека знаний о программном обеспечении:

• Что вы пытались сделать?
• Что вы увидели вместо этого? Если можете, отправьте картину этого.
• Когда примерно это было и что вы использовали в то время?
• Это когда-нибудь работало для вас раньше?

Если вы получите эти четыре вопроса, у вас будет точка входа, симптом, окно для поиска в логах и информация о том, является ли это регрессией. Этого достаточно, чтобы начать. И это больше, чем в большинстве тикетов, написанных людьми, которые действительно знают терминологию.