Тестирование с тараканами в голове
Работая QA часто слышала в голове голос «а точно ли все проверила?» и иногда он бывает полезен, но если не научиться голос использовать и затыкать, то он начинает вредить. Ниже я расскажу об этом тревожном таракане и о том, как он проявляется.
Во время работы возникает много ситуаций, которые дают каждому уникальный опыт. В этой статье я хочу поделится своим опытом и теми знаниями, которые из него получила. Надеюсь мои слова окажутся в какой‑то степени полезными. В любом случае буду рада комментариям и надеюсь, что они помогут мне увидеть себя со стороны и стать лучше.
Плюсы таракана «а все ли ты проверила»
Он не дает относится даже к простым и тривиальным задачам легкомысленно.
Один раз было такое, что перейдя от одной задачи к другой и уже завершив тестирование я, на всякий случай, решила проверить всё ли протестировала и заметила одну маленькую деталь — в задаче не было формулы для расчета, который делала новая функция. Перечитав задачу и эпик я поняла, что формулу для нового расчета нигде не указали. Так как я посчитала?
Стыдно признать, но считала и проверяла расчет по формуле из другой задачи, которая хоть и связана с текущей, но они были независимы. Я запросила правила расчета, перепроверила задачу и оказалось, что разработчик точно так же как и я применил формулу из другой задачи для расчетов в этой.
Таракашка позволяет находить нетривиальные баги и делать продукт надежнее
Пройдясь по плану тестирования этот таракашка начинает подкидывать идеи из серии «а если у клиента будет увеличенный шрифт или устаревшая операционка?».
Благодаря ему я лучше описываю пройденные проверки, а также добавляю видео и скриншоты
И это очень помогает, когда тестирование закончено, фича на проде и вдруг появляется какой‑то баг. После определения и починки я проверяю пропустила ли я этот баг или он возник уже на проде. Иногда бывает так, что открывая скриншоты и записи я вижу этот баг. Тогда я начинаю думать о том почему не обратила внимания и почему на него не было проверки.
На этой самокопательной ноте перейдем к негативным сторонам этого голоса
Он добавляет мне тревожности и часто на ровном месте
Такое иногда происходит после факапов, но бывают ситуации, когда голосок таракана звучит без какого либо повода. Были ситуации, когда таракашка не оставлял меня в покое даже после того как я легла спать и тогда я делала заметки себе о том, что еще стоит проверить.
Часто он заставляет тратить время на очень запутанные кейсы
И это прямое продолжение первого пункта: из‑за тревоги в голове рождаются самые странные и кошмарные сценарии, которые в моменте кажутся очень важными, но на деле оказываются чем‑то вроде «на сосне при луне свистнул дрозд…»
Он не дает сфокусироваться на других задачах
Иногда, переведя уже задачу в следующий статус и выбрав, чем заняться следующим мысли о кейсах преследуют и мешают сфокусироваться на новой задаче. В таких случая переключится с тревожного таракана‑проверятора бывает сложно
Как использовать этого таракана себе в пользу и как его сдерживать?
Первое,
что пришло в голову, когда писала негативные моменты и что я повторяю как мантру: Исчерпывающее тестирование невозможно — баги будут всегда.
Невозможно предугадать все возможные комбинации и все доступные ситуации, а значит невозможно найти все баги до того как их найдет пользователь.
Тем более в постоянно изменяющемся мире.
Это стоит просто принять и пережить.
В понимании этого мне помогли разборы причин багов на проде или как их иногда называют постмортемы: когда общаешься с каждым участником процесса, чтобы понять как баг возник и что можно сделать чтобы не повторить эту же ошибку.
Не редко серьезные дефекты возникали из‑за простой невнимательности: где‑то не проверили кейсы с пустыми значениями и из‑за этого часть товаров в магазине не открывалась, где‑то забыли про локализацию и на экране заголовок был пустым.
И мир от этого не рухнул, люди продолжали работать и обращали внимание на те места, где допустили когда‑то ошибку.
Второе,
чем я успокаивала таракана‑проверятора это техники тест дизайна: таблица решений и схема переходов и состояний.
Они помогают визуализировать логику приложения и лучше видеть возможные кейсы, а значит быть более уверенным, что эти кейсы не будут упущены.
Если кто‑то забыл, то таблица решений это таблица, где в колонки и столбцы мы вносим условия и правила. После указания опций для всех условий и правил мы заполняем ожидаемый результат. Подробнее можно почитать тут https://habr.com/ru/articles/546 432/
Схема переходов состояний это когда у нас есть объект, у него есть состояния и объект при каких‑то условиях меняет свое состояние. Подходит не всегда. Мне очень помогло, когда работала в разработке сервиса бухгалтерии и объектом в таких схемах был отчет, заявление или электронно‑цифровая подпись.
Третье
лекарство от таракашки нашло меня само. Им оказалось ревью тест кейсов от коллег при тестировании и общение после факапов.
Просто, банально, но работает замечательно.
Четверым
успокоительным стала оценка эффективности и рисков. Когда таракашка начинал шептать мне на ухо «проверь еще несколько кейсов» я вспоминала тимлида и задавала 2 вопроса:
сколько времени это займет?
какой будет профит?
какова вероятность того, что это выстрелит?
Да, иногда имеет смысл провести тестирование на нескольких версиях ОС, с разными настройками языка, темной и светлой темой, увеличенным шрифтом и так далее, но чаще эти проверки излишне.
Представьте, что при выполнении таких проверок вы нашли баг: какого бы приоритета он был? Из‑за специфики воспроизведения даже краш может получить минорный приоритет.
Сколько времени займут эти проверки? 5–10 минут — не страшно, но и они не всегда есть. За это время можно прочитать описание средней задачи
Заключение, наверное
Как и любой инструмент, таракашка может приносить пользу, а может вредить. Часто умение применять и использовать что‑то приходит с опытом и временем. Мне бы хотелось, чтобы эта статья помогла вам сократить время на приручение таракашки, сохранить нервы и больше верить в себя.
Надеюсь, эта статья поддержит вас и вместо противостояния и борьбы на истощение вы найдете свой подход к этому грозному зверю и приручите его.
