Тестирование с тараканами в голове

Работая QA часто слышала в голове голос «а точно ли все проверила?» и иногда он бывает полезен, но если не научиться голос использовать и затыкать, то он начинает вредить. Ниже я расскажу об этом тревожном таракане и о том, как он проявляется.

Во время работы возникает много ситуаций, которые дают каждому уникальный опыт. В этой статье я хочу поделится своим опытом и теми знаниями, которые из него получила. Надеюсь мои слова окажутся в какой‑то степени полезными. В любом случае буду рада комментариям и надеюсь, что они помогут мне увидеть себя со стороны и стать лучше.

Плюсы таракана «а все ли ты проверила»

Он не дает относится даже к простым и тривиальным задачам легкомысленно. 

Один раз было такое, что перейдя от одной задачи к другой и уже завершив тестирование я, на всякий случай, решила проверить всё ли протестировала и заметила одну маленькую деталь — в задаче не было формулы для расчета, который делала новая функция. Перечитав задачу и эпик я поняла, что формулу для нового расчета нигде не указали. Так как я посчитала?

Стыдно признать, но считала и проверяла расчет по формуле из другой задачи, которая хоть и связана с текущей, но они были независимы. Я запросила правила расчета, перепроверила задачу и оказалось, что разработчик точно так же как и я применил формулу из другой задачи для расчетов в этой.

7705aa3a54aabbc450b0e6bc0d090269.png

Таракашка позволяет находить нетривиальные баги и делать продукт надежнее

Пройдясь по плану тестирования этот таракашка начинает подкидывать идеи из серии «а если у клиента будет увеличенный шрифт или устаревшая операционка?».

Благодаря ему я лучше описываю пройденные проверки, а также добавляю видео и скриншоты

И это очень помогает, когда тестирование закончено, фича на проде и вдруг появляется какой‑то баг. После определения и починки я проверяю пропустила ли я этот баг или он возник уже на проде. Иногда бывает так, что открывая скриншоты и записи я вижу этот баг. Тогда я начинаю думать о том почему не обратила внимания и почему на него не было проверки.

На этой самокопательной ноте перейдем к негативным сторонам этого голоса

 Он добавляет мне тревожности и часто на ровном месте

Такое иногда происходит после факапов, но бывают ситуации, когда голосок таракана звучит без какого либо повода. Были ситуации, когда таракашка не оставлял меня в покое даже после того как я легла спать и тогда я делала заметки себе о том, что еще стоит проверить.

Часто он заставляет тратить время на очень запутанные кейсы

И это прямое продолжение первого пункта: из‑за тревоги в голове рождаются самые странные и кошмарные сценарии, которые в моменте кажутся очень важными, но на деле оказываются чем‑то вроде «на сосне при луне свистнул дрозд…»

Он не дает сфокусироваться на других задачах

Иногда, переведя уже задачу в следующий статус и выбрав, чем заняться следующим мысли о кейсах преследуют и мешают сфокусироваться на новой задаче. В таких случая переключится с тревожного таракана‑проверятора бывает сложно

25cc083ab4f94f991936778336349ab8.png

Как использовать этого таракана себе в пользу и как его сдерживать?  

Первое,  

что пришло в голову, когда писала негативные моменты и что я повторяю как мантру: Исчерпывающее тестирование невозможно — баги будут всегда.

Невозможно предугадать все возможные комбинации и все доступные ситуации, а значит невозможно найти все баги до того как их найдет пользователь.

Тем более в постоянно изменяющемся мире.

Это стоит просто принять и пережить.

В понимании этого мне помогли разборы причин багов на проде или как их иногда называют постмортемы: когда общаешься с каждым участником процесса, чтобы понять как баг возник и что можно сделать чтобы не повторить эту же ошибку.

Не редко серьезные дефекты возникали из‑за простой невнимательности: где‑то не проверили кейсы с пустыми значениями и из‑за этого часть товаров в магазине не открывалась, где‑то забыли про локализацию и на экране заголовок был пустым.

И мир от этого не рухнул, люди продолжали работать и обращали внимание на те места, где допустили когда‑то ошибку.

Второе,

чем я успокаивала таракана‑проверятора это техники тест дизайна: таблица решений и схема переходов и состояний.

Они помогают визуализировать логику приложения и лучше видеть возможные кейсы, а значит быть более уверенным, что эти кейсы не будут упущены.

Если кто‑то забыл, то таблица решений это таблица, где в колонки и столбцы мы вносим условия и правила. После указания опций для всех условий и правил мы заполняем ожидаемый результат. Подробнее можно почитать тут https://habr.com/ru/articles/546 432/

Схема переходов состояний это когда у нас есть объект, у него есть состояния и объект при каких‑то условиях меняет свое состояние. Подходит не всегда. Мне очень помогло, когда работала в разработке сервиса бухгалтерии и объектом в таких схемах был отчет, заявление или электронно‑цифровая подпись.

Третье 

лекарство от таракашки нашло меня само. Им оказалось ревью тест кейсов от коллег при тестировании и общение после факапов.

Просто, банально, но работает замечательно.

Четверым

успокоительным стала оценка эффективности и рисков. Когда таракашка начинал шептать мне на ухо «проверь еще несколько кейсов» я вспоминала тимлида и задавала 2 вопроса:

  • сколько времени это займет?

  • какой будет профит?

  • какова вероятность того, что это выстрелит?

Да, иногда имеет смысл провести тестирование на нескольких версиях ОС, с разными настройками языка, темной и светлой темой, увеличенным шрифтом и так далее, но чаще эти проверки излишне.

Представьте, что при выполнении таких проверок вы нашли баг: какого бы приоритета он был? Из‑за специфики воспроизведения даже краш может получить минорный приоритет.

Сколько времени займут эти проверки? 5–10 минут — не страшно, но и они не всегда есть. За это время можно прочитать описание средней задачи

Заключение, наверное

Как и любой инструмент, таракашка может приносить пользу, а может вредить. Часто умение применять и использовать что‑то приходит с опытом и временем. Мне бы хотелось, чтобы эта статья помогла вам сократить время на приручение таракашки, сохранить нервы и больше верить в себя.

Надеюсь, эта статья поддержит вас и вместо противостояния и борьбы на истощение вы найдете свой подход к этому грозному зверю и приручите его.

© Habrahabr.ru