Как тестировать в 2025-м22.03.2025 13:31

Как использовать в тестировании ИИ? Как тестировать сам ИИ? И главное: как не завязнуть в излишнем хайпе вокруг ИИ, а совершенствоваться и в «нехайповых» темах вроде безопасности или нагрузки?

Мы уже много лет проводим конференцию по тестированию Heisenbug. Если посмотреть, как менялась программа с годами, получится срез актуальных для индустрии вопросов, который постепенно изменялся со временем. Например, можно проследить, как с определённого момента среди тем появилось название Playwright, и никуда уже не делось (вот и в этот раз встретится).

В апреле проведём конференцию снова. Те, кто размышляют над посещением, могут из этого хабрапоста узнать краткие описания докладов. А те, кто идти не собираются, могут всё равно пробежаться глазами и понять, какие темы сейчас актуальны (и добавить в комментариях, о чём ещё хотели бы послушать).

В программу ещё вносят последние детали, и отдельные доклады здесь не описаны — пусть тогда они будут секретом-сюрпризом.

Содержание

• AI

• Инструменты и фреймворки

• Безопасность

• Мобильное тестирование

• Hardware

• Best practices

• Нагрузочное тестирование

• Инфраструктура

• Другое

AI

Как Vision Language модели и AI Web Agent трансформируют ручное тестирование в автоматизацию с BugBuster AI

Даниил Ахетов

BugBuster

Vision Language модели (VLM) и AI Web Agents открывают новые возможности для автоматизации тестирования. Эти технологии позволяют тестировщикам перейти от ручного выполнения рутинных задач к автоматическому исполнению своих тест-кейсов без предварительной подготовки.

Из доклада вы узнаете, как VLM связывает текст и изображение. Какие существуют способы дообучения и оптимизации моделей для работы с пользовательскими интерфейсами.

Погрузимся в технологию AI Web Agent, узнаем, как он управляет браузером и какие есть нюансы. Рассмотрим преимущества VLM-подхода к определению элементов на странице в сравнении с классическим поиском по локаторам.

Как мы тестируем генеративные модели

Эмма Нехорошева

Ozon

Таисия Евжик

Ozon

Сейчас, когда слышишь слова «тестирование» и «генеративные модели» в одном предложении, зачастую речь идет про то, как генеративные модели могут помочь в тестировании. Но генеративные модели кто-то создает, а значит, и тестирует.

Команда Ozon столкнулась с задачей тестирования генеративных моделей. И вы узнаете, как ее решали. В докладе затронут следующие темы:

• Зачем тестировать генеративные модели.

• Как формулировать требования к ТЗ и как это помогает в тестировании.

• Какие принципы построения негативных кейсов используют.

• Какие нюансы есть в тестировании генеративных моделей и как они учитываются.

Gen-A: как искусственный интеллект переворачивает тестирование

Вадим Лунин

Альфа-Банк (Беларусь)

В эпоху стремительной цифровой трансформации автоматизация становится ключевым инструментом для ускорения процессов разработки и тестирования. Gen-A — инструмент собственной разработки Альфа-Банка. Он уникален тем, что использует искусственный интеллект для генерации тест-кейсов, экономя время, ресурсы и повышая качество ПО. Вадим расскажет, как работает Gen-A, какие задачи решает и как его можно интегрировать в существующие процессы тестирования.

Как мы тестировали LLM для собеседований, а они тестировали нас

Анастасия Сабанеева

Альфа-Банк

Антон Васильев

ИТ-холдинг Т1

И создали они коллаборацию и решили выступить с докладом: как применялись и тестировались языковые модели для проведения собеседований. В качестве испытуемых были модели Gemma 2–27B и Qwen2–27B, которые позволяют оценивать ответы на устные вопросы и практически моментально проверять live coding.

Инструменты и фреймворки

Падаем красиво в Playwright-тестах

Алексей Иванов

Что делать, если тест упал? Алексей покажет, как использовать инструменты Playwright для анализа ошибок, улучшения отчетности и создания понятных тестов, которые помогут быстрее находить причины проблем. Мы разберем подходы к работе с ассертами и шагами, чтобы сделать отчеты максимально информативными.

Kafka. Ликбез по функциональному тестированию

Иван Головко

Альфа-Банк

Требования к функциональным тестам растут от года к году. Как показывает практика, зачастую тестирование решений с Kafka вызывает большие трудности среди QA. Поговорим просто о сложном и развеем по ветру преувеличенные мифы о пороге входа в тестирование таких проектов.

Контейнеризация как главный инструмент создания эффективных сред разработки и тестирования

Сергей Каблов

МФТИ

В докладе рассмотрим идеи, методы, технологии построения среды тестирования на основе контейнеризации (Docker, Docker Compose), вспомогательные технологии Open vSwitch, Linux virtual network interfaces.

Как устроен фреймворк Jest

Елена Попова

T-Банк

Елена расскажет про архитектуру Jest и обсудит с вами, за что отвечают разные части.

Развиваем статический анализ кода автотестов на Kotlin

Николай Недосейкин

Яндекс Финтех

Николай продолжает рассказывать о статическом анализе Kotlin-кода и сделает это на примере backend-автотестов.

Он расскажет, какие правила статического анализа смог написать для backend-тестов Яндекс Финтеха. Покажет, как написать свое правило, и поделится лайфхаком, ускоряющим написание правил. Разберем, как процессно организовать внедрение статического анализа в проекте с нуля на примере анализатора detekt.

Безопасность

Автоматизация тестирования поверхности атаки

Георгий Тейс

ИСП РАН

В современном мире каждому разработчику важно уделять особое внимание поиску возможных путей, по которым злоумышленники могут получить несанкционированный доступ к вашему ПО или информационной системе. Вся эта совокупность путей и составляет поверхность атаки (ПА).

Рассмотрим, где и как можно собрать ПА. Основная часть доклада будет о том, как это тестируется. Стек технологий: Bash+Expect и Python с Selenium.

Мобильное тестирование

Введение в Maestro — фреймворк для мобильного тестирования

Антон Смолянин

Вы узнаете, как с помощью Maestro можно легко и быстро настроить окружение, создать и запустить тесты для мобильных приложений. Особое внимание будет уделено основным возможностям фреймворка: простому синтаксису на основе YAML, набору удобных команд и интеграции с современными CI/CD-системами.

iOS в VK DeviceHub, или Как мы сделали универсальный провайдер для устройств в ферме

Иван Левиков

VK / ВКонтакте

Даниил Смирнов

VK / ВКонтакте

Спикеры вместе с open source-сообществом продолжают активно развивать VK DeviceHub и хотят поделиться с вами ключевыми улучшениями и новыми возможностями.

Содержание доклада:

• интересные вызовы, с которыми ребята столкнулись при разработке и интеграции решения для удаленной работы iOS-устройств на ферме;

• новые технологии и улучшения в проекте и про нагрузку, которую способна выдержать система;

• планы на будущее.

Верстка не поехала: как тестировать интерфейсы без боли

Дарья Каткова

Сбер

Алевтина Чугунова

Сбер

Обсудим, что такое дизайн-системы и как они связаны с интерфейсами, а также чем тестирование интерфейсов отличается от обычного тестирования. Дарья и Алевтина расскажут, как тестировали без тестировщика и что из этого получилось. И как переосмыслили подход к тестированию с приходом QA.

Поговорим про автоматизацию и о том, как дизайн-система может помочь в написании автотестов.

Затронем инструменты собственной разработки Сбера, которые упрощают интерфейсное тестирование:

• обсудим расширение инструментов разработки на Android, включая улучшенный Layout Inspector;

• рассмотрим библиотеку Театр для генерации видеороликов из кода.

Поднимаем Android-ферму за 10 минут

Алексей Тюрин

Exness

В докладе вам покажут, как легко развернуть инфраструктуру для выполнения UI-тестов, используя open source-решение Mobile Test Platform. Вы узнаете, как:

• быстро развернуть и масштабировать эмуляторы без сложной конфигурации;

• подключить ферму к CI/CD и запускать тесты параллельно;

• избежать проблем с нестабильностью эмуляторов и зависшими процессами;

• добиться высокой скорости выполнения тестов и стабильных результатов.

Hardware

Тестирование альтернативных источников координат в условиях глушения GPS-сигнала

Никита Миронов

Ситидрайв

Когда глушат сигнал GPS/ГЛОНАСС, это очень сильно сказывается на качестве такого продукта, как каршеринг. В докладе Никита рассмотрит различные альтернативные источники координат: LBS, Wi-Fi и другие. Проанализирует полученные данные, а также методы тестирования и ход выполнения тестов на улицах Москвы из автомобилей каршеринга.

Тестирование ПО для космических аппаратов и миссий

Сергей Скороход

БЮРО 1440

Евгений Поляков

БЮРО 1440

Погрузимся в увлекательный мир тестирования космического ПО, где каждая строка кода должна быть готова к экстремальным условиям: вакууму, радиации и перепадам температур. Вы узнаете, как тестируют софт для миссий на Марс, спутников и МКС и почему здесь нельзя просто «запустить и починить». Разберем, как симуляции, эмуляции и тестирование в реальных условиях помогают избежать катастроф и какие инструменты используют инженеры, чтобы не допустить ошибок. А еще заглянем в кейсы успешных миссий и провалов, которые научили спикеров быть на шаг впереди космоса.

Как мы тестируем работу и отказоустойчивость дорогого оборудования на примере СХД

Наталья Грязнова

YADRO

В YADRO тестируют системы хранения данных (СХД), на которых работают ваши любимые банковские приложения, ретейлеры, соцсети, базы данных, виртуализация. СХД — это железный стенд, кластер, сеть и протоколы передачи данных, Linux, REST, SSH, диски с данными и сложные алгоритмы, которые защищают данные от повреждений, используют кеширование и параллелизацию.

В компании предъявляют высокие требования к дизайну и цели тестовых сценариев и стараются «подружить» сложные аппаратные и программные интерфейсы СХД с Python, отдавая на выход E2E-автотесты и Allure-отчет с максимальной диагностикой.

В докладе Наталья расскажет об этом поподробнее, а также о том, как в компании генерируют поток больших данных, попутно проверяя кластер на отказоустойчивость.

I, Robot: зачем мы сделали собственный тестовый стенд-робопалец и что из этого вышло

Юрий Леметюйнен

Kaspersky

Задумывались ли вы об особенностях тестирования вашего смартфона — точнее, о том, как протестировать сенсорный дисплей? Приложения приложениями, но мало кто задумывается о том, что пальцы у всех разные…

В докладе Юрий расскажет, почему в команде KasperskyOS for Mobile пришлось об этом задуматься и искать решение. Как шли к собственному «железу», какие баги мотивировали команду и почему выбрали именно такой подход. Как шаг за шагом создали свой стенд с пальцем-манипулятором, с какими трудностями столкнулись в процессе разработки и автоматизации. Спикер продемонстрирует, что робопалец уже умеет эмулировать и тестировать. А напоследок немного похоливарим, сможет ли роботизация тестирования заменить ручной труд.

Best practices

Три по цене одного, или как мы в Яндекс ID автотесты перепридумали

Иван Вершинин

Яндекс

О смещении фокуса с E2E к быстрым модульным тестам. Иван расскажет, как пришли к этому подходу, с какими проблемами столкнулись и как их решали. Как по пути придумали новый инструмент для хранения функциональных требований огромного сервиса и учета покрытия продукта тестами (в Яндексе не верят в автоматический кавередж), который уже доступен в open source.

Баттл «Проактивный и реактивный подходы к развитию QA-специалиста»

Яна Григорьева

Яндекс Лавка

Сергей Лебедев

Яндекс Лавка

Спикеры обсудят два подхода к профессиональному росту QA-специалиста — самостоятельное обучение и развитие через корпоративные программы, ожидания от руководителя четкого плана. Вы узнаете, как разные команды решают задачи развития навыков: какие методы универсальны, а где требуется индивидуальный подход. Разберем все аспекты — от мотивации и тайм-менеджмента до роли менторов и влияния на карьеру.

Сайзинг тестовых сред. Что надо знать, а чем и когда пренебречь?

Виктория Дежкина

X5 Tech

Что такое сайзинг тестовой среды, как и с чего начать готовить тестовую среду. Почему тестировщику не всегда достаточно знать, «сколько процентов от прода» занимает тестовая среда, и что стоит учитывать, чтобы грамотно трактовать результаты тестирования.

Тестируем и автоматизируем open source-сайт для Челябинского зоопарка по TDD

Дмитрий Мякотин

Tourmaline Core

Сергей Багдасарян

Tourmaline Core

Дмитрий и Сергей расскажут, какой путь прошли, безвозмездно разрабатывая новый сайт для Челябинского зоопарка, чей код открыт. Это уникальный кейс, над которым они работали по TDD.

Посмотрим на их тестовую стратегию, состоящую из скриншотных тестов UI на Playwright, тестов на доступность (a11y), API-тестов и нескольких E2E-тестов. Также вам расскажут, как генерируют типы на основе Swagger CMS Strapi для проверки корректного использования контракта CMS на UI. Конечно, поговорим о том, что остается для ручного тестирования, если весь продукт разрабатывается через TDD.

Отдельное внимание уделят автоматизации всего этого. Продемонстрируют применение подхода local env, о котором коллега ребят рассказывал на DevOops 2024.

В конце вам дадут ссылки на все репозитории, чтобы вы могли ознакомиться с кодом и подходами, и, возможно, что-то утащить себе:)

QA и SRE — качество и надежность как две стороны одной медали

Александр Бодня

Т-Банк

В большинстве компаний на рынке, для которых важна надежность, в том или ином виде присутствует SRE. И чаще всего этим занимаются разработчики, иногда — отдельно выделенные команды. При этом случаи привлечения инженеров по обеспечению качества к обеспечению надежности крайне редки.

В докладе Александр проиллюстрирует тезис «надежность — одно из качеств продукта» и продемонстрирует пользу привлечения QA-инженеров к процессу обеспечения надежности. Обсудим, какие практики SRE хорошо применяются в обеспечении качества продукта, и рассмотрим примеры того, как применение этих практик позволяет избежать сбоев.

Простоту охота навести: как легко тестировать клиент-серверные взаимодействия на примере WebSocket

Максим Попов

Сбер

Тестирование WebSocket-взаимодействий всегда было большой задачей под звездочкой. В Сбере решили создать механизм, который максимально упростит написание огромного числа автотестов в проектах с клиент-серверными взаимодействиями по real-time протоколам.
Максим даст ссылку на GitHub с демореализацией механизма, чтобы вы смогли легко попробовать внедрить его у себя в проектах.
Приходите, будем обсуждать подход и думать, как именно его внедрить в вашем случае.

Автоматические релизы: как их собрать и кому они нужны?

Мария Палагина

Т-Банк

Александр Воробей

Ozon

Все стремятся к полной автоматизации. А она невозможна без автоматических релизов. Обсудим:

• Какие подходы существуют для создания автоматизированных релизов.

• Какие типы команд выигрывают от внедрения автоматических релизов.

• Для каких команд авторелизы могут снизить эффективность работы.

• Какие есть риски, трудности и лучшие практики при внедрении авторелизов.

Асинхронный Python на грани: как отловить баги, которые «убьют» ваш прод в 3 часа ночи

Нина Лукина

01.tech

Асинхронный Python помогает справляться с высокой нагрузкой, но приносит новые, коварные баги. В этом докладе мы разберем самые опасные ошибки: гонки данных, дедлоки, зомби-корутины и потерянные исключения. Нина объяснит, почему стандартные тесты не спасают и как писать тесты, которые действительно находят проблемы. На реальном примере разберем, как отладить сложные ошибки в асинхронном коде. Вы увидите, какие баги могут разрушить ваш прод и как предотвратить их появление.

ISTQB сегодня. Что почем?

Анастасия Нестерова

ISTQB — самая популярная и распространенная сертификация для тестировщиков, которая идет в ногу со временем и постоянно меняется.

В воркшопе Анастасия коротко рассмотрит, что представляет собой ISTQB сегодня: пробежится по направлениям, даст советы для самостоятельной подготовки и полезные ссылки. Основную часть посвятит квизу, вопросы которого основаны на пробных экзаменах и экзаменах ISTQB разных уровней и направлений, разберет некоторые из них.

Эффективное тестирование ETL-процессов в Data Warehouse

Максим Аноп

Т-Банк

Рассмотрим процесс тестирования ETL в DWH: начиная с базовых ручных проверок на качество данных и заканчивая построением фреймворка для автоматизации тестирования. Узнаем, какие существуют типы задач, что понадобится из окружения и инструментов, а также обсудим особенности CI/CD-процессов в хранилище и причины, почему GitLab не подойдет. Разберем, как сдвинуть процесс тестирования левее и благодаря чему возможно запускать автотесты на этапе анализа задачи.

Исследовательский подход в мобильном тестировании

Александр Капутин

Алиса и Умные устройства Яндекса

Когда инженеры сталкиваются с исследовательским тестированием, возникает целый спектр вопросов. Какой подход подойдет для решения задачи? Какие инструменты использовать? А как фиксировать результат? В докладе вам расскажут о полезных инструментах в области мобильного тестирования и о том, как их применять на практике. А еще рассмотрим подходы исследовательского тестирования и порассуждаем на тему «Почему каждый тестировщик в душе исследователь».

Нагрузочное тестирование

Анализ access-логов для нагрузочного тестирования. Tips and Tricks для котиков

Иван Приходько

Ozon

Продолжение доклада «Нагрузочное тестирование для котиков». На этот раз Иван раскроет способ, с помощью которого в Ozon проводят анализ входящего трафика на сайт для определения, какие запросы можно использовать в нагрузочном тестировании по проду безопасно, а какие нужно выносить в сценарную часть. Вы узнаете, как развивалась эта методология, какие инструменты использовали и используют и как можно легко затащить то же самое в свой проект.

Как PostgreSQL может сделать больно, когда не ожидаешь

Михаил Жилин

Postgres Professional

На примере нескольких ярких инцидентов Михаил поделится опытом исследования проблем с производительностью в PostgreSQL:

• почему index scan / index only scan могут тормозить при адекватном плане запроса;

• почему индексы вообще могут не использоваться;

• почему может блокироваться таблица, если код приложения этого не делал;

• как время между приложением и базой может стать критическим фактором для производительности системы.

Инфраструктура

Тестирование чартов-библиотек в Helm

Егор Васильев

Positive Technologies

Поскольку Егор — DevOps-инженер, он сделает акцент на тестировании инфраструктуры. Этой темы практически никто не касается, в основном покрывая вопросы тестирования кода.

Он продолжит раскрывать нюансы тестирования Helm-чартов. В частности, расскажет о тестировании чартов-библиотек. Это особый вид чартов, который напрямую никогда не используется, а подключается как зависимость к другим чартам. Он имеет готовые ресурсы (шаблоны манифестов или функции), которые можно переиспользовать в других чартах. Отсюда и особая важность тестирования таких чартов. Вам расскажут как про саму проблематику, так и про решение: создание фейковых чартов с JSON-схемой, использование плагина unittest (название говорит само за себя) для Helm, а также про все попутные нюансы, которые возникают в процессе.

Другое

Заимствование — орудие и оружие, или Почему заимствования так бесят

Максим Кронгауз

НИУ ВШЭ

В лекции речь пойдет о заимствованиях и нашем отношении к ним. Почему в обществе вопрос об ограничении или даже запрете заимствований возникает с завидной регулярностью, и также власть периодически предпринимает попытки законодательно ограничить заимствования? Борьба с заимствованиями стала цикличным процессом. Можно ли сказать, что заимствования вообще вредны или, напротив, полезны? Мы разберем конкретные примеры заимствований и причины их использования: от шопинга и митболов до абьюза и груминга, от моды до манипулятивности. И, конечно же, примем окончательное решение!

ASK EXPERT: обсудите свой вопрос с экспертом

На площадке конференции Heisenbug мы проведем серию 40-минутных сессий в формате »1 на 1» с экспертами индустрии. Вы сможете обсудить ваш проект и задать интересующие вопросы. В индивидуальном порядке и в камерной обстановке. Кликайте на экспертов, чтобы посмотреть их специализацию.

Любой участник с офлайн-билетом может подать заявку на экспертную сессию. Для этого нужно заполнить форму регистрации. После заполнения формы мы передадим запрос эксперту.
Эксперты выбирают наиболее интересные вопросы и назначают время встречи. Вопросы к эксперту лучше формулировать как можно точнее и полнее. Это мотивирует сделать выбор в вашу пользу. Мы свяжемся с вами, чтобы сообщить о решении эксперта.
Можно записаться к нескольким экспертам — в этом случае нужно будет заполнить форму несколько раз.
Форма будет открыта, пока не наберется максимальное количество участников.

Переосмысление автоматизации тестирования: от генерации SQL-запросов до кастомных проверок

Михаил Палыга

РСХБ.цифра

Михаил Герасимов

РСХБ.цифра

В докладе вам расскажут о собственном решении — фреймворке CheckMateDB, который позволяет:

• генерировать SQL-запросы с помощью Java-кода, используя гибкий и понятный инструмент CriteriaBuilder;

• унифицировать доступ к данным через компонент DaoCommon;

• реализовывать кастомные проверки данных на основе бизнес-логики с помощью AssertionUtils.

Обсудим, как CheckMateDB помогает снизить сложность тестов, уменьшить количество дублируемого кода и повысить читаемость автотестов. Кроме того, вам продемонстрируют практические примеры его применения, включая интеграцию с банковскими системами, такими как АБС ЦФТ, и опыт миграции с Oracle на PostgreSQL.

Доклад поможет вам понять, как унифицировать подходы к генерации SQL-запросов. У вас появятся примеры реализации кастомных проверок, которые легко адаптировать к своим проектам, а также идеи, как оптимизировать автотесты, улучшить читаемость кода и снизить затраты на его поддержку.

Как мы используем security-лейблы в PostrgeSQL для анонимизации данных

Семен Ремезов

Гринатом

Рассмотрим общую проблематику и необходимость анонимизации: что это, зачем и почему необходимость возникла. Обсудим, почему в тестировании все может быть ок —, а прод лежит.

Далее Семен расскажет, как в Гринатом пришли к security-лейблам в PostrgeSQL: как выбирали, какими способами решить проблемы с прода; как обсуждали использование UPDATE; как разбирали «Гарда Маскирование», другие виды анонимизации и аналоги имеющихся на рынке решений по анонимизации — и в итоге решили подождать PostgreSQL 15 и использовать security-лейблы.

Спикер поделится трудностями перехода из «идеи» в «практику», включая особенности реализации и описания лейблов, а также работы анонимизации (GitLab, вызов функции anon и т. д.).

Открытый микрофон

Попробуйте себя в роли спикера и расскажите обо всем, что волнует, прямо на конференции!

Выступите с блицдокладом на свободную тему в любом формате. У каждого участника будет 10 минут, чтобы поделиться своими историями. Записывайтесь по ссылке, и мы с вами свяжемся, чтобы уточнить формат вашего выступления.

Поучаствовать в активности можно, только если у вас есть офлайн-билет на конференцию. Записи не будет.

Ozon IT MuzLoto

Вас ждет командная игра в лото, но вместо цифр в карточках — названия самых знаменитых хитов. Включая околоайтишные!

По отрывку из песни, клипа или записи концерта нужно угадать эту песню и, если повезет, найти ее в своей карточке и вычеркнуть. Кто зачеркнет все песни в карточке — кричит «Бинго!».

Будет 3 раунда, в каждом несколько победителей.

Удачи!

Баги нашего мышления

На BoF, в отличие от докладов и круглых столов, нет деления на участников и ведущих — здесь все общаются друг с другом на равных. Главное — не офтопить и обсуждать тему.

Поговорим о том, как когнитивные искажения влияют на работу тестировщика и как с этим справляться. С вами поделятся личным опытом и конкретными примерами задач в тестировании, где когнитивные искажения сыграли свою роль. Обсудим, как их можно избежать.

Делитесь своими историями, методами и инструментами, которые помогают вам оставаться объективными в работе. Давайте обсудим, как не попадать в ловушки мышления и делать процесс тестирования более эффективным.

Заключение

Кажется ли вам, что этот список тем отражает тестирование в 2025-м, или считаете, что нужно говорить о чём-то ещё? Если второе — сообщайте в комментариях, о чём, и к следующему Heisenbug можем учесть ваш фидбек.

А пока что нам остаётся напомнить главное про этот:

5–6 апреля
Москва + онлайн
Информация и билеты — на сайте

Будем рады видеть на Heisenbug — хоть лично в Москве, хоть в качестве онлайн-участников!