Сергей Разуваев — Проблемы и решения при тестировании тяжелого энтерпрайза

Показать описание

Ближайшая конференция — Heisenbug 2024 Autumn, 10 октября (Online), 17—18 октября (Санкт-Петербург + трансляция).
— Ближайшая конференция: Heisenbug 2023 Autumn — 10–11 октября (online), 15–16 октября (offline)
— —
Кейс автоматизации тестирования и успешной борьбы с сопутствующими автоматизации проблемами: скорость тестов, стабильность тестов и организационные проблемы. Данный доклад будет полезен как аудитории, которая только приступает к автоматизации процесса тестирования, так и достаточно опытным специалистам, а также тем, кто экспериментирует с новыми подходами.

Тестирование очень крупного проекта никогда не бывает простым. Этому способствуют несколько факторов:

— Специфика: тесты в цифровом банке для бизнеса сложные. Там работают не с задачами вроде корректности заполнения поля, а со сложными и зачастую длинными бизнес-кейсами, например, заполнение платежного поручения.
— Объем: тестов много, изменений, на которых нужно запускать тесты тоже много.
— Анализ: огромное количество отчетов и тестовых результатов усложняет анализ проблемных тестов.
—Структура: команд, пишущих тесты, также много и они разбросаны по разным подразделениям банка.

Это приводило к огромному количеству проблем:

— долгая и нестабильная работа тестов;
— позднее обнаружение дефектов (уже после попадания их в код релизной ветки);
— починка одних тестов ломала другие, прогонка всех тестов на ПР-чеках была, в принципе, невозможна.

Решение этих проблем заняло несколько лет и привело к созданию и внедрению ряда инструментов и технологий. Например, в Сбере появился фреймворк тестирования со своим механизмом поиска элементов и выполнения логики проверок на стороне браузера. Также возник портал с детальной статистикой по результатам тестов, харвестер — инструмент для анализа влияния изменений кода ПР на тесты и т.д. Внедрение этих инструментов существенно помогло, но обнажило еще ряд организационных и качественных проблем (скорость и стабильность). Но с ними Сбер тоже успешно справился. Как? Сергей расскажет в этом докладе.