Запуск — это одно выполнение теста на настоящем сайте. Главное его свойство: после запуска остаются доказательства — снимок каждого шага и результат каждой проверки. Если что-то пошло не так, видно, где именно и как это выглядело. Ниже — как запуск проходит и что означает его результат.
Как запускается
Тест попадает в очередь на сервере. Оттуда его забирает исполнитель — Chrome с установленным дополнением, у которого включён режим исполнителя. Проверяет очередь он сам, раз в минуту, поэтому никаких дополнительных действий от вас не нужно.
Один браузер выполняет один запуск за раз. Это не недоработка, а осознанное решение: тест занимает вкладку и повторяет действия человека, а два человека в одной вкладке одновременно работать не могут. Если запусков много, ставят несколько исполнителей или отдельный компьютер под них.
Что происходит во время
- Исполнитель открывает отдельную вкладку и идёт по шагам теста по порядку.
- Каждый шаг оставляет снимок экрана и, где нужно, результаты проверок.
- В приложении видно, как шаги подсвечиваются по мере выполнения, — можно наблюдать за запуском в реальном времени.
- В конце вкладка закрывается сама.
На время запуска вкладка браузера становится активной: снимок снимается с той страницы, которую видно на экране. Поэтому запуск заметен для того, кто сидит за этим компьютером, — ещё одна причина держать для исполнителей отдельную машину.
Результат запуска
- Пройдено — все шаги выполнились и все проверки прошли. Значит, проверяемая часть интерфейса работает как ожидалось.
- Проблемы — шаги прошли, но какая-то проверка не прошла. Достаточно одной, чтобы запуск считался проблемным: именно так продукт замечает поломки.
- Ошибка — тест не смог дойти до конца: шаг не сработал. Так бывает и из-за поломки на сайте, и из-за устаревшего действия. Если у шага включено «продолжать при ошибке», тест пойдёт дальше; иначе остановится на нём.
Проверки и шаги — это разные вещи, и путать их не стоит. Не пройденная проверка означает «на странице проблема», но тест продолжается и собирает остальные результаты. Ошибка шага означает «идти дальше нельзя» — тест останавливается.
Доказательства
Запуск не просто говорит «не прошло» — он показывает. В истории запуска лежат снимки всех шагов и полный список проверок, а проблемные места стоят первыми. Можно открыть нужный шаг и увидеть своими глазами, как выглядела страница в тот момент. Это и есть главное отличие от проверок «на глаз»: через месяц вы всё ещё сможете объяснить, что произошло.
Если исполнитель пропал
Компьютер выключили, браузер закрыли, пропала связь — запуск остаётся незавершённым. Через полчаса продукт помечает его ошибкой «исполнитель отключился»: не вечно же ему висеть в работе. Такой запуск можно поставить заново, и он начнётся с начала — незавершённый не продолжается сам, потому что снимки и результаты заново уже не соберёшь.
Поэтому исполнителем для расписаний держат постоянно включённый компьютер с открытым Chrome. Обычный рабочий браузер для этого подходит плохо: его закрывают в конце дня.
Дальше: как запускать тесты по расписанию — в разделе Расписание.