Разбор Test IT: как техническая ошибка превращается в потери реального российского бизнеса

11

В российских компаниях проблемы с качеством ПО проявляются не только в крупных сбоях. Они возникают и внутри процессов разработки: автоматические проверки пропускают ошибки, нестабильные тесты задерживают выпуск, а команды тратят значительную часть времени на поддержку тестовой инфраструктуры и разбор результатов. 

Не каждый производственный сбой начинается с очевидной ошибки в коде. Проблема может возникнуть при переносе системы в другую инфраструктуру, выпуске обновления или работе под нагрузкой, которую заранее не воспроизвели в тестовой среде. Для бизнеса результат один: недоступный сервис, остановленные операции и потерянная выручка. 

Некоторые отечественные игроки публикуют разборы таких случаев, в которых можно проследить всю цепочку — от технической причины до последствий. Собрали их вместе в продолжение нашего материала про ошибки контроля качества зарубежного бизнеса.

История №1. Сбой обнаружили через 18 часов — потери превысили 18 млн рублей

В «Купере» после переноса одного из микросервисов в новое облако остановилась репликация базы данных. Причиной стали логи медленных запросов PostgreSQL: они заполнили диск. 

Проблема: В прежней инфраструктуре эти логи по умолчанию были отключены, поэтому после миграции проблема проявилась из-за различий в настройках. При переносе не проверили пользовательские параметры базы данных. В этом случае проблема заключалась не только в конфигурации. Ее последствия долго оставались незамеченными.

Сбой обнаружили примерно через 18 часов, когда сотрудники заметили отклонения в бизнес-показателях. Компания оценила потери более чем в 18 млн рублей. Вывод: при миграции необходимо проверять не только запуск приложения, но и состояние зависимых компонентов, включая репликацию, заполнение дисков, работу журналирования и ключевые бизнес-показатели. 

История №2. Изменение базы данных остановило образовательную платформу на полтора часа

В марте 2024 года в Skyeng при внедрении механизма мягкого удаления данных понадобилось изменить индексы в PostgreSQL. При этом новый код приложения и новая структура индексов должны были работать согласованно.

Проблема: Во время развертывания старые уникальные индексы удалили, но действовавший код еще не использовал новые частичные индексы. Запросы к базе стали выполняться слишком долго, соединения и очередь запросов переполнились, а сервис перестал работать под нагрузкой. Быстро вернуть прежнее состояние было нельзя: старые индексы пришлось бы создавать заново, что занимало несколько часов.

С 12:20 до 13:52 основная часть образовательной платформы была недоступна. В Skyeng отметили, что обычно проводят более 3000 уроков в час, и назвали инцидент дорогостоящим для бизнеса. Точная сумма потерь в публикации не указана.

Риск возник на стыке изменения схемы базы данных и развертывания приложения. Проверять нужно не только новую версию кода или отдельно созданные индексы, но и совместимость состояний системы на каждом этапе миграции. Важна и возможность безопасного возврата к предыдущей версии, когда изменение уже затронуло структуру данных.

История №3. Нагрузочные испытания не учли реальный сценарий — заказов не было четыре часа

23 сентября 2022 года платформа Dodo IS, через которую «Додо Пицца» принимает заказы, столкнулась с каскадным сбоем в вечерний пик. В течение нескольких часов проблемы затронули сайт, мобильное приложение и кассы ресторанов. В 17:30 число заказов по системе упало до нуля. Прием заказов восстанавливался постепенно, а клиенты и пиццерии испытывали проблемы около четырех часов.

Проблема: Разбор показал, что одной из ключевых причин стала неверная конфигурация кэша файловых дескрипторов таблиц в базе данных. Дополнительную нагрузку создало сочетание рассылки пуш-уведомлений примерно 3,5 млн клиентам и высокого вечернего спроса. Сценарии нагрузочного тестирования не отражали обновившийся профиль нагрузки: объем рассылок вырос, а их влияние на запросы к базе учитывалось недостаточно.

Компания назвала это крупнейшим падением платформы с 2018 года по техническому масштабу и недополученной выручке. Точная сумма потерь не раскрыта. В постмортеме команда отдельно обозначила необходимость переработать нагрузочные сценарии, приблизить профиль испытаний к реальным производственным показателям и обеспечить возможность проверять больше сценариев на разных стендах. 

Этот случай важен тем, что проблема заключалась не в одном неудачном релизе: расследование не выявило дефекта в коде исследованной версии. Система оказалась уязвима к сочетанию конфигурации базы данных и реальной нагрузки. 

История №4. Как успешные HTTP-проверки не заметили ошибку на сайте Skyeng

Еще одна история от Skyeng. В январе 2022 года после обновления сайта пользователи вместо главной страницы попадали на одну из внутренних страниц. При этом с технической стороны все выглядело нормально: сервер отвечал, а автоматические проверки получали HTTP-статус 200. Получалось, что сайт оставался доступен, но посетители не могли попасть туда, куда собирались. По оценке команды, за время инцидента с 16:45 до 18:35 потери составили около 20 тыс. рублей. Эту сумму в Skyeng рассчитали на основе динамики заявок.

Проблема: причина оказалась в маршрутизации: после изменения в системе появилось правило, из-за которого запрос к главной странице обрабатывался неправильно. Проверки подтверждали, что запрос завершился успешно, но не замечали, что пользователю возвращается не та страница.

Автоматизация проверяла техническую доступность сайта, но не гарантировала корректность пользовательского сценария. Статус 200 подтверждал успешный ответ сервера, а не то, что человек увидит нужную страницу и сможет продолжить работу.

Вывод. При проверке релиза важно оценивать не только доступность приложения, но и то, какой результат получает пользователь. Иначе изменение может пройти контроль с формально успешными статусами, хотя ключевая функция уже работает неправильно.

История №5. Тесты падали еще до запуска сервиса – время шло

При переносе микросервисов в Kubernetes команда Garage Eight столкнулась с проблемой на этапе развертывания. В GitLab CI задача отмечалась как успешно выполненная сразу после отправки команды на запуск, хотя Kubernetes еще не успевал создать pod и подготовить сервис к работе.

Следующий этап конвейера начинал автоматические тесты, когда проверяемый сервис фактически еще не был доступен. Тесты закономерно падали, но причина заключалась не в проверяемой функциональности: среда не успевала подготовиться к запуску. В результате команде приходилось разбираться в ошибках, которые возникали из-за последовательности действий в самом процессе доставки изменений.

Проблема: завершение задачи развертывания и готовность сервиса к работе — разные состояния. Конвейер не учитывал эту разницу, поэтому тесты запускались в неподходящий момент, а их результаты не отражали качество самого приложения.  

Надежность тестирования зависит и от того, как организован процесс вокруг него. Перед началом проверок необходимо убедиться, что приложение действительно развернуто и доступно. Иначе даже корректные тесты будут давать ложный сигнал о проблемах, а команда — тратить время на поиск причины не там, где она возникла.


Как сделать результаты тестирования полезными для бизнеса

Российские кейсы показывают несколько разных источников риска: 

  • технически успешная проверка может не подтвердить корректность пользовательского сценария; 

  • нестабильные автотесты затрудняют интерпретацию результатов; нехватка истории замедляет диагностику; 

  • ошибки в CI/CD способны остановить выпуск; 

  • а тестирование отдельных функций не гарантирует готовность системы к реальной нагрузке.

Мы в Test IT искренне считаем, что для управления качеством важно видеть не только итоговый статус прогона, но и историю результатов, стабильность тестов, причины падений и контекст выполнения проверок. Вот почему эти задачи решаются в части управления тестовым процессом и анализа результатов автоматизации. 

Платформа позволяет отслеживать историю автотестов, оценивать их стабильность по последним 100 запускам, помечать нестабильные проверки и классифицировать причины падений — продукт, автотест или инфраструктура. Для анализа доступны подробности прогонов и история запусков. 

Это помогает собрать результаты в единый рабочий контур и сократить время на выяснение причин падений. При этом платформа управления тестированием не заменяет нагрузочные испытания, проверки готовности инфраструктуры и контроль конфигураций CI/CD — эти механизмы должны дополнять друг друга.

В конечном счете задача тестирования — дать бизнесу обоснованную уверенность в том, что изменение готово к выпуску. Чем раньше команда обнаруживает проблему и чем точнее понимает ее причину, тем меньше ресурсов требуется на исправление и тем ниже риск, что техническая ошибка превратится в бизнес-инцидент.

  • Вы можете сами проверить как изменится процесс, попробовав бесплатный пробный период – сделать это очень просто: переходите по ссылке, запускайте платформу и тестируйте решение на реальном проекте.

  • А для совсем небольших команд — до 5 человек — в «Тест АйТи» есть полностью бесплатный доступ без ограничения по времени. Попробуйте платформу: начните бесплатно и пользуйтесь столько, сколько нужно.

Была ли статья полезной?