Опыт миграции команды Rambler с немецкого TestRail на Test IT

Всем привет! На связи техническая команда портала «Рамблер»!

Весна 2022 года подарила российскому бизнесу много занимательных недель, потраченных на поиск альтернатив ушедшим с отечественного рынка сервисам. Нас этот «тренд» тоже не обошел стороной, но мы смогли без проблем, финансовых потерь и кранчей заменить западное ПО равноценным российским аналогом. 

Получилось настолько хорошо, что мы решили рассказать вам об этом. Как минимум, чтобы поделиться опытом, как максимум — вселить в скептиков уверенность в отечественном софте.

Поиск альтернативы

Для организации качественного и структурированного тестирования наших разработок мы, как и многие в России, использовали инструмент TestRail от немецкого холдинга Gurock. Это мощный пакет с простым интерфейсом и очень гибкой тарификацией. TestRail полностью нас устраивал, причин уходить с него не было. Но 31 марта Gurock закрыл все российские аккаунты, хранившие контент в облаке. 

Нам повезло больше, так как мы использовали не облако, а развернули TestRail на своих серверах. Пакет работал, но ни обновлений, ни поддержки, ни уверенности в завтрашнем дне больше не было. После этих по-немецки безапелляционных новостей в первые несколько дней отдел тестирования был похож на известную гифку с Траволтой.

Собравшись с мыслями и юристами, мы сформировали список требований для поиска новой системы тестирования:

1. Российское ПО с оплатой в рублях

2. Высокая скорость работы

3. Возможность импорта тестового покрытия

4. Интеграции со смежными IT-системами

5. Поддержка автотестов

Изучив отечественные решения и собрав отзывы на них от коллег по индустрии, мы остановились на инструменте Test IT, который лучше других отвечал требованиям. Представители Test IT провели для нас демонстрацию работы системы и сделали сравнительный анализ с конкурентами, результаты которого полностью совпали с нашими собственными выводами.

Отдельное уважение за клиентоориентированность — всякие приятные плюшки, персональные скидки и оперативную поддержку от российских спецов, которые отлично понимают нас, а мы — их. Ребята сопровождали весь процесс внедрения и начала использования Test IT.

Мы начали пилотирование и развернули систему на наших серверах, коллеги из Test IT активно помогали в любых непонятных ситуациях — видно, что люди болеют за свой продукт. После развертывания с учетом всех особенностей нашей серверной архитектуры и политик информационной безопасности мы приступили к миграции тестового покрытия из бэкапа TestRail.

Миграция и эксплуатация

В процессе миграции из TestRail мы перевезли около 15 000 тестовых сценариев. Это были сценарии различной степени сложности: от простых чек-листов до сложных сценариев с большим количеством шагов, пред- и постусловиями и вложенными медиаданными.

Большинство данных тестовых сценариев удалось перевезти в автоматическом режиме путем экспорта в XML-данных из TestRail с последующим их импортом в Test IT. Потребовалось только внести минимальные изменения в сам XML — сменить название поля  на >> (для всех вхождений).

Но как не бывает фильмов без конфликта, так не бывает миграции совсем без проблем. Из-за устаревшей версии TestRail 5.5 мы не смогли перевезти медиаданные из тестов в автоматическом режиме. Метод API, который поддерживает автопереезд, появился в версии TestRail 5.7.

Второй трудностью стала часть тест-данных наших сценариев в TestRail, находившаяся в поле . Эти данные тоже не удалось импортировать в Test IT автоматически.

Мы передали этот кейс команде Test IT, и там завели задачу на новую фичу (едва ли на такую реакцию можно было бы рассчитывать при контакте с европейскими компаниями). 

Нам нужно было решить проблему «прям щас», поэтому перенос мы закончили вручную. Весь процесс миграции прошел очень быстро — исправление XML и автоматическая выгрузка из одной системы в другую заняли порядка двух часов. И это при нашем-то немалом объеме. А ручную работу с данными, которые не удалось перенести автоматически, мы решили совместить с их актуализацией и повышением качества тестового покрытия, что давно запланировали. На всё про всё ушел месяц, но Test IT не имел к этому отношения.

Полет нормальный, тестирование отличное

После полного переезда мы погрузились в изучение возможностей Test IT: переработали часть наших сценариев в формат чек-листов, а часть перевели в формат общих шагов, что позволило сократить объемы тестов, не теряя в их глубине и качестве.

Поработав несколько месяцев с Test IT, мы начали сокращать избыточность объема тестовых сценариев. Оставшиеся проходят актуализацию и стандартизацию с помощью инструментов Test IT. Заодно мы интегрируем систему с нашей Jira, чтобы упростить создание баг-репортов для разработчиков — в принципе это все умел и TestRail, но где теперь TestRail, а где теперь мы все.

Сейчас мы планируем интеграцию с нашими системами автоматизации, чтобы сделать Test IT единой точкой входа для управления, исполнения и анализа тестирования всех наших продуктов.

Эта история могла быть длиннее, если бы в процессе миграции с немецкого на российский сервис мы столкнулись с множеством препятствий и героически их преодолевали. Но героизм в этой истории проявила только поддержка Test IT, которая всегда была на связи и активно участвовала в нашем переезде. 

Главное достоинство Test IT для нас заключается в том, что этот инструмент смог полностью заменить TestRail без скидок и компромиссов. После простого переезда мы продолжили работать без изменений в процессах и их результативности.

За перспективы российской IT-отрасли мы теперь переживаем меньше — если очень захотеть, отечественный аналог зарубежного продукта найдется. И чтобы призвать к себе специалиста поддержки, не придется выписывать ему командировку из Германии и заказывать переводчика.

Статья впервые опубликована в блоге Rambler&Co на Habr