Тестирование конфигурации: aftermath через 5 лет

Пару лет назад я увлекался темой тестирования конфигурации – проверку конфигурации приложений оффлайн, перед выкладкой на рабочие сервера, с помощью юнит-тестов. Эту идею к нам в проект принес Андрей Сатарин, позже я применил ее более масштабно в другом проекте, и рассказывал об этом опыте на Гейзенбаге 2018.

Я давно уже не касался этой темы, потому что для меня в ней ничего принципиально нового не происходило: написанные тесты продолжали работать, новых тестов мы писали не так уж много, новых проектов, где конфигурацию было бы важно тестировать – не подворачивалось. Но перед уходом в творческий отпуск я почищал хвосты – и рефлексировал над тем, что мы получили в нашем проекте от внедрения тестов конфигурации, через 3-5 лет после их внедрения.

Перспектива "через 5 лет после внедрения" ценна, потому что многие идеи выглядят безумно круто в моменте, на энтузиазме – а в долгой перспективе оборачиваются больше накладными расходами, чем прибытком.

Aftermath у меня получается такой: даже через 3-5 лет после внедрения, даже в не очень динамично развивающихся проектах – тесты конфигурации остаются полезными. В CI довольно регулярно видны ошибки, находимые этими тестами – то есть даже хорошо знающие проект разработчики все еще нередко ошибаются в каких-то деталях конфигурирования, и тесты эти ошибки подсвечивают до развертывания.

Я и сам перед уходом конфигурировал ряд новых инстансов приложения, и обучал других конфигурировать новые инстансы – в обоих случаях я сильно опирался на мной же написанные тесты конфигурации. Инструкция конфигурирования новых инстансов, которой я пользовался, и которую советовал другим, по-сути звучит как "сделайте начальные шаги 1-2-3, а потом запустите тесты конфигурации, и исправляйте обнаруженные ошибки" – и конфигурация, которая прошла тесты, в большинстве случаев заводилась на рабочих серверах без проблем.

Это плюсы. Минусы же в том, что я сомневаюсь, что тесты будут работать и поддерживаться без меня, или моих коллег, с которыми мы непосредственно над ними работали.

Как я это понял? – я пытался объяснить работу и научить пользоваться тестами конфигурации коллег не из нашей команды, и в процессе объяснения осознал, как это все непросто. И объяснить непросто, и понять со стороны: зачем вообще это все нужно, какую боль решает, и действительно ли эта боль настолько серьезна, чтобы ради нее со всем этим барахлом разбираться?

Двойная когнитивная нагрузка: сама идея тестирования конфигурации не слишком распространена, и не слишком очевидна – и тестовая обвязка для ее реализации тоже не стандартная, про которую можно почитать на stackoverflow, а собственный велосипед, сделанный на коленке, под задачи конкретного проекта.

Слишком много неочевидных вещей для человека, который всего лишь хочет подправить адрес сервера в текстовом конфигурационном файле – и неожиданно получает 3 красных теста, не пускающих приложение в CD. И теперь ему нужно протрассировать эти ошибки назад, до своего изменения в конфигурционном файле, и понять, почему это изменение неправильное.

Собственно, я писал про эту проблему (…нет готовой инфраструктуры), и мне все еще кажется, что она тут ключевая. Даже с обычным юнит-тестом, если он вдруг покраснел, и не очень понятно, что именно тест проверяет – есть большое искушение просто отключить красный тест, чтобы не мешал. Но с обычными юнит-тестами большинство опытных разработчиков уже привыкли, что это крайняя мера, и сначала надо изо всех сил попытаться понять, что тут проверяет этот тест – потому что есть большой шанс, что он проверяет что-то важное, и это не ложное срабатывание. С тестами конфигурации такой привычки нет, потому что вообще не очень понятно: что это, зачем, и насколько важно.

В итоге, на данный момент мне кажется, что тесты конфигурации могут играть в плюс, но стоимость их поддержки довольно высока. Поэтому в плюс они, вероятно, будут играть пока их поддерживает автор, а потом – первые кандидаты под нож.

…с другой стороны: то же самое можно сказать про добрые 30%-50% кода, который я встречал в жизни. Так что, может быть, это еще и довольно неплохой результат :)