A/B-тест формы онлайн-записи: как измерить рост реальных броней

Начните с наблюдаемого затруднения. Например, посетители выбирают специалиста, затем обнаруживают отсутствие подходящего времени и возвращаются назад. Гипотеза может звучать так: показ ближайших доступных дат раньше выбора специалиста повысит долю посетителей с подтверждённой записью без роста неподходящих назначений. Это конкретное изменение, а не полная переделка формы.

Microsoft Research рекомендует заранее формулировать гипотезу, показатели успеха и единицу распределения, а также оценивать необходимый объём наблюдений. Эти принципы важны и для формы записи: иначе красивый график не позволит отделить эффект интерфейса от ошибок эксперимента.

Для первого теста выберите изменение с понятной причинной связью: порядок шагов, объяснение длительности или показ итоговой стоимости. Не меняйте одновременно цену, доступность слотов и структуру формы, если хотите понять влияние именно интерфейса. Неработающую кнопку или очевидную ошибку не требуется сохранять для контрольной группы.

Зафиксируйте знаменатель до запуска. Для простой модели это уникальные подходящие посетители, назначенные в вариант на входе в форму до показа различий. Числитель — такие посетители, у которых в установленное окно наблюдения появилась хотя бы одна подтверждённая запись. Если вместо этого считать все бронирования, получится другая метрика: число записей на посетителя.

Подтверждение должно приходить из системы бронирования. Страница «спасибо» не всегда доказывает, что слот действительно закреплён: запрос мог ещё ожидать ответа, согласования или оплаты. Определите, какой бизнес-статус считается успехом именно у вас, и используйте одинаковое определение в двух вариантах.

Свяжите идентификатор эксперимента и вариант с записью техническим идентификатором, не добавляя телефон или имя в адрес страницы и аналитические параметры. Правила обработки данных согласуйте в рамках вашей системы. Повторная отправка события не должна превращаться во вторую успешную запись.

Условный пример: из 1000 посетителей первого варианта записались 80, а из 1000 второго — 88. Наблюдаемая конверсия составляет 8% и 8,8%; разница — 0,8 процентного пункта, или 10% относительно первого значения. Это только иллюстрация расчёта. Сами цифры ещё не доказывают устойчивый эффект и не заменяют статистическую оценку.

Посетителя обычно закрепляют за одним вариантом на период эксперимента. Если при каждом обновлении страницы показывать другую форму, человек получит смешанный опыт. При этом идентификатор браузера не равен человеку: другой телефон или очищенные данные могут изменить назначение. Ограничения выбранной единицы нужно учитывать в выводах.

Microsoft отдельно выделяет проверку качества данных и Sample Ratio Mismatch: существенное отклонение фактического распределения от запланированного. При такой проблеме сначала исследуют назначение вариантов, потери событий и фильтры. Одновременно контролируют защитные показатели, например ошибки и скорость, чтобы улучшение основной метрики не скрывало ухудшение продукта.

Для записи есть дополнительная прикладная сложность: варианты продают одни и те же ограниченные слоты. Если один путь быстрее заполняет вечер, другому остаётся меньше доступных вариантов. Особенно заметно это при почти полной загрузке. Это ограничение интерпретации эксперимента, а не доказательство плохой формы.

Сохраняйте информацию о доступности на входе и анализируйте дефицит вместе с результатом. Не исключайте задним числом неудобные наблюдения ради красивой конверсии. Если взаимное влияние существенно, дизайн эксперимента нужно обсудить с аналитиком; простое разделение по дням не решает проблему автоматически, поскольку дни отличаются спросом.

При внедрении MySlot уточните, как связать вариант формы с идентификатором брони и получить надёжный статус подтверждения. Распределение трафика может выполняться на сайте или отдельной платформой, а календарь и учёт записей должны оставаться общими и непротиворечивыми.

Не считайте наличие аналитики обещанием готового статистического движка. Понадобятся согласованные события, доступный способ передачи данных и инструмент анализа. На демонстрации проверьте полный путь одного тестового посетителя до записи, включая отказ и повторную попытку.