Попап на сайте отеля: отключили — отказы упали на 6 п.п.
Опубликовано: 12 марта 2026 г. · 10 мин
Кратко: Сеть отелей отключила виджет Envybox (попап с обратным звонком), не проведя A/B тест. Меня попросили задним числом проверить гипотезу. Вердикт — попап вредил. Отказы в рекламном трафике упали на 6 п.п., бронирования выросли на 20-30% (консервативно, за вычетом сезонности). Рассказываю, как это проверить без A/B теста.
Ко мне обратились с необычной задачей. Не «настрой рекламу» и не «сделай аудит». А вот что: «Мы в феврале отключили всплывающее окно на сайте. Была гипотеза, что попап отпугивает гостей. Но A/B тест никто не проводил, решение нигде не зафиксировали. Можешь задним числом проверить — сработало или нет?»
Задача интересная. Данные есть, Яндекс.Метрика стоит, цели настроены. A/B теста нет, но можно сравнить «до» и «после», сделать поправку на сезонность и вытащить ответ из того, что имеем.
Вот что получилось.
Шаг 1. Найти точную дату отключения
Первая проблема — никто не помнит, когда именно отключили попап. «Где-то в феврале». Ни тикета, ни записи в чате, ни коммита.
Но в Метрике была цель «Единая цель с виджетов Envybox». Она фиксировала каждое взаимодействие с попапом. Открываю график:
- До 16 февраля — стабильно ~46 достижений в день
- 16 февраля — последний день активности (20 достижений)
- После 17 февраля — тишина
Дата найдена: 16-17 февраля 2026 года. Метрика знает всё, даже если люди забывают.
Шаг 2. Сравнить «до» и «после» по отказам
Разделил данные на два периода:
- ДО: 1 января — 16 февраля (47 дней, попап активен)
- ПОСЛЕ: 17 февраля — 11 марта (23 дня, попап отключён)
Общий показатель отказов: 16.55% → 13.65% (минус 2.9 процентных пункта).
Но средние цифры врут. Разбиваю по устройствам:
- Смартфоны: 17.4% → 14.7% (−2.7 п.п.)
- ПК: 13.4% → 10.6% (−2.8 п.п.)
- Планшеты: 27.9% → 16.8% (−11.1 п.п.)
Планшеты — чемпион. Отказы рухнули на 11 пунктов. Вероятная причина: на экране планшета попап перекрывал половину контента, и у пользователя два варианта — закрыть окно или закрыть вкладку. Многие выбирали второе.
Шаг 3. А может это просто сезонность?
Справедливый вопрос. Февраль-март — начало сезона бронирований. Может, отказы снизились не из-за попапа, а потому что пришли более целевые пользователи?
Проверяю тот же период за 2025 год (когда Envybox работал весь период):
Февраль 17 — март 11, сравнение год к году:
- ПК: 14.9% (2025) → 10.6% (2026) = −4.3 п.п. Сезонность в 2025 давала снижение ~2.5 п.п. Чистый эффект отключения попапа — от 0.3 до 1.5 п.п. сверх сезонности. При этом абсолютный уровень отказов стал на 4.3 п.п. лучше, чем год назад.
- Смартфоны: 15.8% → 14.7% = −1.1 п.п. Эффект скромнее. На мобильных попап либо был менее навязчивым, либо пользователи научились его быстро закрывать.
Важная оговорка: объёмы рекламного трафика различаются в 4-6 раз между годами (в 2025-м бюджет был значительно больше). Это влияет на сравнимость данных — при другом объёме трафика меняется и его качество. YoY-сравнение даёт ориентир, но не точный ответ.
Дополнительная проверка — органический (поисковый) трафик. Это контрольная группа: его качество не зависит от рекламного бюджета.
Bounce rate органики: 4.3% (2025) → 5.6% (2026) в тот же период. Стабильно, без значимых колебаний. Попап на поисковых пользователей влиял минимально — они приходят с конкретным намерением и менее чувствительны к раздражителям.
Шаг 4. Рекламный трафик — главный пострадавший
Отказы в рекламном трафике:
- ДО: 17.8%
- ПОСЛЕ: 11.8%
- Разница: −6 процентных пунктов
Год к году (тот же период, фев-мар): 16.7% (2025) → 11.8% (2026) = −4.9 п.п.
Человек кликает по рекламе, за клик заплачены деньги. Он попадает на сайт отеля и в первые секунды получает попап «Оставьте номер, мы перезвоним!». Вместо того чтобы посмотреть номера и цены, он закрывает вкладку. Каждый такой отказ — выброшенные рекламные деньги.
Минус 6 п.п. отказов в рекламе — это реальная экономия бюджета.
Шаг 5. А что с бронированиями?
Среднесуточные показатели ключевых целей:
- Бронирование номера (шаг 5 воронки): ~16/день → ~25/день (+56%)
- Оплаченные заказы (CRM): ~82/день → ~90/день (+10%)
- Созданные заказы (CRM): ~105/день → ~105/день (≈0%)
Последний пункт важен: общее количество заказов не выросло, а вот доля оплаченных — выросла. Пользователи не просто чаще начинают бронировать, они чаще доводят до оплаты. Без попапа воронка становится чище.
+56% к бронированиям — сырая цифра. Часть роста — сезонность (февраль-март — начало сезона), часть — изменение рекламных бюджетов. Консервативная оценка чистого эффекта отключения попапа: +20-30% к бронированиям. Точнее определить без A/B теста невозможно.
Два неожиданных артефакта
Длительность визита упала на 10%. Средняя: 287 → 259 секунд. На первый взгляд — плохо.
Но Envybox фиксировал взаимодействия: открыл попап, закрыл, ввёл текст, кликнул. Метрика считала это активностью и добавляла ко времени сессии. После отключения «надбавка» исчезла. На ПК падение максимальное — минус 19%. На планшетах, наоборот, время выросло на 8%: пользователи, которых раньше попап «выгонял», теперь остаются и листают сайт дольше.
Снижение длительности — не ухудшение, а дефляция искусственно раздутой метрики.
Глубина просмотра выросла на 4.3%. С 4.6 до 4.8 страниц за визит. Без раздражающего окна пользователи спокойно изучают номера, тарифы, фотографии — именно то, ради чего пришли.
Что потеряли
Будем честны: попап генерировал контакты. Цель «Единая цель с виджетов Envybox» фиксировала ~46 достижений в день. После отключения — 3 в день. Минус 43 ежедневно.
Но «достижение цели» ≠ «заявка». Часть — случайные клики. Часть — люди, которые и так бы позвонили. А обычная форма обратного звонка на сайте продолжает работать, просто без навязчивости.
Главное: рост бронирований (+20-30% консервативно) перекрывает потерю попап-контактов с большим запасом.
Как правильно тестировать изменения на сайте
В этом кейсе A/B теста не было — и именно поэтому мы получили оценку «+20-56%» вместо точного числа. Вот как стоило сделать.
Что такое A/B тест
Трафик делится случайным образом на две группы. Группа A видит сайт с попапом, группа B — без. Обе группы работают одновременно, в одних и тех же условиях. Через 2-4 недели сравниваете конверсии — и получаете чистый эффект без поправок на сезонность, бюджет или фазу луны.
Минимальный чеклист для A/B теста
- Одна переменная. Меняйте только одну вещь: попап включён или выключен. Не «выключили попап И обновили баннер И поменяли цены». Иначе невозможно понять, что именно сработало.
- Достаточный объём трафика. Для статистической значимости нужно минимум 1 000 сессий на каждый вариант (при ожидаемой разнице конверсии >1%). Чем меньше разница — тем больше трафика нужно. На сайте с 200 визитами в день тест займёт 10+ дней.
- Случайное разделение. Трафик делится по ClientID — уникальному идентификатору, который Метрика присваивает каждому браузеру. Пользователь всегда видит один и тот же вариант, что важно для чистоты теста. Нюанс: если гость зашёл с телефона и ноутбука — это два разных ClientID, он может попасть в разные группы. На практике это не критично при достаточном объёме трафика. А вот ручное деление (по дням, устройствам, каналам) — всегда ошибка: группы изначально неравнозначны.
- Одинаковый период. Обе группы работают одновременно. Нельзя сравнивать «понедельник с попапом» и «вторник без» — день недели влияет на поведение.
- Заранее выбранная метрика. До запуска теста решите, что измеряете: bounce rate, бронирования, клики по CTA. Нельзя после теста подбирать метрику, которая «красиво выглядит».
- Статистическая значимость ≥95%. Не останавливайте тест, когда «уже видно разницу». Ранняя остановка — главная причина ложных результатов. Используйте калькулятор (например, встроенный в VWO, Optimizely или любой онлайн AB test calculator).
Чем тестировать
Для отельных сайтов подойдут:
- Яндекс.Метрика → Эксперименты — бесплатно, интеграция с Метрикой из коробки, деление по ClientID
- VWO, Optimizely, AB Tasty — визуальный редактор, не нужен разработчик
- Самописное решение — разделение по cookie или user ID на уровне сервера. Подходит, если есть разработчик
Когда A/B тест не нужен
Не всё нужно тестировать:
- Критические баги и ошибки — сломанная форма бронирования, 404 на главной. Чините сразу, не тестируйте.
- Юридические требования — добавление согласия на cookies, политики конфиденциальности.
- Микроизменения — смена оттенка кнопки, перестановка элементов в футере. Эффект будет в пределах статистической погрешности.
A/B тест оправдан, когда изменение затрагивает ключевой элемент воронки (попап, форму бронирования, посадочную страницу) и вы ожидаете заметную разницу в поведении.
Как проверить гипотезу без A/B теста: пошаговый алгоритм
Но в реальности половина изменений на сайте вносится без тестов: кто-то обновил баннер, поменял форму, отключил виджет. Результат никто не замерил. Знакомо?
Вот алгоритм, который я использовал в этом кейсе. Он работает для любых изменений, влияющих на поведение пользователей.
1. Определите точную дату изменения
Если виджет отправлял события в Метрику — откройте отчёт по соответствующей цели и найдите день, когда срабатывания прекратились. Если событий не было — проверьте:
- Историю коммитов в репозитории
- Логи CMS или конструктора сайта
- Переписку с подрядчиком в чатах
- Историю изменений в Google Tag Manager
Без точной даты анализ теряет смысл. Это фундамент.
2. Разделите данные на «до» и «после»
Берите хотя бы 2 недели в каждом периоде (лучше — 4-6 недель). Короткие периоды дают статистический шум. Смотрите:
- Отказы (bounce rate) — главный индикатор раздражения
- Глубина просмотра — вовлечённость
- Конверсии — целевые действия (бронирования, заявки, покупки)
Обязательно разбейте по устройствам. В нашем кейсе планшеты дали −11 п.п. по отказам, а смартфоны — только −2.7 п.п. Средняя цифра скрывала бы эту разницу.
3. Проверьте сезонность через YoY
Сравните тот же период за прошлый год. Если в 2025 отказы тоже падали в феврале-марте — значит, часть эффекта сезонная.
Формула оценки:
Чистый эффект = (изменение 2026) − (сезонное изменение 2025)
Пример из кейса: отказы на ПК упали на 2.8 п.п. (2026), сезонное снижение в 2025 — 2.5 п.п. Чистый эффект ≈ 0.3 п.п. Но абсолютный уровень стал на 4.3 п.п. лучше, чем год назад. Значит, кумулятивный эффект есть, просто он накапливался постепенно.
4. Найдите контрольную группу
Идеальная контрольная группа — сегмент трафика, на который изменение не повлияло. Для попапов это обычно:
- Органический трафик — пользователи с конкретным намерением, менее чувствительны к раздражителям
- Прямой трафик постоянных клиентов — если можно выделить
Если контрольная группа стабильна, а экспериментальная (рекламный трафик) улучшилась — дело не в сезоне.
5. Учтите внешние факторы
Что ещё менялось в тот же период?
- Рекламный бюджет (в нашем кейсе — сокращение в 4-6 раз)
- Новые рекламные кампании или каналы
- Изменения на сайте помимо попапа
- Акции, распродажи, праздники
Каждый неучтённый фактор — дыра в выводах. Перечислите их явно, даже если не можете оценить влияние.
6. Дайте диапазон, а не точную цифру
Без A/B теста вы получаете оценку с погрешностью. Указывайте границы:
- ❌ «Бронирования выросли на 56%»
- ✅ «Бронирования выросли на 20-56%, консервативная оценка за вычетом сезонности — +20-30%»
Честный диапазон вызывает больше доверия, чем красивая круглая цифра.
Выводы для отельеров
Попапы — не зло само по себе. Но всплывающее окно, которое перехватывает внимание человека, пришедшего бронировать номер, — это палка в колёса собственной воронке.
Если у вас на сайте отеля стоит Envybox, CallbackHunter, Jivo или любой другой виджет с агрессивным попапом — проведите эксперимент. Отключите на две недели, посмотрите на отказы и бронирования. Или хотя бы настройте попап так, чтобы он появлялся не сразу, а через 30-60 секунд — когда человек уже вовлечён.
И обязательно зафиксируйте дату изменения. Иначе потом придётся звать аналитика, чтобы расковырять Метрику задним числом. Как в этом кейсе.
Частые вопросы
- Как узнать, вредит ли попап моему сайту, если нет A/B теста?
- Отключите попап на 2-4 недели и сравните метрики в Яндекс.Метрике: отказы, глубину просмотра, конверсии. Разбейте по устройствам и источникам трафика. Сравните с тем же периодом прошлого года для поправки на сезонность. Используйте органический трафик как контрольную группу.
- Можно ли настроить попап так, чтобы он не вредил?
- Да. Главное — не показывать его в первые секунды. Задержка 30-60 секунд, показ только при exit-intent (движение мыши к закрытию вкладки) или после просмотра 2-3 страниц. Тогда попап увидят вовлечённые пользователи, а не те, кто ещё не решил — оставаться или уходить.
- На каких устройствах попап вредит больше всего?
- В нашем кейсе — на планшетах (отказы снизились на 11 п.п. после отключения) и в рекламном трафике (−6 п.п.). На смартфонах эффект скромнее (~1-3 п.п.), на органическом трафике — минимальный.
Автор: Влас Фёдоров · vlasdobry.ru