Конверсия интернет-магазина за сутки снизилась с 3,70% до 3,18% — на 14%, хотя число оплаченных заказов выросло с 4070 до 4538. Для команды это не повод немедленно откатывать релиз или выключать рекламу: один такой график может одновременно скрывать ошибку в трекинге и нормальную смену структуры трафика.
Учебный кейс с такими вводными разобрал Tech Lead Сергей Прощаев, сообщает Habr / Карьера. В интернет-магазине ночью вышла версия iOS-приложения 5.2 с новым экраном оплаты, а утром маркетинг запустил посевы в Telegram, ведущие на сайт и в магазины приложений. К 11:00 аналитик должен был объяснить директору, почему метрика просела и требуется ли срочное вмешательство.
На верхнем уровне картина выглядит тревожно. На вебе число сессий выросло с 50 000 до 61 500, но конверсия снизилась с 3,30% до 3,09%. На Android трафик вырос с 30 000 до 37 200 сессий, а показатель — с 3,50% до 3,23%. Самый заметный провал пришёлся на iOS: 31 300 сессий, 1035 событий покупки и 3,31% против 4,57% днём ранее. Падение на 27,6% слишком похоже на последствия свежего релиза, чтобы команда не захотела назначить виноватого раньше времени.
Оплата работала, но аналитика её не увидела
Проверка биллинга меняет вывод. В iOS во вторник было 1370 оплаченных заказов, в среду — уже 1438. То есть пользователи не перестали платить после появления нового экрана: заказов стало больше. На вебе и Android число покупок в продуктовой аналитике совпало с биллингом, а на iOS разошлось. После релиза примерно 30% оплаченных заказов перестали сопровождаться событием purchase; по итогам суток разрыв составил около 28%.
Практический смысл неприятен, но полезен: релиз действительно затронул путь оплаты, только сломал не сам платёжный сценарий, а его измерение. Откат приложения в такой ситуации мог бы вернуть старый экран и создать лишние риски, не исправив бизнес-проблему: деньги в биллинг уже поступали. Правильная задача для мобильной и аналитической команд — найти, где после обновления теряется событие, проверить передачу order_id и убедиться, что повторная отправка не создаёт дубли.
Прощаев предлагает начинать расследование не с версии о «плохом релизе», а со сверки источников. Для этого нужны оплаченные заказы из биллинга и события purchase из аналитики, сопоставленные по order_id, платформе и часу. В такой проверке важно отдельно посчитать заказы без события и лишние события: обычный count(*) после соединения таблиц способен замаскировать пропуски дублями. Границы суток также стоит фиксировать в часовом поясе бизнеса, иначе утренний релиз легко переедет в соседнюю дату отчёта.
Посевы ухудшили среднюю метрику, но не качество аудитории
Вторая причина падения не связана с багом. Разрез по новым и вернувшимся пользователям показывает, что на вебе и Android конверсия внутри обеих групп даже выросла. У новых пользователей на вебе и Android она поднялась с 1,50% до 1,60%, у вернувшихся — с 4,50% до 4,60%. Но новых сессий стало значительно больше: на вебе — 31 000 вместо 20 000, на Android — 17 000 вместо 10 000. Новые посетители покупают реже постоянных, поэтому увеличение их доли тянет среднее значение вниз.
На этом месте особенно легко принять неверное решение и объявить Telegram-посевы неэффективными. По данным событий новые пользователи почти не изменили результат: совокупный показатель составляет около 1,6%. После сверки с оплатами видно даже небольшое улучшение — с 1,61% до 1,68%; искажение вносили пропущенные iOS-события. Реклама привела менее «горячую» аудиторию, чем возвратные клиенты, что для верхней части воронки ожидаемо. Она не привела автоматически нецелевой трафик.
Для продуктовой команды здесь две независимые работы. Первая — восстановить трекинг iOS и поставить мониторинг расхождения между аналитикой и биллингом по платформам, версиям приложения и часам. Вторая — оценить посевы не по одной смешанной конверсии, а по сегментам, стоимости привлечения, доле новых пользователей и последующим покупкам. Иначе канал могут отключить из-за арифметики, хотя он расширяет аудиторию и не ухудшает её фактическое поведение.
Конверсия интернет-магазина — удобный сигнал тревоги, но плохой единственный судья для релизов и маркетинга. В этом кейсе директору достаточно сообщить две вещи: оплаты не упали, а iOS после обновления недосчитывает часть покупок; одновременно общий показатель снизился из-за притока новых пользователей из кампании. Чем активнее компании связывают продуктовую аналитику с платежными данными, тем реже один красный график будет решать судьбу релиза или рекламного бюджета.