Почему две воронки нельзя сравнивать по одной конверсии

Вы поменяли вход в воронку. Стало лучше или хуже? Берёте конверсию из контакта в переписку, сравниваете — и получаете неверный ответ. Потому что изменилась не только воронка, но и то, что вы считаете.

В одной воронке человек сначала попадает на сайт, оставляет форму и только потом подключает бота. В другой — приходит сразу в бота и оставляет контакт там. Конверсия из контакта в переписку в первой будет выше. Не потому, что воронка лучше, а потому, что контакт собирается позже, после фильтра сайта.

Что именно вы сравниваете

У конверсии всегда есть три части: событие, которое считаем, знаменатель и период.

Если в одной воронке «оставил контакт» — это форма на сайте, а в другой — подключение бота, то это разные события. За ними стоят разные люди и разная степень готовности. Человек, который дошёл до формы на сайте, уже принял решение познакомиться. Человек, который только открыл бота, мог сделать это из любопытства.

Сравнение таких конверсий — это сравнение определений, а не воронок. И вывод «новая воронка хуже» будет ошибкой измерения, а не фактом.

Пример: две воронки одной школы

Представьте два пути.

Первый: человек увидел рекламу, перешёл на сайт, посмотрел страницу, оставил форму, подключил бота, выполнил задание, написал в личку.

Второй: человек увидел рекламу, перешёл по ссылке сразу в бота, оставил контакт в боте, выполнил задание, написал в личку.

Если считать конверсию «оставил контакт → написал в личку», в первой воронке она будет выше. Потому что контакт собирается после сайта: в знаменатель попадают люди, которые уже прошли один фильтр. Во второй воронке контакт собирается раньше, и в знаменатель попадают те, кто ещё не прошёл этот фильтр.

Это не проблема данных. Это разные точки отсчёта.

Почему середина пути обманывает

Середина пути кажется удобной, потому что там уже есть контакт. Можно посчитать, сколько людей из контакта дошли до переписки, и сравнить две воронки. Но именно в середине разница в определениях проявляется сильнее всего.

В одной воронке контакт — это форма после сайта. Человек уже увидел оффер, почитал программу и решил оставить данные. В другой контакт — это подключение бота. Человек мог подключиться, чтобы посмотреть, что внутри, и ещё ничего не решить.

Если поставить эти два контакта в один знаменатель, вы сравниваете тёплых и холодных людей. Конверсия из середины показывает не качество воронки, а качество фильтра, который стоит перед контактом.

Поэтому середина годится для диагностики потерь, но не для вывода «стало лучше» или «стало хуже». Для вывода нужна вся цепочка.

Считайте от первого события

В своём разборе я сравнивала не середину, а всю цепочку. Для первой воронки первым событием был просмотр сайта, для второй — подключение бота. Дальше шли одинаковые шаги: задание, переписка, оплата.

Конверсии оказались почти одинаковыми. Но и здесь есть поправка: при переходе в бота часть людей теряется. У кого-то нет мессенджера, кто-то не завершил подключение, кто-то просто не понял, что делать дальше. Если эти потери не учесть, вторая воронка может выглядеть лучше или хуже, чем есть.

Этот результат не говорит, что воронки одинаковые. Он говорит, что на уровне «первое событие → оплата» разница небольшая. Дальше решение зависит от того, что дешевле: терять людей на входе в бота или на сайте. Это уже вопрос не отчёта, а продукта и трафика.

И ещё: почти одинаковая конверсия не означает, что можно оставить любую воронку. У них могут быть разные затраты на вход, разный срок до оплаты и разная аудитория. Сравнение конверсий — только один срез, не приговор.

Поэтому сравнивать нужно не только итоговую конверсию, но и потери на каждом шаге. Иначе вы объясняете разницу качеством воронки, а на самом деле объясняете её качеством замера.

Где ещё прячется искажение

• Разные определения заявки. В одной воронке заявка — это форма, в другой — сообщение в боте, в третьей — подписка на канал. Это разные события.
• Разные периоды. Одна воронка работает месяц, другая три. У новой ещё нет платежей, у старой уже есть.
• Разный трафик. Органика и реклама, холодные и тёплые люди. Даже одинаковые шаги дадут разные конверсии.
• Потери на входе. Нет мессенджера, не завершил подключение, не открыл ссылку. Эти люди не доходят до первого события, которое вы считаете.
• Дубли. Один человек мог зайти дважды и попасть в знаменатель два раза.
• Возраст воронки. У новой воронки цикл сделки ещё не закончился. Сравнивать её с воронкой, которая работает год, нельзя без поправки на возраст.

Любой из этих пунктов может объяснить разницу без изменения качества воронки.

Что считается потерей на входе

Потеря на входе — это человек, который увидел рекламу, но не дошёл до первого события, которое вы считаете.

В воронке с сайтом это может быть переход, который не загрузился, или форма, которую закрыли. В воронке с ботом — отсутствие мессенджера, незавершённое подключение, непонятный первый экран.

Эти люди не попадают в знаменатель, но они были. Если сравнивать только тех, кто дошёл, новая воронка может выглядеть лучше, чем есть. Поэтому потери на входе нужно считать отдельно — хотя бы по косвенным признакам: переходы, запуски, сообщения поддержки.

Ошибка, которую легко сделать

Самая частая ошибка — сравнивать воронки по одному красивому проценту. Например, по конверсии из заявки в оплату. Если в одной воронке заявка — это форма, а в другой — сообщение в боте, процент будет отличаться не из-за качества продаж, а из-за того, что в заявку попали разные люди.

Вторая ошибка — сравнивать периоды разной длины. Новая воронка работает месяц, старая — год. У старой больше платежей просто потому, что она дольше живёт. Это не преимущество, это возраст.

Третья — не учитывать трафик. Если в новую воронку льют холодный трафик, а в старую шла органика, конверсия будет ниже независимо от того, насколько хороша воронка.

Все три ошибки лечатся одним правилом: сравнивать одинаковые события, одинаковые периоды и одинаковый трафик. Если это невозможно, сравнение нужно делать с оговоркой.

Порядок сравнения: пять шагов

Первый. Опишите обе цепочки событий. Не в терминах интерфейса, а в терминах действий человека: увидел рекламу → перешёл → оставил контакт → выполнил задание → написал → оплатил.

Второй. Выберите первое событие. Оно должно быть одинаковым по смыслу или явно разным. Если в одной воронке это просмотр сайта, а в другой — подключение бота, сравнение всё равно возможно, но с оговоркой.

Третий. Согласуйте определения. Что считается контактом, заявкой, заданием, перепиской, оплатой. Если определения разные, сначала приведите их к одному смыслу.

Четвёртый. Постройте цепочку до оплаты, а не до середины. Середина может показать удобную цифру, но решение принимается по деньгам.

Пятый. Проверьте потери на каждом шаге. Где люди отваливаются: на входе, на задании, на переписке, на оплате. Разница в потерях и есть объяснение.

И только после этого делайте вывод.

Что делать, если первого события нет

Иногда его просто не записали. Тогда сравнивайте с оговоркой: с какого момента данные полные, что могло потеряться, какие шаги выпали.

Не называйте это сравнением воронок. Это сравнение того, что сохранилось в данных. И вывод из него может быть только предварительным.

Сравнивать воронки можно только по одинаковым событиям. Всё остальное — сравнение разных определений, даже если цифры выглядят убедительно.

Как объяснить руководителю

Руководителю не нужны пять шагов и термины. Ему нужно понять, почему цифра изменилась и можно ли на неё опираться.

Скажите так: «Мы сравниваем не одинаковые вещи. В первой воронке контакт собирается после сайта, во второй — до. Поэтому конверсия из контакта в переписку ниже не потому, что воронка хуже, а потому, что в неё попадают люди на более раннем шаге. Если сравнивать от входа, картина другая».

Дальше покажите две цепочки и потери на входе. Один разобранный пример убеждает лучше, чем спор о процентах.

И зафиксируйте, от какого события вы сравниваете воронки. Чтобы следующий разбор не начинался с нового определения.

Если вывод уже сделан

Если вы уже сказали «новая воронка хуже», не обязательно отказываться от вывода. Проверьте, на чём он основан.

Если на конверсии из середины — вывод может быть ошибкой замера. Если на полной цепочке от входа до оплаты — он имеет право быть. Разница в том, что во втором случае вы можете показать путь конкретного человека и объяснить, где он потерялся.

И не меняйте воронку только потому, что цифра стала ниже. Сначала поймите, что именно изменилось: путь, замер или трафик. Иначе следующая версия воронки снова покажет другую цифру, и разговор начнётся заново.

Что сделать на этой неделе

• Нарисуйте две цепочки событий на одном листе.
• Отметьте первое событие и определения каждого шага.
• Проверьте на десяти-двадцати реальных людях, где они теряются.
• Отделите изменение воронки от изменения замера.
• Запишите правило сравнения, чтобы следующий разбор не начинался заново.

Воронка может стать лучше, а цифра — хуже. И наоборот. Задача аналитика — не защитить новую воронку, а показать, что именно изменилось: путь, замер или оба.