Как проверить обещанный рост заявок после переделки сайта?

Сначала пересчитайте рост

Возьмём учебный пример. До переделки на сайт пришли 1000 посетителей, от них получено 20 обращений. После пришли 1500 посетителей, получено 30 обращений. Прибавка составила десять обращений, или 50% от прежних двадцати. В этой части отчёт верен.

Теперь разделим обращения на посетителей: 20 / 1000 = 2% и 30 / 1500 = 2%. В обоих периодах получено в среднем одно обращение на пятьдесят посетителей. Людей стало на 50% больше, обращений тоже. Фраза «на 50% больше» в заголовке отчёта не показывает этой разницы между количеством и долей.

Но равные 2% не означают, что переделка бесполезна. Новая реклама могла привести людей, которые реже готовы обращаться, а страница могла им помочь. Возможна и обратная ситуация. Без сведений об аудитории мы не можем выбрать одно из этих объяснений.

Уточните, что подрядчик назвал заявкой. Нажатие на кнопку, отправленная форма и обращение, которое получила команда, могут дать разные числа. Для нашего примера считаем именно полученные обращения. Чтобы понять их пользу, отдельно отмечаем, подходят ли они бизнесу: например, человек спрашивает о нужной услуге и находится в городе, где вы работаете.

В учебном расчёте считаем одного посетителя один раз за каждый период и его первое полученное обращение. Повторные сообщения того же человека здесь не добавляют заявок. Правило должно быть одинаковым в обоих периодах. Если раньше считали только доставленные формы, а теперь ещё и нажатия на телефон, такое увеличение нельзя читать как рост одних и тех же обращений. Число посетителей также считают одинаковым способом, с одним правилом для повторных визитов.

Сравните людей и условия

Попросите показать, откуда пришли посетители до и после переделки. Общий итог объединяет человека, который уже искал вашу компанию, и того, кто впервые увидел рекламное объявление. Если соотношение этих людей изменилось, прежнюю и новую доли обращений трудно сравнивать.

Начните с заметных различий: откуда человек перешёл, в каком он городе, открыл сайт с телефона или компьютера, пришёл впервые или вернулся. Не нужно сразу делить отчёт на десятки маленьких групп. В учебной ситуации первый вопрос простой: каких людей привела дополнительная реклама и сколько обращений получено от них?

Затем выпишите, что ещё произошло за это время. Изменились ли цена, скидка, ассортимент, сроки работы, доступные даты? Появилась ли новая услуга? Сравниваются ли обычные недели с праздниками или сезоном повышенного интереса? Даже одинаковые по длине месяцы могут отличаться для бизнеса.

Отдельно проверьте работу с обращениями. Если менеджер стал быстрее отвечать, сделок может прибавиться при прежнем числе заявок. Если письма начали доходить после устранения сбоя, это полезное исправление доставки. Такие результаты стоит назвать точно, чтобы не приписывать их оформлению страницы.

Рядом с цифрами нужны даты и список изменений. Подрядчик мог одновременно переделать меню, текст и форму. Тогда даже надёжное сравнение всей новой версии не покажет, какой из этих трёх шагов помог отдельно.

Две версии в один период

Если нужно проверить именно правку страницы, подготовьте два варианта и показывайте их посетителям в одно время. Система случайно назначает вариант человеку до того, как он начнёт действовать. При повторном визите система должна показать ему тот же вариант. Если узнавать возвращающихся людей удаётся не всегда, исполнитель должен указать это ограничение в отчёте.

Так сезон, рекламная кампания и рабочие дни действуют на обе группы одновременно. Нельзя отправить всех посетителей с телефона на новую страницу, а с компьютера на старую: в результате вы сравните ещё и разные устройства. Не подходит и ручной выбор «более заинтересованных» людей для нового варианта.

Допустим, проверяем, помогает ли другая подпись кнопки записи. Условия услуги, цена и остальная страница сохраняются. Если меняем весь сайт целиком, вопрос шире: помогает ли новая версия в целом? Объяснять её результат одной кнопкой уже нельзя.

В отчёте должны быть видны все посетители, включённые в сравнение по заранее заданному правилу, и обращения каждой группы. Отбор только тех, кто нажал новое меню, может исказить вывод: меню способно изменить, кто вообще на него нажмёт. Если проверяют отдельный участок сайта, правило входа в проверку задают до действия, на которое влияет правка.

Перед выводом исполнитель проверяет, правильно ли люди получили варианты и не потерялась ли часть обращений. Числа в группах не обязаны совпасть до человека. Например, планировали показывать версии примерно поровну, а почти все люди увидели новую. Исполнитель должен выяснить, почему так произошло, прежде чем делать вывод о правке.

Заранее договоритесь, какой прирост имеет смысл для бизнеса и как будет учтена случайность результата. Небольшая разница между группами ещё может объясняться тем, какие люди случайно попали в каждую. Попросите объяснить, хватает ли наблюдений, чтобы отличить полезное изменение от случайного колебания.

Договоритесь до запуска, при каких условиях закончите проверку. Останавливать её в первый удачный день ради красивого отчёта рискованно. Обнаруженную поломку формы исправляют сразу: заранее выбранный срок не обязывает оставлять людям неработающий путь.

Если посетителей мало

У небольшого сайта сравнение двух версий может идти слишком долго. Нужное число наблюдений зависит от того, как часто люди обращаются сейчас, какую прибавку вы хотите заметить и насколько уверенным должен быть вывод. Универсального обещания «проверим за две недели» здесь нет.

До настройки попросите оценить, сколько посетителей потребуется и когда сайт сможет их набрать. Если ожидание растягивается на время, за которое меняется сама услуга или сезон, обсудите, оправдана ли такая проверка. Покупать дополнительную рекламу только ради числа наблюдений без расчёта пользы не стоит.

При этом можно проверить конкретное действие. Дайте человеку, которому нужна ваша услуга, задачу: найти подходящий вариант, понять цену и отправить тестовое обращение. Наблюдайте без подсказок. Допустим, на телефоне он открывает форму, но не может понять, куда придёт ответ. Это точное место для исправления, даже если обращений за месяц мало.

После правки повторите ту же задачу. Если человек смог закончить путь, вы подтвердили результат этого прохода. Такое наблюдение не измеряет будущий рост заявок среди всех посетителей. Несколько проходов помогают увидеть помехи; их нельзя превращать в обещание процента продаж.

Для условий проверки можно взять разбор пути на телефоне, при слабой связи и после ошибки. Он помогает решить, что исправлять, пока чисел для сравнения недостаточно.

Запросите основание для решения

Возьмите отчёт подрядчика и выпишите три вещи: что посчитано, что неизвестно и какое решение из этого следует. Для учебного примера заполните так: «До: 20 обращений / 1000 посетителей = 2%. После: 30 / 1500 = 2%. Обращений больше на 50%; реклама тоже изменилась. Кто пришёл и подходят ли обращения бизнесу, неизвестно. Причина роста пока не установлена. Следующий шаг: запросить состав посетителей, правило подсчёта и другие изменения».

Теперь отправьте короткий запрос. Его можно скопировать целиком и подставить название вашего изменения:

Покажите, за какие даты сравнивали результат, кого считали посетителем и что считали полученным обращением. Нужны исходные числа и одинаковое правило оценки подходящих обращений. Что менялось в рекламе, предложении и работе команды? Если вывод основан на двух версиях, как распределяли людей, сколько наблюдений планировали и по какому правилу закончили проверку?

Хороший ответ может оказаться скромным: «Обращений стало больше; влияние переделки отдельно не проверяли». Такой ответ точно описывает, что удалось узнать. Дальше вы можете решить, достаточно ли исправленного пути или стоит подготовить сравнение версий, чтобы проверить влияние на число подходящих обращений.

Если подрядчик прислал только процент без исходных чисел и условий, пока неясно, на чём держится вывод. Не нужно спорить о вкусе к дизайну. Сначала получите недостающие сведения, затем выбирайте проверку. Как связать полученные и подходящие обращения с работой команды, разобрано в статье о числах после запуска сайта.

Когда отчёту можно доверять

Рост обращений после переделки подтверждает изменение количества. Чтобы связать рост со страницей, исполнитель должен показать, как отделил её влияние от других изменений, проверил подсчёт и учёл возможную случайность разницы. Сравнение двух версий в одно время со случайным распределением людей помогает это проверить. Пользу оценивают по подходящим обращениям и тому, оправдывает ли результат затраты.

Если сведений мало, запишите, что удалось узнать и что ещё неизвестно, затем выберите следующий шаг. Это не требует возвращать старую версию с заведомо сломанной формой. Работоспособность пути можно проверить отдельно и сохранить исправление, пока влияние на число обращений неизвестно.