Среди такого множества различных маркетинговых платформ и тактик на рынке может быть сложно выбрать наилучшие комбинации стратегий, которые генерируют эффективную отдачу от инвестиций в маркетинг (ROI). Зачастую из-за страха упустить потенциальную маркетинговую возможность всё больше и больше средств тратится на дополнительные маркетинговые технологические стеки или кампании без понимания, стоит ли дополнительная выгода затраченных средств. Чтобы избежать нецелесообразных расходов, Lift Test — это статистический подход для оценки ваших вариантов перед выделением бюджета на проект.
Введение в Lift Test
Lift Test помогает определить дополнительную отдачу и причинно-следственную связь зависимой переменной, применяя одну независимую переменную к тестовой группе и не применяя её к контрольной группе.
Например, Lift Test может помочь вам ответить на вопрос, насколько больше конверсий (зависимая переменная) от определённой аудитории можно улучшить, показывая рекламу в VK (независимая переменная), по сравнению с отсутствием показов рекламы.
Результат Lift Test затем оценивается методом проверки гипотез. Если подъём между тестовой и контрольной группами статистически значим, то принимается альтернативная гипотеза, подтверждающая, что показ рекламы в VK поможет увеличить конверсию, а нулевая гипотеза (о том, что показ рекламы в VK не поможет увеличить конверсию) отвергается.
В чём разница между A/B-тестом и Lift Test?
Lift Test — это разновидность A/B-теста. Суть Lift Test заключается в поиске дополнительной ценности тестовой группы, не предоставляя лечение контрольной группе. Таким образом, вы не просто измеряете абсолютный результат одной кампании, но и определяете, сколько дополнительных конверсий вы не смогли бы получить без этой дополнительной кампании. С другой стороны, A/B-тест предусматривает проведение мероприятий для обеих групп, но разных, и используется не для поиска дополнительной отдачи, а для определения абсолютной относительности. Поэтому в A/B-тесте обычно используется контрольная группа, а в Lift Test — контрольная группа.
Что такое статистическая значимость?
Измерение статистической значимости помогает вам быть уверенными в том, что результат вашего теста не был случайным, а уровень уверенности, который вы хотите иметь для результата теста, связан с уровнем альфа (уровень значимости), который вы устанавливаете при расчёте размера выборки.
На основе результата теста P-Value (см. шаблон расчёта значимости), если 1 – (P-Value), наблюдаемая значимость, больше целевого уровня значимости, вы принимаете альтернативную гипотезу и отвергаете нулевую гипотезу.
Примеры использования Lift Test:
- Стоит ли запускать новую кампанию, учитывая, что люди могут конвертировать и из других существующих кампаний?
- Каков мой дополнительный ROI при использовании нового поставщика для увеличения охвата потенциальных клиентов?
- Каков мой дополнительный CAC (стоимость привлечения клиентов), когда предлагается скидка для стимулирования клиентов к размещению первого заказа, по сравнению с отсутствием скидок?
Пошаговое руководство по запуску Lift Test:
- Определите цели тестирования и тестируемую переменную (независимую переменную), например, показ рекламы в VK или нет. Обратите внимание, что всегда рекомендуется тестировать только одну переменную за раз, чтобы контролировать шум данных.
- На основе целей вы сможете выбрать ключевые показатели эффективности (KPI), которые вы хотите использовать для измерения результата, включая зависимую переменную, такую как конверсия, и допустимую стоимость за приобретение.
- Определите, будет ли тест односторонним или двусторонним. Тип теста повлияет на то, как вы рассчитаете требуемый размер выборки на следующем этапе. Если предполагается, что подъём в тестовой группе будет иметь только положительное влияние, то это односторонний тест. Однако если подъём может вызвать негативные последствия, например, чрезмерный маркетинг, который может оттолкнуть клиентов и помешать их конверсии, то это будет двусторонний тест.
- Определите минимальный требуемый размер выборки на основе различных уровней подъёма. Сначала установите α и β, чтобы получить желаемый уровень значимости и мощности. Размер выборки будет отличаться в зависимости от ожидаемой производительности контрольной группы: чем выше производительность в контрольной группе, тем меньший размер выборки потребуется при том же уровне подъёма. То же самое относится и к уровню подъёма: чем выше подъём, тем меньший размер выборки потребуется.
- На основе минимально необходимого размера выборки проверьте, имеет ли требуемый подъём смысл для вашего сценария тестирования. Если да, оцените, сколько будет стоить тест для сбора необходимого размера выборки. Если требуемый подъём слишком высок, ищите больший размер выборки и соответствующий ему подъём, чтобы увидеть, достижим ли он. То же самое относится и к контролю бюджета. Если больший размер выборки требует затрат сверх бюджета, то вы можете выбрать более высокий подъём с меньшим размером выборки. Это баланс.
- Подготовьте тестовую аудиторию и убедитесь, что выборка случайным образом распределена между контрольной и тестовой группами.
- Подготовьте остальные материалы для тестирования, такие как креативы кампании, настройка отслеживания кампании и так далее, в зависимости от типа теста.
- Измерьте результат теста, количественно оценив подъём зависимой переменной, такой как конверсия, между контрольной и тестовой группами, чтобы определить, достигает ли уровень подъёма на основе размера выборки желаемого уровня статистической значимости.
- Отвергните или примите нулевую гипотезу на основе статистической значимости. Если необходимо отвергнуть нулевую гипотезу (признать, что показ рекламы помогает), то рассчитайте показатели прибыльности бизнеса, чтобы оценить, является ли лечение экономически эффективным. Если дополнительная стоимость за приобретение находится в допустимом диапазоне, это означает, что тестируемая переменная (например, показ рекламы в VK) обеспечивает достаточное количество дополнительных конверсий (например, дополнительных конверсий по сравнению с контрольной группой), и её стоит внедрить.
Метрики для расчёта статистической значимости включают:
•Коэффициент конверсии теста: p1 •Коэффициент конверсии контрольной группы: p2 •Стандартная ошибка теста (SE1): SQRT(p1×(1-p1)/n1) •Стандартная ошибка контрольной группы (SE2): SQRT(p2×(1-p2)/n2) •Z-критерий: (p1-p2)/SQRT(POWER(SE1,2)+POWER(SE2,2)) •P-значение (Excel): 1- NORM.S.DIST(Z-Score, TRUE) •P-значение (Google Sheet): 1- NORM.S.DIST(Z-Score) •Наблюдаемая значимость: 1- P-Value
Приведённая выше формула написана с использованием синтаксиса в Excel и Google Sheets, поэтому её можно напрямую применить к вашей рабочей книге Excel/Google для анализа.