Анализ корреляции для коэффициента «сарафанного радио»
Есть два выхода для этого пошагового процесса. Первый — это корреляционный анализ.
Одним из ключевых предположений для коэффициента WOM является то, что активные пользователи предсказывают появление новых пользователей «сарафанного радио». Чтобы проверить это предположение, мы проведём простой корреляционный анализ. Если R^2 будет высоким (близким к 1), то мы будем знать, что можем использовать этот показатель для прогнозирования реалистичных целей. Если он будет низким, то мы поймём, что нам нужно провести дополнительную доработку (о которой мы поговорим позже).
Коэффициент «сарафанного радио» с течением времени
Вторая диаграмма, которую мы хотим построить, рассматривает коэффициент WOM с течением времени. Это поможет нам начать выявлять изменения в коэффициенте и понять, что влияет на него на высоком уровне. Это может помочь нам выявить такие вещи, как:
- Изменения в коэффициенте WOM в зависимости от сезонности.
- Изменения в коэффициенте WOM при внесении изменений в другие каналы, например, платное привлечение.
- Изменения в коэффициенте WOM при выпуске новых продуктов.
Расчёт коэффициента «сарафанного радио» от лёгкого к тяжёлому
Как и в большинстве анализов, существует несколько способов получить коэффициент WOM, каждый со своими плюсами и минусами. Для коэффициента WOM существует три основных метода:
- Лёгкая версия — использование Google Analytics с некоторыми базовыми фильтрами/сегментами.
- Средняя версия — уточнение определений возвращающихся пользователей и новых пользователей WOM с помощью квалификационных действий.
- Тяжёлая версия — использование эконометрики и многомерного регрессионного анализа.
Так как выбрать? Это зависит от того, насколько сложен ваш маркетинговый микс. Чем сложнее ваш маркетинговый микс, тем более шумным может быть ваш анализ, и в результате вам потребуется более глубокий анализ, чтобы уточнить его до чего-то предсказуемого.
В общем, по мере роста компаний их путь привлечения клиентов часто усложняется. Они начинают с использования 1–2 основных маркетинговых тактик (например, реклама в VK) и могут масштабироваться до 10+ каналов или тактик.
Примеры:
- Серия A компании: определение 1–2 основных каналов цифрового маркетинга (например, реклама в VK, Adwords) и масштабирование.
- Серия B компании: реклама на 3–6 крупных каналах. Платный и бесплатный маркетинг.
- Серия C+ компании: введение наружной рекламы (например, рекламные щиты, телевидение и т. д.). Может достигать $10 млн+ в месяц расходов на рекламу, а также брендовый маркетинг и т. д.
- Крупные компании с одним каналом: крупные компании, которые полагаются на один канал или рост за счёт продукта. Примеры: Pinterest, Dropbox.
В этом посте мы сосредоточимся на стартапах серии A/B и крупных продуктах с одним каналом, проведя пошаговые инструкции по лёгкому и среднему вариантам анализа. Любая компания может и должна начать с лёгкого варианта.
Это покажет вам, насколько «шумными» являются ваши данные, и, возможно, сразу даст интересные результаты. Позже в этом посте мы усложним задачу и рассмотрим сценарии, в которых может потребоваться более продвинутый анализ.
Как найти свой коэффициент «сарафанного радио» — лёгкая версия
Измерение «сарафанного радио» не обязательно должно быть сложным — для многих компаний вы можете повторить наши выводы за 10 минут с помощью Google Analytics. Обратите внимание, что если вы не используете Google Analytics, вы можете сделать что-то подобное в Mixpanel, Amplitude или в любом другом выбранном вами аналитическом инструменте.
Мы рассмотрим 3 шага, чтобы получить данные о «сарафанном радио»:
- Определите знаменатель — возвращающиеся пользователи.
- Определите числитель — прямой + поиск по бренду.
- Проведите анализ.
Затем мы рассмотрим ещё 3 шага для проверки вашего коэффициента WOM:
- Выделите нужные данные.
- Создайте точечный график.
- Добавьте линию тренда и проанализируйте R^2.
Чтобы начать работу в Google Analytics, вы хотите перейти в Acquisition > All Traffic > Source/Medium report — мы обнаружили, что это самая быстрая и полезная страница для экспорта.
Шаг 1: определите знаменатель — возвращающиеся пользователи
Для простоты мы будем полагаться на определение Google Analytics «Возвращающиеся пользователи», которое основано на файлах cookie, полагаясь на уникальное хранилище идентификаторов при первом посещении нового пользователя. Если у вас GA установлено на нескольких доменах, вам нужно будет агрегировать данные по всем.
Наша основная гипотеза в лёгкой версии заключается в том, что повторные взаимодействия с вашим брендом стимулируют реферальное поведение — каждый раз, когда кто-то посещает ваш сайт или использует ваше приложение, у него есть шанс решить, что вас можно порекомендовать.
На практике вы можете захотеть учитывать только пользователей, которые выполнили какое-либо действие, например, зарегистрировались или совершили покупку, что мы рассмотрим позже в этом посте. Однако вы можете быть удивлены, насколько часто этот упрощённый подход использования определения GA «Возвращающиеся пользователи» оказывается прогностическим.
Чтобы сегментировать свои данные для возвращающихся пользователей, перейдите в раздел «Сегменты» и нажмите + Добавить сегмент справа от сегмента «Все пользователи» по умолчанию (или нажмите на эту ссылку, чтобы импортировать).
Нажмите «Сохранить», и у вас будет первая часть, знаменатель, для расчёта вашего коэффициента «сарафанного радио»! Это может показаться слишком простым, и для некоторых компаний так и будет, но потерпите нас, и вы будете удивлены, как далеко это вас заведёт.
Шаг 2: определите числитель — прямой и брендовый поиск
Чтобы получить вторую половину уравнения коэффициента WOM, нам нужна аппроксимация трафика «сарафанного радио». В Google Analytics мы можем просто выбрать «прямой» трафик, который представляет собой трафик без источника маркетинга, состоящий в основном из публикаций в «тёмных социальных сетях».
Для этого мы нажимаем, чтобы создать ещё один сегмент, на этот раз фильтруя для Source / Medium, содержащего «(direct) / (none)» (начните вводить, и он должен автоматически заполниться) и только новых пользователей (нажмите на эту ссылку, чтобы импортировать).
Хотя мы пытаемся упростить задачу в этой лёгкой версии, мы знаем, что прямой трафик — это ещё не вся картина — большая часть того, что мы бы определили как «сарафанный радио», приводит к тому, что люди ищут название вашего бренда и нажимают на результаты обычного поиска.
Но как нам отделить «брендовые» поиски от общего трафика органического поиска? Google усложнил задачу, убрав возможность фильтрации по поисковому термину, но хорошим прокси-сервером является фильтрация для органического поиска трафика на домашнюю страницу. Если они искали в Google и попали на вашу домашнюю страницу, это довольно безопасная ставка, что они пришли по вашему брендовому запросу.
Чтобы повторить, сначала отфильтруйте новых посетителей, которые пришли из Google / Organic, которые попали на «/», или домашнюю страницу (или вы можете импортировать, нажав на эту ссылку).
В этом случае мы использовали «точно соответствует» только для того, чтобы убедиться, что мы случайно не сопоставим ни с какими другими страницами (учитывая, что домашняя страница обозначается только прямой косой чертой). Если вы также запускаете платные поисковые объявления по своему фирменному запросу, то вы захотите рассмотреть возможность фильтрации для них в качестве дополнительного столбца для «сарафанного радио» (хотя вам придётся адаптировать наш шаблон).
Конечно, точные определения могут различаться в зависимости от вашего фирменного запроса и того, как вы настроили свои поисковые кампании (также помните о Bing или других поисковых системах!). Для того чтобы этот анализ работал наилучшим образом, мы хотим явно отделить любой маркетинг, который мы делаем намеренно, потому что по определению это не «сарафанное радио».
Если вы проводите офлайн-рекламу, например, на рекламных щитах или телевидении, она будет отображаться как прямой трафик и брендовый поиск. К сожалению, это заводит нас в продвинутую территорию, где нам потребуются такие методы, как эконометрика, чтобы правильно разделить влияние. Если это ваш случай, обратитесь к нам за поддержкой, и мы поможем вам выбрать правильное направление. Однако пока давайте продолжим работу с «лёгкой» версией анализа — для которой у нас теперь есть все необходимые данные.
Если у вас возникли трудности с созданием сегментов, нажатие на эти ссылки импортирует их в ваш GA.
Шаг 3: проведите анализ — заполнение шаблона
Теперь всё, что нам нужно сделать, это экспортировать данные, желательно за год (или за столько, сколько у вас есть). Вы можете найти функцию экспорта в правом верхнем углу над выбранным диапазоном дат. Убедитесь, что у вас выбран сегмент «Все пользователи», а также три новых сегмента, которые вы создали. Выберите Google Sheets и сделайте копию шаблона коэффициента WOM Light, чтобы вы могли следовать инструкциям.
Прокрутите вниз в экспортированном вами Google Sheet ниже обычного вывода Source / Medium — вы будете игнорировать эту часть. Вам нужен дневной разбор по сегментам внизу. У вас есть индекс дня (дата), диапазон дат (не полезен), сегмент (ваши определения для различных частей расчёта) и пользователи (важная часть!).
Вам просто нужно быстро преобразовать эти данные в нужный формат, создав сводную таблицу. Выделите данные (кроме трёх итоговых строк внизу) и перейдите в «Данные» > «Сводная таблица». Создайте её на новом листе. Затем поместите индекс дня в раздел «Строки», поместите сегмент в столбцы и затем пользователей в «Значения», чтобы получить нужные вам данные. Итоговые строки не нужны, поэтому вы можете снять их выделение в правой части построителя сводных таблиц.
Отсюда вы можете просто скопировать и вставить значения (Paste Special > Values only, или CMD + SHIFT + V на Mac, CTRL + SHIFT + V на Windows) по разным столбцам в шаблон. Например, индекс дня идёт в столбец A «Дата», и он должен заполниться до столбца D «Пользователи». Шаблон будет заполнен полностью, с учётом всех расчётов, основанных на введённых вами данных.
Заполненный шаблон автоматически построит ваш коэффициент WOM для вас и проведёт корреляционный анализ для «сарафанного радио» по сравнению с возвращающимися. Примечание: если у вас больше строк, чем в шаблоне, вам нужно будет перетащить все формулы вниз, а также изменить диапазон сводной таблицы. У вас будут необработанные данные для манипуляций, но вы также увидите функции, которые мы использовали для выявления аномалий.
На этом листе вы должны увидеть, был ли «лёгкий» вариант прогностическим для вашего бизнеса. Ищите относительно стабильную зелёную линию (коэффициент «сарафанного радио») на диаграмме слева и высокое значение R^2 для линии тренда на правой диаграмме (синие точки должны быть в основном вдоль линии).
Если это то, что вы видите, то отлично, этого простого анализа должно быть достаточно, чтобы интерпретировать ваш коэффициент «сарафанного радио». Если возвращающиеся пользователи являются предикторами новых пользователей «сарафанного радио», это означает, что лучшее, что вы можете сделать для «сарафанного радио», — это привлечь повторных посетителей. Если коэффициент «сарафанного радио» имеет тенденцию к росту или снижению, то вы можете спрогнозировать, где это приведёт вас по сравнению с вашими целями роста. Наконец, если вы видите всплески или провалы в коэффициенте «сарафанного радио», это аномалии, которые вы должны исследовать — что произошло в это время, что могло это объяснить?
Как проверить свой коэффициент «сарафанного радио»
В этом разделе мы покажем вам, как проверить коэффициент «сарафанного радио» с помощью простого регрессионного анализа в Google Sheets. Мы делаем это, чтобы убедиться, что возвращающиеся и не-WOM пользователи предсказывают пользователей, привлечённых «сарафанным радио». Это реконструкция шаблона, которым мы поделились с вами, исходя из первых принципов. Это будет полезным упражнением для более продвинутого анализа и компаний с более сложным маркетинговым миксом, потому что вы узнаете, как построить пользовательскую модель, которая будет работать для вашего бизнеса.
Шаги ниже проведут вас через создание диаграммы рассеяния и расчёт R^2 в Google Sheets для коэффициента WOM.
Шаг 1 — выделите нужные данные
Шаг 2 — создайте диаграмму рассеяния
- Выберите «Диаграмма рассеяния» в качестве типа диаграммы.
- Выберите «Не WOM (возвращающиеся + не WOM новые)» в качестве оси X.
- Выберите новых пользователей «сарафанного радио» в качестве оси Y.
Шаг 3 — добавьте линию тренда и рассчитайте R^2
- Перейдите на вкладку «Настроить».
- Откройте «Серии».
- Выберите «Добавить линию тренда».
- Прокрутите вниз и выберите «Показать R^2».
И это всё. Теперь вы можете проанализировать, насколько хорошо ваши данные предсказывают новых пользователей WOM. R^2 > 0,7 считается высоко прогностическим. Меньше 0,7 требует дополнительной работы — это означает, что вам нужно будет использовать средний или тяжёлый анализ, чтобы найти более точные определения возвращающихся и новых пользователей WOM.
Расчёт коэффициента «сарафанного радио» — средняя версия
Как уже упоминалось, иногда лёгкая версия даёт данные, которые не очень прогностичны. Обычно это связано с тем, что определение нашего числителя и/или знаменателя слишком упрощено. Это проявится как низкий R^2, потому что вы включаете пользователей, которые вряд ли будут генерировать «сарафанное радио», в смесь с пользователями, которые с большей вероятностью будут рекомендовать.
Уточнение того, кто считается возвращающимся пользователем
Давайте рассмотрим несколько примеров:
- Посещение www.bananarepublic.com без покупки чего-либо — если возвращающийся пользователь заходит в магазин без покупки, склонен ли он генерировать «сарафанное радио»? И если нет, следует ли их включать в число активных пользователей? Для многих интернет-компаний стандартное определение ежедневного активного пользователя (DAU) — это тот, кто заходит на сайт. Поскольку посетителей, которые заходят и не покупают, гораздо больше, чем тех, кто заходит и покупает, посетители, не совершившие покупку, разбавят влияние WOM покупателей на WOM. В этом сценарии более ценным определением активного пользователя является тот, кто совершает покупку.
- Посещение www.tiffany.com без покупки чего-либо — для других продуктов (даже в той же категории) планка может быть ниже. Ювелирные изделия — отличный пример. Вы можете зайти в магазин без желания купить и найти распродажу ограниченной коллекции колец из розового золота. Даже если у вас нет средств для покупки, вы можете рассказать о ней своим друзьям! В этом случае даже посетители окон могут генерировать «сарафанное радио».
- Посещение https://theathletic.co.uk/ и попадание на платную стену — поскольку вам нужно подписаться, прежде чем получить доступ к контенту, стандартное определение пользователя как посетившего веб-сайт, скорее всего, будет работать плохо для прогнозирования WOM. Вместо этого мы хотели бы фильтровать только возвращающихся пользователей, у которых есть активная подписка, чтобы повысить точность наших моделей.
Другие способы фильтрации вашего определения активных пользователей могут быть комбинациями. Продолжая пример с ювелирными изделиями, вы можете определить активного пользователя как того, кто выполнил хотя бы одно из нескольких квалификационных действий:
- Добавил в корзину.
- Добавил в список желаний.
Суть в том, чтобы рассмотреть дополнительные определения, думая о вашем конкретном продукте и потребителе, а затем проверить, измерив R^2 каждого определения.
Уточнение того, кто считается новым пользователем
Определение для новых пользователей имеет такое же значение, как и определение для возвращающихся пользователей. Мы обнаружили это на примере Edtech, когда сотрудничали с компанией стоимостью более 1 миллиарда долларов и получили совсем другие результаты в зависимости от того, как мы определили активных пользователей.
Для этой компании, которая обычно поддерживает еженедельное использование, квалификационные действия, которые пользователь может предпринять, чтобы считаться активным, включают:
- Начало учебной сессии.
- Регистрация для учётной записи.
Мы придумали три конкретных определения для «новых пользователей WOM», чтобы изучить. Мы сделали это, чтобы оценить, какое из них было наиболее прогностическим — или имело самый высокий R^2. Вот определения, от наименее ограничительного к наиболее ограничивающему:
- Определение №1: новые активные WOM — все пользователи, которые выполнили хотя бы одно из квалификационных действий (изучение или регистрация) впервые в течение определённой недели.
- Определение №2: новые посетители WOM, впервые посетившие сайт — то же, что и определение №1, но с техническим исключением, которое удалило зарегистрированных в системе пользователей, которые на самом деле были просто возвращающимися пользователями.
- Определение №3: новые регистрации WOM — все пользователи, зарегистрировавшиеся в течение определённой недели.
Все определения WOM: для всех трёх этих определений только пользователи, отнесённые к «прямому», «брендированному поиску», «социальному обмену» или «социальному» привлечению, были учтены как новые пользователи WOM.
Компания собрала данные для каждого из этих различных определений для новых активных пользователей через органическое WOM и вставила их в этот шаблон данных, сосредоточив внимание на еженедельных активных пользователях (WAU), чтобы отразить тот факт, что их продукт обычно поддерживает еженедельное использование. Затем мы провели такой же анализ, как и в лёгкой версии, отдельно для каждого определения.
Это дало следующие результаты:
Выводы из этого:
- Новые регистрации WOM имели самый низкий R^2 (т. е. наименьшую прогностическую силу). Это имеет смысл, потому что в продукте много пользователей, которые заходят без регистрации. Учитывая это, новые регистрации WOM — это чрезмерно ограничительное определение новых WAUs из органического WOM, поскольку оно исключает пользователей, которые активно посещали и использовали продукт без регистрации во время этого визита.
- Лучшее определение не имело наивысшего R^2. Определение «Новые активные WOM» имело наивысший R^2, но по причинам, которые не обязательно являются положительными. В частности, это определение включало некоторых зарегистрированных в системе пользователей, которые на самом деле были возвращающимися пользователями из предыдущих периодов — что мы определили, изучив их файлы cookie. В результате некоторые из тех же пользователей были как в числителе (новые WAUs из органического WOM), так и в знаменателе (возвращающиеся WAUs). Это искусственно увеличило количество новых WAUs из органического WOM (поскольку некоторые из них на самом деле не были новыми), и искусственно завысило R^2 определения.
В конечном итоге компания выбрала Определение №2: новые посетители WOM, впервые посетившие сайт. Это определение показало приемлемо высокое значение R^2, при этом концептуально имело наибольший смысл, поскольку оно охватывало всех новых пользователей, которые выполнили любое из квалификационных действий, необходимых для того, чтобы пользователя можно было считать «активным», исключая при этом возвращающихся незарегистрированных пользователей с тем же файлом cookie. Это прекрасный пример того, почему важно использовать как количественные, так и качественные критерии при определении того, какие метрики использовать для этого анализа.
Чтобы быть до конца, мы также проделали это упражнение ещё раз, используя «ежедневно» и «ежемесячно» в качестве определения активных пользователей, но обнаружили, что еженедельное было наиболее значимым.
Когда лёгкого/среднего коэффициента «сарафанного радио» недостаточно
Как более зрелый бизнес с более высокими расходами на маркетинг, несколькими продуктовыми линейками или офлайн-маркетинговыми каналами, вы можете обнаружить, что ни лёгкий, ни средний варианты не работают как есть. Это связано с тем, что по мере усложнения вашего бизнеса в данных появляется больше «шума», и необходимо учитывать дополнительные переменные.
Сценарии, в которых это существует, могут включать:
- Комплексные маркетинговые миксы с несколькими перекрывающимися каналами.
- Компании, которые проводят офлайн-кампании, которые, вероятно, будут стимулировать «сарафанное радио».
- Многонациональные компании с разной узнаваемостью бренда по странам.
- Компании с несколькими продуктовыми линейками или бизнес-моделями.
- Экзогенные шоки на «сарафанное радио» (глобальная пандемия, поведение конкурентов).
Например, компании, запускающие менее напрямую отслеживаемые маркетинговые кампании (телевидение, рекламные щиты, реклама в подкастах, контент, PR), требуют методов, позволяющих определить, сколько «прямого» трафика действительно было связано с этими кампаниями.
В таких сценариях одним из методов, который оказался для нас полезным, является эконометрика. Это по существу расширение анализа с использованием многомерной регрессии. Шаблон, который вы использовали, представлял собой однопеременную линейную регрессию, и в GSheets можно запустить многомерную регрессию (используя функцию LINEST).
Обычно используемые крупными рекламодателями для прогнозирования продаж (и, следовательно, для определения эффективности конкретных маркетинговых каналов), вы можете сделать новых пользователей WOM зависимой переменной и провести регрессию по переменным, отличным от возвращающихся пользователей, которые могут стимулировать WOM. Примеры включают в себя указание периодов времени, когда проводились PR-кампании, разделение влияния COVID-19 или включение данных об уровне запасов продукции, ценах и доступности.
Практически работа включает в себя измерение большего количества переменных (не только производительности, но и действий, предпринятых в отношении кампаний), обогащение и очистку данных креативными способами, а затем опробование различных моделей, пока вы не найдёте способ повысить точность. Пусть метрика R^2 будет вашим ориентиром, хотя истинной проверкой модели будет то, как она будет работать при прогнозировании будущих уровней WOM.
Начните с простого
Вполне вероятно, что вам будет сложно измерить «сарафанное радио», особенно по мере усложнения вашего бизнеса. Мы рекомендуем вам начать с упрощённой «лёгкой» модели, которую мы продемонстрировали ранее в этом посте, в качестве первого шага. Вы можете обнаружить, что это удивительно прогностично, и сможете начать предпринимать действия для увеличения WOM. Однако если вы обнаружите, что у вас есть «шумные» данные, вам трудно найти хорошие определения для возвращающихся пользователей и пользователей WOM, или вы не знаете, с чего начать с эконометрики, не стесняйтесь обращаться к нам (Юсуф и Майкл) за поддержкой.
