Важность метрик
Если разговор идёт о данных и аналитике, велика вероятность, что речь идёт о метриках.
О том, как отвратительны бессмысленные метрики (Vanity Metrics).
О маржинальной ценности метрик активности (Activity Metrics).
О том, как важно сосредоточиться на метриках результатов (Outcome Metrics).
О метриках для дашбордов — нет! Только KPI для дашбордов.
О разнице между KPI и метриками. :)
О необходимости баланса между метриками привлечения, поведенческими метриками и метриками результатов в наших оценочных листах, чтобы описать весь путь клиента — и разрушить разрозненность.
И это только я веду все эти обсуждения!
У вас, конечно, гораздо больше обсуждений, посвящённых метрикам.
Метрики важны.
Моя цель — убедить вас, что методологии — как вы измеряете метрику/KPI — экспоненциально важнее.
Важность метрик
Коэффициент конверсии — стандартная метрика во многих инструментах аналитики.
Его можно измерить как: Заказы/Сеансы.
Мне это не нравится, поскольку предполагает, что каждое открытие вашего приложения, каждый визит на ваш сайт — это возможность конверсии. Это способствует краткосрочности. Это оскорбляет путь клиента.
Поэтому в своей первой книге я выступал за: Заказы/Пользователи.
Если у человека четыре или пять сеансов между вашим приложением и сайтом, а затем он совершает конверсию, это нормально. Давайте измерим успех этого пути.
Среди многих преимуществ это побуждает ваши команды маркетинга, сайта, обслуживания создавать опыт, который работает в том же темпе, что и ваши клиенты — вместо того, чтобы каждый раз, когда они появляются, нажимать «Купить сейчас», «Прямо сейчас»!
То, как вы определяете метрики, имеет значение. Для измерения и культуры.
Когда кто-то говорит о ROAS, спросите: Можете ли вы поделиться формулой, которую вы используете для расчёта этой метрики?
Затем поплачьте, осознав, чего в ней не хватает.
Вытрите слёзы.
Обратите внимание, ROAS выражается как средний ROAS.
Не поддавайтесь желанию снова начать плакать.
Сделайте глубокий вдох.
Спросите о маржинальном ROAS. Это изменит вашу жизнь.
[Примечание: Члены TMAI Premium, пожалуйста, обратитесь к бесценному #433: «Вычислите маржинальную отдачу!» Если вы не можете его найти, пожалуйста, напишите мне.**]
То, как вы определяете метрики, имеет значение.
Без вопросов.
Невероятная важность методологий
Вы можете измерить, сколько конверсий было совершено через ваше цифровое присутствие, используя Last-Click — стандартный подход в инструментах цифровой аналитики.
Last-Click — это методология. Конверсии — это метрика.
Last-Click отдаёт всю заслугу за конверсию последнему рефералу сеанса, в котором произошла конверсия. Возможно, я приходил на сайт пять раз, но мой последний клик был по электронной почте от Kate Spade. Методология Last-Click присвоит всю заслугу за мою конверсию маркетингу по электронной почте.
Грустно. И это ложь.
Чтобы исправить это, 15 лет назад (!), Google Analytics выпустила атрибуционное моделирование в качестве дополнительной методологии.
Это было здорово. Теперь все пять моих посещений katespade.com отслеживаются GA, и заслуга за мою конверсию распределяется между SEO, электронной почтой, платным поиском в Bing, аффилированными лицами и электронной почтой.
Лучшая методология!
Конверсии, обусловленные электронной почтой, отличаются при атрибуционном моделировании и Last-Click — одна лучше для бизнеса, другая будет способствовать принятию неразумных решений.
Становится сложнее. :)
Атрибуционное моделирование при запуске имело множество методологий, которые могли улучшить отчёт о конверсиях или сделать его хуже!
- Первый клик. 2. Линейный. 3. Временной спад. 4. Позиционный. 5. Пользовательский. 6. DDA.
Как свойственно людям, мы использовали их все!
Метрика не изменилась, это всё ещё конверсии, но выбор методологии приводил к правильным или неправильным решениям.
Например, я говорил:
Атрибуция по первому клику — это как отдать моей первой девушке 100% заслуг за то, что я женился на моей жене!
Вот насколько неразумно было использовать эту методологию.
К счастью, команда в Google осознала ужас, убила все глупые отвлекающие факторы и стандартизировала атрибуционное моделирование, основанное на данных — модель, основанная на данных, изученная на миллионах / десятках миллионов потребительских путей ваших реальных клиентов.
Методология может стать ещё лучше!
Решение для атрибуционного моделирования, которое включало онлайн- и офлайн-конверсии, было лучшей методологией, чем то, что существует в GA.
Затем… Вы начали читать то, что я проповедую, и поняли, что атрибуция — это не лучшая методология.
Атрибуция — это не инкрементальность! [Подписчики TMAI Premium, пожалуйста, смотрите #232.]
Если вы хотите узнать, что произойдёт, если вы сократите весь маркетинговый бюджет до нуля, единственная методология, которая ответит на этот вопрос: инкрементальность портфеля.
Итак… Как вы должны измерять конверсии (или доход или, что ещё лучше, прибыль)?
Инкрементальность.
Это единственная методология, которую примет финансы. Потому что это единственная, которая позволяет выявить истинную причинно-следственную связь.
Видите, что я имею в виду?
Методология гораздо, гораздо, гораздо важнее, чем метрика.
Ошибка с определением метрики или добавление плохой метрики на ваш дашборд повредит.
Ошибка в выборе методологии для метрики (метафорически) убьёт вас.
Вот изображение из обсуждения на прошлой неделе в Premium о Пути к MMMs…
За последнее десятилетие я одержим идеей брендового маркетинга. Вот объяснение почему.
Если вы занимаетесь брендовым маркетингом правильно, вы измеряете одну из трёх KPIs:
- Unaided Brand Awareness. 2. Consideration. 3. Purchase Intent.
Есть 7 миллионов других метрик, 6,99 миллиона из которых — дорогостоящие отвлекающие факторы. Только три поднимаются до уровня KPI.
Допустим, вы руководите брендовым маркетингом в банке Chase, и ваш CMO стратегически решил сосредоточиться на намерении совершить покупку.
Отлично.
Потратьте немного времени на борьбу с разочарованием, когда вы измеряете намерение совершить покупку на трёх рекламных платформах, а у них есть четыре совершенно разных определения намерения!
Рационализируйте это. Конечно.
Но.
Внутри вашей компании, когда вы видите отчёт о кампании, который представляется вашему CMO… Прежде чем она отреагирует на него… Спросите своё агентство вопрос:
Какую методологию вы использовали для расчёта намерения совершить покупку?
Они скажут: Brand Tracker.
Прекратите встречу!
Brand Tracker — это, возможно, худший способ измерить Lift в намерении совершить покупку, обеспечиваемый вашей кампанией.
Brand Trackers собирают относительно небольшую выборку, только периодически (скажем, раз или два в год). Оба этих аспекта абсолютно нормальны.
Проблема в том, что сфера охвата Brand Tracker — это измерение намерения совершить покупку на уровне компании (и других KPI). На это намерение влияют многие, многие, многие факторы…
Ваши конкуренты влияют на то, сколько людей покупают у вас. Вашего генерального директора обвинили в домогательствах, большой новостной цикл, это влияет на намерение совершить покупку. Другие факторы. И маркетинг.
В Brand Tracker невозможно определить причинное влияние кампании.
Неподходящая методология для этого.
Причинное влияние маркетинговой кампании на выбранный вами брендовый KPI намерения совершить покупку будет измеряться с помощью настоящих тестов < > контрольных опросов Brand Lift.
Всё равно… Так много, опытных (!!) экспертов по измерениям продолжают использовать неправильную методологию.
[Примечание: Премиум-члены, пожалуйста, активируйте подробные советы в TMAI #356: «Лестница превосходства в измерении бренда». Напишите мне, если вы не можете его найти.**]
В прошлом квартале я видел клиентский дашборд, где они сообщали одну и ту же брендовую метрику для каждой страны в дашборде CMO, так что казалось, что вы можете сравнивать яблоки с яблоками. Но когда я спросил, какая методология использовалась, всё развалилось, поскольку в каждой стране использовался свой подход.
В прошлом месяце это был эксперт в крупной азиатской стране, пытающийся убедить меня, что его измерение Brand Lift было в порядке с Brand Tracker, потому что он использовал «Pre-Post, чтобы изолировать влияние кампании.» В этом столько неправильного, что даже не смешно.
На прошлой неделе кто-то яростно пытался оправдать использование Brand Trackers для измерения влияния кампании на уровне кампании, потому что они основывались на отзыве рекламы… Я расплакался, настолько плоха эта идея.
Вот как объяснялся плохой выбор методологии:
А. Я живу в Кэмдене. Я могу дойти до станции Кингс-Кросс, сесть на Eurostar до Парижа и быть там через 2,5 часа.
Б. Я живу в Кэмдене. Я могу дойти до станции Кэмден-Роуд, сесть на поезд Northern Line до станции Tottenham Court, пересесть на линию Elizabeth, выйти на станции Heathrow Airport, оттуда сесть на рейс до Дакара, Сенегал. Купить мотоцикл и пересечь пустыню Сахара до Алжира. Затем я прыгаю в Средиземное море и плыву до Марселя. Наконец, я иду в Париж. Даже если я не умру по пути, представьте, в какой я форме.
Выберите А.
Выберите более простую методологию.
Если вы это сделаете, шансы значительно выше, что вы определите причинную производительность. Что приведёт к лучшим решениям.
В обоих случаях метрика будет иметь то же название — намерение совершить покупку. Вот что вы должны учитывать.
Всегда, всегда, всегда спрашивайте о методологии.
И мучайте методологию.
В моём примере выше вы бы использовали настоящий тест < > контрольные BLS для измерения моих любимых брендовых метрик: Points of Lift, Number of Individuals Lifted и Cost Per Individual Lifted (CPIL).
Но спросите провайдера BLS:
Сколько респондентов было в выборке?
Каков был коэффициент отклика?
Когда вы предложили опрос: после первого рекламного впечатления, через три, в конце кампании?
Как вы калибруете участников опроса, чтобы обеспечить репрезентативность выборки?
Какой метод вы используете для экстраполяции с 225 ответов на нашу целевую аудиторию в 12 миллионов человек?
Как вы обеспечили сбор и установление базовой линии по вашему каналу до начала кампании?
У меня есть ещё около дюжины подобных вопросов.
Я прошу их обеспечить, чтобы даже когда платформа создаёт настоящие тестовые и контрольные группы, методология работает на высочайшем уровне качества.
Ниндзя-аналитики тратят на это время.
Методологии важнее всего.
Супер-пупер матрица методологий
Не все в организации находятся на одном уровне сложности в отношении стратегической аналитики — это нормально.
В более ранней роли наш финансовый директор побуждал нас создать что-то простое, что вся организация могла бы использовать для проверки качества результатов, прежде чем отправлять ей информационные панели, утверждающие о потрясающих результатах.
Это была отличная задача. У компании есть крупные операции более чем в 20 странах и 14 различных бизнесов B2B, B2C, A2Z.
Финансовый директор получил метрики. Но я быстро решил, что стандартизация метрики и её определения не повлияет на поведение, которого хотел наш финансовый директор.
Вместо того чтобы стандартизировать метрики, я решил сосредоточиться на стандартизации методологий.
Результатом стала «матрица», которая выглядела так…
По оси Y — качество используемых измерений.
По оси X — качество входных данных (прокси для объёма анализа).
Цвета ячеек представляли явную просьбу финансового директора:
Я хочу знать, кому нужно улучшение, где мы в среднем по отрасли, где мы следуем отраслевым стандартам и где мы лидируем во всей отрасли, внедряя инновации.
Сложная задача, не так ли?
Много исследований было вложено в её создание, много споров о том, жёлтый это или зелёный, и много приглашений внешних экспертов для оспаривания нашего мышления.
Нанеся каждую методологию в эти ячейки, мы смогли создать что-то простое, которое решило обе проблемы:
А. Чётко определило качество того, что сегодня сообщается.
В. Показало путь улучшения текущей методологии (в случае, если она оказалась в красном или жёлтом).
Вот частичный вид, чтобы дать вам представление о том, как это выглядело…
Просто.
Суперэффективно.
Всё, кроме красного, в порядке.
Но зачем вам останавливаться на жёлтом. :)
Мы активно используем его с нашими клиентами сейчас в духе кайдзен.
[Примечание: Если вы являетесь подписчиком TMAI Premium и хотите увидеть версию с 26 дополнительными методологиями в матрице выше, просто напишите мне, и я буду рад поделиться ею.**]
Итог.
Одержимы методологией.
Это вершина знания того, что вы делаете.
Carpe diem.