102 Модели маркетингового комплекса – хорошее, плохое и уродливое

Автор: Дмитрий Иванов [Команда P9X]

~8 минут чтения

Сравнение MMM с другими способами измерения эффективности маркетинга

Конечная цель маркетинга — повлиять на поведение потребителей или изменить его. Чтобы измерить эффективность маркетинговых мероприятий, нужно понять, какое дополнительное влияние они оказывают на ключевые показатели эффективности (KPI). В идеальном мире мы хотели бы иметь пару контрфактических ситуаций: что произошло с пользователем, которого коснулась реклама, и что произошло бы, если бы этот же пользователь не увидел рекламу, при этом все остальные факторы оставались бы неизменными. Однако мы не живём в параллельных вселенных (или, может быть, живём, но я об этом не знаю).

Хотя считается, что только рандомизированные эксперименты могут ответить на вопрос о причинно-следственной связи, мы всё равно можем полагаться на другие методы моделирования, чтобы приблизиться к пониманию дополнительного эффекта маркетинга. Несколько методологий помогают измерить маркетинговую добавочную стоимость/эффективность: эксперименты, моделирование маркетингового микса (МММ), моделирование многофакторной атрибуции (ММА) и гибридные подходы — комбинация всех трёх или двух из них.

Эксперименты

Эксперименты — это святой грааль понимания причинно-следственных связей. При рандомизации они должны быть ближе всего к реальному контрфакту. Эксперименты и квазиэксперименты широко используются в маркетинге для измерения добавочной стоимости кампаний и каналов.

Типы экспериментов включают тесты на уровне пользователей, тесты на уровне рынка, синтетические контрольные тесты и т. д.

В тесте на уровне пользователя пользователи случайным образом распределяются по контрольным и экспериментальным группам. Экспериментальная группа будет подвергаться воздействию рекламы, а контрольная группа — нет. После окончания теста аналитик может сравнить ключевые показатели (например, коэффициент конверсии) между двумя группами и провести статистическую проверку, чтобы увидеть, являются ли различия между экспериментальной и контрольной группами значимыми.

Например, если компания хочет протестировать, работает ли определённая акция, и какой размер скидки является оптимальным, она может создать несколько групп — контрольную группу без акции вообще, экспериментальную группу 1 со скидкой в 10 долларов и экспериментальную группу 2 со скидкой в 30 долларов.

В некоторых случаях тест на уровне пользователя неосуществим, могут сработать методы квазиэкспериментации, такие как тесты на уровне рынка или синтетические контрольные тесты. Например, если есть сильный сетевой эффект, воздействие на экспериментальную группу повлияет и на контрольную группу.

Преимущества использования экспериментов/квазиэкспериментов, если всё сделано правильно:

  • это наиболее научный способ по-настоящему понять добавочную стоимость кампании или канала;
  • он может быть гибким в понимании эффективности на уровне кампании, канала, региона или общего уровня маркетинга (в зависимости от креативного экспериментального дизайна);
  • он может предоставить ценную проверку и калибровку для других моделей атрибуции;
  • он может обойти некоторые проблемы, которые трудно решить с помощью моделей, такие как смещение самоотбора для платных поисковых каналов;
  • для каналов и кампаний с очень короткой историей, но достаточным объёмом, эксперименты могут работать лучше, чем модели.

Недостатки:

  • эксперименты могут быть неосуществимы для многих каналов. Причина может быть в том, что у канала недостаточно объёма или мощности для получения статистически значимых результатов, или канал не способствует проведению экспериментов. Квазиэксперименты также зависят от многих внешних факторов, которые могут повлиять на взаимосвязь между экспериментальной группой и её предикторами, что делает тест неточным;
  • эксперименты могут отражать только рыночную ситуацию и маркетинговую стратегию во время проведения теста и не предоставлять возможности прогнозирования на будущее. Они также могут зависеть от сезонности и тенденций. Трудно построить целостную и всеобъемлющую систему измерения, используя только результаты экспериментов, для оптимизации бюджета в будущем;
  • нельзя проводить неограниченное количество тестов за определённый промежуток времени, особенно для малого бизнеса или когда необходимо протестировать множество различных воздействий;
  • эксперименты зависят от инициатив по защите конфиденциальности пользовательских данных, таких как Apple no IDFA. Без данных отслеживания на уровне пользователей трудно детерминированно атрибутировать конверсии кампаниям, таким образом, результаты подъёма оказываются ненадёжными.

Модели многофакторной атрибуции (ММА)

Модель ММА стремится приписать конверсию различным каналам, которые касались пользователя до конверсии. Прежде чем пользователь конвертируется, он может быть затронут рекламой по нескольким каналам. Например, пользователь может увидеть рекламу в Instagram и получить электронное письмо с рекламой перед конверсией. Как приписать конверсию разным объявлениям? Как определить, какое объявление является дополнительным фактором, побудившим пользователя к конверсии, или ни то ни другое? Модели ММА могут быть полезны.

Существует множество подходов к построению моделей ММА. Популярные способы:

  1. Простые, но неточные методы на основе правил, такие как равный вес (присвоение равных кредитов всем каналам), временное затухание (присвоение меньших кредитов точкам касания, которые находятся дальше от конверсии, с фиксированной/динамической скоростью), позиционные (присвоение большего веса последнему и/или первому каналам касания, предполагая, что они оказывают большее влияние на решение пользователя, и распределение остальных кредитов между другими каналами между ними).
  2. Теория кооперативных игр и значение Шепли. В теории игр значение Шепли — это решение о справедливом распределении кредитов между несколькими игроками (маркетинговыми каналами) в коалиции (стимулировании конверсий).
  3. Модели машинного обучения, такие как логистическая регрессия, древовидные модели или нейронные сети.
  4. Гибрид вышеперечисленного.

Преимущества:

  • модели ММА являются пользовательскими и восходящими. Они могут предоставить более детальную и гибкую информацию путём агрегирования данных на уровне пользователей до желаемого уровня детализации и проведения анализа на уровне когорт.
  • модели ММА обычно работают на ежедневном уровне и позволяют быстрее реагировать на рынок.
  • позволяют рекламодателям углубиться в путь пользователя и лучше понять нюансы и синергию для конкретных групп аудитории и детальных стратегий.

Недостатки:

  • модели ММА могут охватывать только цифровые медиа. Вы не можете приписать прикосновение к билборду конкретному пользователю. Они не подойдут компании с большими расходами на офлайн-медиа.
  • данные, используемые для моделей ММА, могут быть труднодоступными. Данные для моделей ММА стремятся смоделировать весь путь пользователя по рекламе. Однако в реальности реальные данные могут быть неполными и включать только часть точек касания из-за сложности отслеживания.
  • большинство методов ММА используют данные о кликах, а не о показах, что склонно отдавать больше кредитов более кликабельным каналам, таким как поиск. Это также может сделать анализ предвзятым.
  • как и эксперименты, ММА также зависят от инициатив по защите конфиденциальности пользовательских данных, таких как Apple no IDFA и VK no AMM. В обозримом будущем к ним присоединится Google. Без данных отслеживания на уровне пользователей модели ММА не могут быть построены.
  • они могут не отвечать на вопрос о причинно-следственной связи, поскольку корреляция — это не то же самое, что причинно-следственная связь.

МММ

Как упоминалось в начале этой истории и в моей истории MMM 101, МММ также измеряет влияние различных маркетинговых каналов на KPI.

По сравнению с другими двумя методами/моделями МММ является агрегированной моделью сверху вниз и имеет следующие плюсы и минусы:

Преимущества:

  • МММ предоставляет целостную структуру для оценки маркетинговых каналов, контролируя многие другие факторы, включая сезонность, тенденции, экономику и т. д.
  • МММ может генерировать кривые затрат, которые помогают с оптимизацией и распределением бюджета.
  • МММ охватывает не только цифровые каналы, но и офлайн-медиа, что обеспечивает более широкий охват, чем ММА, и может быть более надёжным, чем тесты на уровне рынка.
  • МММ не зависит от инициатив по защите конфиденциальности пользовательских данных, поскольку не требует данных на уровне пользователей, что делает его перспективным.

Недостатки:

  • корреляция не равна причинно-следственной связи. МММ по сути является регрессионной моделью. У неё нет контрфакта. Хотя мы можем моделировать сценарии «что, если», это всё равно не то же самое, что рандомизированные контролируемые эксперименты. МММ без калибровки по результатам экспериментов может быть трудно сказать, является ли она причинной или нет.
  • МММ требует относительно больших бюджетов и более длительных данных для получения надёжных результатов. Редкие данные и короткая история данных могут сделать результаты предвзятыми и нестабильными.
  • МММ имеет тенденцию недооценивать каналы верхнего уровня и переоценивать каналы нижнего уровня.
  • МММ является агрегированным уровнем, что делает его менее гибким и менее вероятным для получения более детальной информации, и не покажет нюансы пути пользователя.

Унифицированная система измерения

Все вышеперечисленные методы имеют некоторые плюсы и минусы, и ни один из них не является идеальным. Мы можем объединить или откалибровать один подход с другим, чтобы использовать преимущества всех и максимально избежать проблем. Например, использовать результаты экспериментов в качестве априорных для МММ и использовать результаты ММА для проверки и калибровки МММ. Унифицированный подход теоретически должен работать лучше, чем использование только одного подхода, но он потребует гораздо больше усилий, планирования, талантов и бюджетов, что для многих компаний может не иметь смысла с точки зрения затрат и выгоды.

Вызовы и подводные камни при построении модели МММ

В этом разделе я более подробно рассмотрю проблемы, с которыми можно столкнуться при построении модели МММ, и решения некоторых из них. Некоторые проблемы могут быть не специфичны для модели МММ, но актуальны для общей регрессии.

1. Проблемы с данными

Наиболее серьёзные ограничения данных для МММ включают три аспекта: доступность, разреженность/неряшливость и ограниченный диапазон и объём. Нет лекарства от некачественных данных, но есть вещи, которые мы можем сделать, чтобы снизить влияние на модель. (При этом, конечно, «мусор на входе — мусор на выходе», предложенные ниже решения хороши только для данных, которые соответствуют минимальным требованиям.)

  • Доступность: желаемые данные хорошего качества может быть трудно получить. Например, многие модели МММ используют расходы на медиа в качестве признаков, однако расходы не идеальны, поскольку не учитывают стоимость медиа. Охват, который мы можем получить при более дешёвой цене за медиа, намного больше, чем при высокой цене за тот же уровень расходов. Впечатления, клики и GRP (для телевидения) могут быть лучшими признаками, чем расходы, но данные могут быть недоступны или ненадёжны. Можно получить данные на основе действий из сторонних источников или попытаться создать более совершенную систему внутреннего отслеживания данных. Без данных на основе действий данные о расходах всё ещё достаточны, однако специалисты по данным должны обращать внимание на стоимость медиа и учитывать её в форме модели и при использовании модельных инсайтов.
  • Разреженность и неопрятность: данные о медиа также могут быть разреженными и неопрятными (независимо от использования расходов в качестве признаков или нет), особенно на более детальном уровне. Это своего рода особенность того, как работают маркетинговые бюджеты. Например, может быть большой всплеск расходов из-за нового запуска, но после этого расходов не будет. Для некоторых каналов бюджет может быть отключён на некоторое время и снова включён из-за динамики рынка или изменений в бизнес-стратегии. В некоторых случаях мы можем объединить небольшие локации, которые, как считается, ведут себя одинаково, и оценить их с помощью иерархической байесовской модели (тот же принцип можно применить к аналогичным каналам) или использовать надёжные априорные данные, полученные из экспериментов или внешних источников, чтобы информировать модель, чтобы данные не были единственным фактором, определяющим коэффициенты. Осознание проблем в данных также помогает специалисту по данным принимать более обоснованные решения с помощью модели — важность анализа EDA (я расскажу об этом в отдельной статье).
  • Ограниченный диапазон и объём: модель МММ обычно требует как минимум 2 года еженедельных данных (чем больше, тем лучше) и хороший объём расходов на медиа. Если у нас есть 2 года еженедельных данных, есть только 104 точки данных (при условии одного поперечного сечения), и у нас может быть 10–20 медиаканалов и внешних факторов, и мы сталкиваемся с большой проблемой p (количество признаков) и малым N (количество наблюдений). Если более длительная история или более детальный временной аспект недоступны, один из возможных способов — уменьшить количество признаков, объединив более мелкие каналы и отдав приоритет более крупным каналам, если это позволяет бизнес-случай. Это один из недостатков моделей МММ, упомянутых выше: без достаточного диапазона и объёма исторических данных лучше не строить модель МММ и искать другие решения для измерения маркетинга.

2. Самоотбор и эндогенность

В техническом плане эндогенность возникает, когда регрессор в модели сильно коррелирует с остаточным членом. Это нарушает основные предположения регрессионной модели и приведёт к смещённым оценкам.

Для МММ это происходит, когда в канале есть самоотбор. Лучший пример — платный поиск, особенно брендированный платный поиск. Иногда у пользователя уже есть бренд, который он хочет купить, в голове, и он ищет название бренда в Интернете. Затем он нажимает на платную поисковую рекламу и совершает покупку. Это приведёт к расходам на рекламу, однако покупка не будет дополнительной, потому что пользователь всё равно купил бы.

Проблема самоотбора приводит к другой проблеме — эффекту воронки. Каналы верхнего уровня могут получить меньше кредитов, чем каналы нижнего уровня. Например, когда пользователь увидел рекламу по телевизору и захотел совершить покупку в Интернете. Затем он искал товар в Google и купил его по платной поисковой рекламе. Модель может приписать больше кредитов поиску, если с ним плохо обращаться.

Есть несколько способов решить эндогенную проблему и получить более точную оценку:

  1. Использовать информативные априорные данные из надёжных экспериментов на каналах с высоким уровнем самоотбора, чтобы направлять модель и не допустить, чтобы модель переоценивала эндогенные каналы.
  2. Использовать инструментальные переменные для лучшего контроля за смещением. Основная идея инструментальных переменных состоит в том, чтобы использовать другие предикторы, которые не коррелируют с остаточными членами, но коррелируют с эндогенной переменной, чтобы предсказать эндогенную переменную и использовать прогноз для замены эндогенной переменной.
  3. Использовать подход коррекции смещения отбора, разработанный Google. Команда Google использовала причинно-следственные диаграммы среды поиска и вывела статистически обоснованный метод коррекции смещения, основанный на критерии бэкдора из литературы по причинному выводу (Pearl 2013). Они обнаружили, что релевантный объём поиска соответствовал критерию бэкдора, и использовали поисковые запросы в качестве контролей. После коррекции коэффициент для поиска намного меньше, чем у наивной модели, и совпадает с результатом экспериментов.
  4. Использовать отраслевые эталонные данные, чтобы сократить наивные коэффициенты, оценённые напрямую из нескорректированной модели. Это, вероятно, наименее надёжный и наименее рекомендуемый способ, но может быть быстрым и грязным решением.

3. Мультиколлинеарность

Маркетологи естественным образом распределяют свои расходы на рекламу по разным каналам коррелированным образом. Например, два канала могут быть запущены вместе, чтобы усилить друг друга или поддержать запуск продукта.

Мультиколлинеарность возникает, когда при построении моделей высококоррелированные входные переменные могут привести к тому, что модель будет иметь высокую дисперсию и приведёт к нестабильному и неточному разложению вклада канала.

Несколько способов обнаружить мультиколлинеарность:

  1. Проверить корреляцию с сезонностью и тенденцией, контролируемой между объяснительными переменными.
  2. Проверить факторы инфляции дисперсии (VIFs), которые регрессируют каждую функцию со всеми другими функциями и вычисляют VIF, чтобы определить, есть ли серьёзная мультиколлинеарность.
  3. Изменить комбинации признаков в модели и проверить, наблюдаются ли высокие дисперсии в коэффициентах.

Если проблема мультиколлинеарности серьёзная, мы можем:

  • рассмотреть возможность уменьшения количества признаков и удаления переменных, вызывающих проблему, путём отбрасывания нерелевантных переменных, объединения похожих переменных или использования более продвинутых методов, таких как PCA (анализ главных компонент).
  • применить некоторую трансформацию или стандартизацию к переменным, чтобы посмотреть, поможет ли это.
  • применить регуляризацию к моделям, такую как регрессия гребня или лассо, что также может помочь в некоторых случаях.

4. Выбор модели

В моей другой истории «Моделирование маркетингового микса 101» я обсудил, какие аспекты необходимо учитывать в хорошей ментальной модели для МММ. Я просто суммирую это здесь:

  • убывающая доходность;
  • адстокинг;
  • сезонность, тенденции, праздники и внешние факторы, такие как экономика и конкуренция;
  • синергетический эффект между различными медиа;
  • включение эмпирических и экспериментальных инсайтов для калибровки модели и улучшения способности объяснять причинно-следственную связь.

Выбранная форма модели должна, по крайней мере, соответствовать вышеуказанным требованиям, прежде чем мы начнём подгонять какие-либо данные с помощью модели или начнём решать проблему данных или эндогенности или проблему мультиколлинеарности.

Спасибо за чтение и подписывайтесь на меня, чтобы узнать больше!