Пролог
Недавний разговор с генеральным директором B:
Я: Я видел ваше объявление в аэропорту на днях. У меня есть представление о ваших задачах и маркетинговых целях. Извините, но то объявление было душераздирающим. У меня такое чувство, что оно пытается быть слишком умным. И оно требует огромного количества внимания, чтобы понять, кто в здравом уме на это пойдёт? Вы знаете, я люблю творческое предварительное тестирование (Creative Pre-Testing, CpT). Вам следует протестировать объявление на эффективность, прежде чем тратить деньги.
Генеральный директор B: Во-первых, вы правы. После нескольких месяцев кампании мы не увидели никакого эффекта. Во-вторых, Авинаш, я вас слушаю. Мы предварительно протестировали креатив. Он прошёл с блеском!
Я: ПРАВДА!? Пожалуйста, пришлите мне отчёт поставщика.
Обычно корень неудачи кроется в том, что данные не получают хотя бы беглого взгляда.
Это значительно худший сценарий:
Неудача, основанная на данных, в то время как не признаются фундаментальные недостатки в данных/анализе.
Это серьёзный удар по авторитету агентства, аналитика, поставщика инструментов.
Сегодня, через призму CpT, история об аналитических ошибках.
Подход критического анализа, который я использую ниже, применим к вычислениям коэффициента конверсии, к ужасной привычке «органического майнинга социальных данных», к способности пробиться сквозь шумиху вокруг решений «ИИ» и к завышенному влиянию маркетинга (поэтому никто не верит вашему директору по маркетингу).
Творческое предварительное тестирование | Необычайная ценность
Я одержим творчеством.
Это ваше видеообъявление — на ТВ или YouTube. Это текст в вашем поисковом объявлении. Это ужасный рекламный щит LV на Манхэттене с Роджером и Рафа на футболках (!) на вершине ледяной горы. Это ваши рекламные объявления на дисплее.
Моя одержимость основана на двух экстраординарных фактах:
Без исключительного, устойчивого брендового маркетинга невозможно завоевать долю рынка.
Целых 55–70% успеха маркетинговой кампании зависит от креатива!
В маркетинге нет ничего более важного.
Предварительно тестируя креативы, вы мудро выбираете заранее гарантировать успех, выявляя и устраняя «проигрышные креативы» — до того, как вы потратите какие-либо из ваших драгоценных медиа-долларов.
CpT составляет одну из двух ключевых частей моей стратегии выигрыша, прежде чем тратить — которую любят финансовые директора (CFO).
Творческое предварительное тестирование: удивительный мир
На рынке представлено множество решений для творческого предварительного тестирования. Некоторые существуют с XIII века, другие — совершенно новые.
Эта история объясняет преобладание множества подходов к проведению предварительного тестирования. Важные аспекты, которые следует тщательно оценить, включают:
- Как проводится тест (крошечные фокус-группы, в 2024 году!).
- Какие данные собираются (вербально выраженные чувства, количественные, качественные, кодирование лица).
- Методология, применяемая для вычисления результатов (мы усреднили всё).
- Сам результат (вот составной показатель, с днём рождения!).
- Почему вы должны верить результату (доверьтесь нам, и вы слышали нашего инфлюенсера в Каннах).
- Возможность перехода от индексации по отраслевым нормам к нормам категории, через крупномасштабный сложный метаанализ.
- Выявление взаимосвязи между весом носителя и прошедшим предварительно протестированным креативом, что является ключом к достижению успеха. (Смиренно: самая большая ошибка большинства поставщиков CpT.)
Проработав пару десятилетий в этой области, я накопил достаточно контента по всему вышеперечисленному. В будущих выпусках моего информационного бюллетеня TMAI Premium я разберу каждый аспект, чтобы помочь вам стать опасным задавальщиком сложных вопросов для вашего агентства, поставщиков.
Учитывая разочарование от моего разговора с генеральным директором B выше, давайте рассмотрим #4 сегодня.
Позвольте мне помочь вам распознать, когда вас могут (непреднамеренно) ввести в заблуждение ваши поставщики услуг по предварительному тестированию. Я укажу, на что следует обратить особое внимание, когда вам набрасывают 59 слайдов с результатами с большими таблицами и причудливыми диаграммами.
Предварительный контекст. :)
Сегодняшний пример использования — креативы, используемые для кампании по брендовому маркетингу.
(Хотя всё это также применимо и к производительности.)
[Все изображения: щёлкните правой кнопкой мыши, откройте изображение в новой вкладке, чтобы получить версию с высоким разрешением.]
Креативы могут использоваться на любом канале: YouTube, VK, рекламные щиты, ТВ, журналы.
Существует два основных типа CpT:
CpT A. Тестирование творческих концепций. (Первая зелёная рамка слева.) CpT B. Тестирование творческих исполнений.
CpT A в шестьдесят семь раз важнее, чем CpT B, потому что неправильная творческая концепция приводит к тому, что все исполнения этой концепции терпят неудачу (и кампания умирает).
CpT A также намного сложнее, чем CpT B — 70% из-за человеческого эго/внутренней политики, 30% из-за качества необходимого предварительного тестирования.
Ожидаемый результат CpT: тысячи/миллионы, потраченные на медиа, усиливающие прошедшие креативы, обеспечат причинное повышение по шести основным ключевым показателям эффективности (KPI) — три для краткосрочного, среднесрочного и долгосрочного финансового успеха и три для долгосрочной релевантности и устойчивости бренда.
[Члены TMAI Premium: пожалуйста, ознакомьтесь с выпусками #403 и #404: Большая шестёрка KPI: обеспечение великого скачка вперёд. Пожалуйста, напишите мне, если вы не можете их найти, они абсолютно необходимы.]
Что на самом деле измеряет ваш поставщик услуг по предварительному тестированию креативов?
Из семи аспектов, упомянутых выше, чтобы гарантировать, что ваша программа CpT не даёт ложного положительного результата (к большому огорчению генерального директора B), сегодня я сосредоточусь на №4.
Я работал со многими поставщиками услуг CpT — как с независимыми, так и с теми, кто является частью предложения рекламной платформы (например, YouTube, VK и других).
Каждая рекламная платформа предлагает «лучшие практики для креативов» для своих рекламных блоков. Вам следует прочитать их, прислушаться к ним, активировать их в максимально возможной степени. Даже наихудший эффект от этого — вы будете хуже других — это здорово!
Важно подчеркнуть, что «лучшие практики для креативов», предоставляемые рекламной платформой, не являются заменой предварительного тестирования ваших креативов — особенно для креативов, которые займут значительную часть вашего медиа-бюджета. Вам нужны очень специфические доказательства, но проверенные доказательства того, что эти креативы принесут прибыль. Для этого вы будете использовать независимых поставщиков услуг CpT.
Давайте рассмотрим трёх поставщиков, чьи подходы к CpT являются репрезентативными для всех.
Thermo
(Реальная компания, вымышленное название.)
Thermo имеет обширный подход к предварительному тестированию креативов. Как и многие поставщики услуг CpT, он опирается на академические исследования, посвящённые человеческим реакциям и эмоциям.
Thermo и другие поставщики часто предварительно тестируют с помощью gen pop (широкой массы населения). Разумно настаивать на том, чтобы аудитория предварительного тестирования была точной копией медиа-аудитории. Вы предварительно тестируете на случайной человеческой выборке, креативы проходят. Это не даёт никаких гарантий, что креативы будут работать для конкретной медиа-аудитории! Кампания терпит неудачу.
Когда Thermo представляет свой анализ, он сообщает о «восприятии рекламы».
Что измеряет Thermo:
- «легко понять»;
- «эффективные смоделированные эмоции»;
- «интрига и мотивация»;
- «правдоподобно»;
- «приятно»;
- «чувство контроля и лёгкости»;
- «заставляет меня чувствовать».
С искренностью и любовью хочу подчеркнуть, что это увлекательные оценки.
Чувствуется ценность, если знать, является ли Креатив приятным или симулирует эмоции. Я уверен, что симуляция имеет какое-то отношение к эффективности Креатива.
Но, как и вы, я могу отвлекаться на активность. Реальная жизнь — это результаты.
Что не измеряет Thermo:
Thermo не измеряет, они не сообщают вам, окажет ли Креатив какое-либо влияние на результат кампании.
Так в чём же смысл?
Полезно ли знать, была ли у аудитории симуляция, но не знать, приведёт ли эта симуляция к (краткосрочному) повышению бренда и (долгосрочному) влиянию на финансовые показатели?
Нет.
Извините.
Мне всё равно.
Цель кампании — обеспечить повышение на +3 по KPI рассмотрения бренда.
Без прогноза влияния на цель кампании… Знание того, легко ли понять, приятно, заставляет меня чувствовать и т. д., — это увлекательная, отвлекающая работа для аналитиков и моего агентства. Это просто заполнители для моей творческой команды и, возможно, CMO. Не зная влияния всего этого на цель моей кампании… Это просто трата денег (для компании).
Аналитик/агентство допустили серьёзную ошибку, не осознав (/не указав), что на 59 слайдах сказано многое, но только о той синей линии, которую вы видите на изображении выше. Там ничего не сказано об исходе.
Случай с генеральным директором B — прекрасный пример этого.
Они использовали Thermo для оценки того, что было много симуляции. Они потратили свой значительный медиа-бюджет на эти креативы. Кампания не смогла обеспечить никакого повышения — и, очевидно, нулевого финансового результата.
Так что…
Анализирует ли ваш поставщик услуг CpT, например Thermo, прогнозирует ли он, симулированные эмоции или результаты (по KPI успеха вашей кампании)?
[Примечание: Концепция приростности, критически необходимая, не существует в оценке Thermo.]
PlatformU
(Реальная компания, вымышленное название.)
PlatformU (PU) входит в когорту поставщиков услуг CpT, которые существуют уже очень давно. Её возраст отражается в огромном количестве клиентов, которые у них есть, и в традиционных методологиях, которые использует их решение.
PU, как и Thermo, но с совершенно другой методологией, оценивает самоотчётные эмоции зрителя.
В конце своего анализа PU сообщает составной показатель: индекс DUST.
Что измеряет PU?
- индекс DUST по шкале от 1 до 7;
- «долгосрочная доля рынка»;
- «выигрыш».
Предварительно протестированному креативу присваивается оценка индекса DUST 7 (высокая), что означает, что это приведёт к «долгосрочному росту доли рынка». Честно говоря, какой CMO может устоять перед таким выводом? Неудивительно, что у PU так много клиентов!
Подразумевается, что больше такого креатива в будущем окажет положительное влияние на бизнес.
Что не измеряет PU:
- подъём бренда;
- прибыль;
- доля рынка.
В частности… Если вы проводите кампанию ко Дню святого Валентина для своего бренда, или к началу учебного года, или ко Дню труда, или к футбольному сезону…
Нет абсолютно никакого прогноза относительно влияния предварительно протестированных креативов на бизнес-результаты от конкретных кампаний, использующих эти креативы.
Как аналитик, критически мыслящий, крайне важно распознать, когда это происходит в инструменте, анализе, в ваших отчётах для руководителей высшего звена:
- тратьте деньги на измерения;
- разверните индивидуальную методологию с индивидуальными метриками и индивидуальными отчётами (это нормально);
- представьте результаты, которые невозможно проверить.
Именно это происходит, когда вы используете PU.
Индекс DUST и полученный в результате всеобъемлющий и красочный анализ отдельных креативов лишь слабо намекают на то, что в будущем может произойти что-то положительное.
Этот образ мышления не учитывает реальность того, что компании используют новые и разные креативы для новых и разных кампаний — которые решают разные бизнес-задачи.
Он также игнорирует печальную реальность того, что в маркетинге мало что планируется, исполняется и оптимизируется в долгосрочной перспективе. Я бы хотел, чтобы это было не так. Это так. Как аналитик, неразумно курить во сне.
Использование PU — это немного как обещать, что вы можете использовать велосипед, чтобы подняться на Эверест.
Так что…
Анализирует ли ваш поставщик услуг CpT, например PU, составной показатель, слабо намекающий на будущий бренд, или прогнозирует успех вашего предварительно протестированного креатива в вашей текущей кампании?
[Примечание: Концепция приростности, критически необходимая, не существует в оценке PlatformU.]
Human Made Machines (HMM)
(Реальная компания, настоящее имя.)
HMM — одна из новых групп поставщиков услуг CpT. Я использовал их, когда работал в Google, в рамках маркетинговых инициатив по всему миру, и продолжаю делать это сейчас для текущих клиентов.
Основная методология HMM делит предполагаемую медиа-аудиторию кампании на тестовые и контрольные кластеры, чтобы оценить влияние креатива на KPI успеха кампании.
Что измеряет HMM?
- статистически значимый подъём бренда (в KPI кампании);
- диагностические показатели (привлекательность бренда, релевантность, понятность и т. д.).
Основными показателями подъёма бренда являются три, о которых вы слышали от меня много раз в контексте эффективного измерения бренда: 1. Unaided Awareness. 2. Consideration. 3. Intent.
Как и в случае с Thermo и PU, HMM даёт оценку ключевых тем, присутствующих в качественных отзывах, собранных у участников исследования. Я считаю, что это содержит бесценные размышления о том, почему Креатив мог потерпеть неудачу или пройти предварительное тестирование.
Самый важный аспект методологии HMM заключается в том, что она фактически прогнозирует результаты: что произойдёт в конце кампании, если вы поместите весь медиа-бюджет за Креативами, которые HMM оценивает как Прошедшие?
Второй по важности аспект заключается в том, что он измеряется на основе приростности.
Если вы прислушаетесь к данным и сделаете что-то (Причина), это то, что произойдёт (Эффект).
Как аналитик, у меня есть дополнительная корыстная выгода: я могу доверять, но проверять.
HMM сообщает, скажем, что креативы A, C, F прошли, а креативы B, D, E не прошли. Я могу:
- поместить большую часть медиа-бюджета на креативы A, C, F и измерить, будет ли доставлен прогноз HMM о подъёме бренда в реальных условиях;
- поместить часть медиа-бюджета на креативы B и D (креатив F получил 5/100, это неудачник!), и измерить, что произойдёт в реальных условиях — не смогут ли они обеспечить подъём?
Моя независимая способность доверять, но проверять, в рамках кампании, для которой был создан Креатив, — это секретная суперсила, которой мне полностью не хватает с Thermo и PU.
Вы должны тяготеть к любой методологии работы с данными, которая позволяет вам доверять, но проверять — потому что аналитики, поставщики, агентства никогда не должны быть доверены просто на основании их слов или ярких слайдов и экстравертированных людей в процессе продаж.
Что не измеряет HMM?
Помимо того, что они должны измерять, см. выше, я всегда жажду всё большего и большего долгосрочного метаанализа!
Так что…
Прогнозирует ли ваш поставщик услуг CpT приростный подъём бренда, который Креатив обеспечит — для предварительно определённого вами KPI успеха кампании?
[Примечание: я использовал Kantar для CpT, особенно для офлайн-креативов. Мне нравится, что они также используют тестовые и контрольные группы в качестве основополагающей методологии.]
Вот краткое резюме для вас…
[Члены TMAI Premium: 1. Если вы хотите получить копию этого слайда для своего использования, напишите мне. 2. Создание эффективных креативов — это ключ. Пожалуйста, ознакомьтесь с TMAI #401, #402 (выигрывайте, прежде чем тратить) с шестью моделями, которые есть у выигрышных креативов, и почти с 30 примерами, иллюстрирующими эти модели. Если вы не можете их найти, просто напишите мне.]
Итог:
Нет ничего более достойного вашего времени как маркетолога, чем Креатив, который рассказывает вашу историю. Брендовый или перформанс-маркетинг.
Предварительное тестирование этого креатива, наличие смелости использовать только прошедшие креативы — это самый эффективный способ заранее гарантировать успех.
Применение критического мышления при оценке вашего поставщика услуг по предварительному тестированию креативов гарантирует, что ваш предварительный залог не будет миражем.
Carpe diem.