Принятие решений в условиях неопределённости — центральная задача для продуктовых команд. Крупные и мелкие решения часто приходится принимать в сжатые сроки, несмотря на неполную — и потенциально неточную — информацию о проблеме и пространстве решений.
Это может быть связано с отсутствием соответствующих исследований пользователей, ограниченными знаниями о тонкостях бизнес-контекста (обычно это наблюдается в компаниях, которые уделяют слишком мало внимания ориентации на клиента и межкомандному сотрудничеству) и/или ошибочным пониманием того, что может и чего не может делать определённая технология (особенно при создании инновационных продуктов с использованием новых, непроверенных технологий).
Ситуация особенно сложна для команд, занимающихся разработкой продуктов на основе искусственного интеллекта, по крайней мере, по трём причинам. Во-первых, многие алгоритмы искусственного интеллекта по своей природе вероятностны и, таким образом, дают неопределённые результаты (например, прогнозы модели могут быть верными или неверными с определённой вероятностью). Во-вторых, не всегда доступно достаточное количество высококачественных и релевантных данных для надлежащего обучения систем искусственного интеллекта. В-третьих, недавний всплеск ажиотажа вокруг искусственного интеллекта — и особенно генеративного искусственного интеллекта — привёл к нереалистичным ожиданиям среди клиентов, аналитиков Уолл-стрит и (неизбежно) лиц, принимающих решения в высшем руководстве; создаётся впечатление, что практически любую задачу теперь можно легко решить с помощью искусственного интеллекта. Разумеется, продуктовым командам может быть сложно управлять такими ожиданиями.
Что же остаётся надеяться командам, занимающимся разработкой продуктов на основе искусственного интеллекта?
Хотя универсального решения не существует, в этой статье читателей знакомят с понятием ожидаемой ценности и тем, как её можно использовать для принятия решений в управлении продуктами на основе искусственного интеллекта. После краткого обзора ключевых теоретических концепций мы рассмотрим три реальных примера из практики, которые подчёркивают, как анализ ожидаемой ценности может помочь командам, занимающимся разработкой продуктов на основе искусственного интеллекта, принимать стратегические решения в условиях неопределённости на протяжении всего жизненного цикла продукта. Учитывая основополагающий характер предмета, целевая аудитория этой статьи включает специалистов по работе с данными, менеджеров по продуктам на основе искусственного интеллекта, инженеров, исследователей UX и дизайнеров, менеджеров и всех, кто стремится разрабатывать отличные продукты на основе искусственного интеллекта.
Ожидаемая ценность
Прежде чем рассматривать формальное определение ожидаемой ценности, давайте рассмотрим две простые игры, чтобы развить интуицию.
Игра в кости
В первой игре представьте, что вы соревнуетесь со своими друзьями в конкурсе по метанию костей. Каждый из вас бросает честную шестигранную кость N раз. Результат каждого броска определяется количеством точек, выпавших на верхней грани кости после броска; 1, 2, 3, 4, 5 и 6 — единственные достижимые результаты для любого броска. Игрок с наибольшим общим счётом в конце N бросков выигрывает игру. Предполагая, что N — большое число (скажем, 500), что мы должны ожидать увидеть в конце игры? Будет ли явный победитель или ничья?
Оказывается, что при большом N общие результаты каждого из игроков, вероятно, будут сходиться к 3,5*N. Например, после 500 бросков общие результаты вас и ваших друзей, вероятно, составят около 3,5*500 = 1750. Чтобы понять почему, заметим, что для честной шестигранной кости вероятность выпадения любой грани после броска равна 1/6. В среднем результат отдельного броска будет равен (1 + 2 + 3 + 4 + 5 + 6)/6 = 3,5, то есть среднему значению всех достижимых результатов за бросок — это также ожидаемая ценность броска кости. Предполагая, что результаты всех бросков независимы друг от друга, мы ожидаем, что средний результат N бросков составит 3,5.
Игра в рулетку
Далее рассмотрим рулетку, популярную игру в казино. Представьте, что вы играете в упрощённую версию рулетки против друга следующим образом. Колесо рулетки имеет 38 карманов, и игра заканчивается после N раундов. В каждом раунде вы должны выбрать целое число от 1 до 38, после чего ваш друг раскрутит колесо рулетки и бросит маленький шарик на вращающееся колесо. Как только колесо остановится, если шарик окажется в кармане с номером, который вы выбрали, ваш друг заплатит вам 35 долларов; если же шарик окажется в любом другом кармане, вы должны будете заплатить своему другу 1 доллар. Сколько денег вы ожидаете заработать или проиграть после N раундов?
Вы можете подумать, что, поскольку 35 долларов намного больше 1 доллара, ваш друг в конечном итоге заплатит вам довольно много денег к тому времени, когда игра закончится — но не так быстро. Давайте применим тот же базовый подход, который мы использовали в игре с костями, для анализа этой, казалось бы, прибыльной игры в рулетку. Для любого данного раунда вероятность того, что шарик окажется в кармане с номером, который вы выбрали, равна 1/38. Вероятность того, что шарик окажется в любом другом кармане, равна 37/38. С вашей точки зрения, средний результат за раунд составляет 351/38 – 137/38 = -0,0526 доллара. Таким образом, кажется, что вы фактически будете должны своему другу чуть больше никеля после каждого раунда. После N раундов вы потратите примерно 0,0526*N долларов. Если вы сыграете 500 раундов, как в игре с костями выше, вы в итоге заплатите своему другу примерно 26 долларов. Это пример игры, которая устроена так, чтобы приносить пользу «дому» (то есть казино, или в данном случае вашему другу).
Формальное определение
Пусть X — случайная величина, которая может дать любое из k значений результата, x 1, x 2, …, x k, каждое с вероятностями p 1, p 2, …, p k наступления соответственно. Ожидаемая ценность, E(X), X — это сумма значений результатов, взвешенных по соответствующим вероятностям их наступления:
Общее ожидаемое значение N независимых вхождений X будет N*E(X).
Пример 1: Обнаружение мошенничества в электронной коммерции
Cars Online — это онлайн-платформа для перепродажи подержанных автомобилей по всей Европе. Законные автосалоны и частные владельцы подержанных автомобилей могут размещать свои автомобили на продажу на Cars Online. Типичное объявление будет включать запрашиваемую цену продавца, факты о автомобиле (например, его основные свойства, специальные функции и сведения о любых повреждениях/износе) и фотографии интерьера и экстерьера автомобиля. Покупатели могут просматривать многочисленные объявления на платформе, и, найдя то, которое им нравится, могут нажать на кнопку на странице объявления, чтобы связаться с продавцом и договориться о просмотре, а в конечном итоге совершить покупку. Cars Online взимает с продавцов небольшую ежемесячную плату за размещение объявлений на платформе. Чтобы стимулировать такой подписной доход, процесс регистрации продавцов на платформе и создания объявлений максимально упрощён.
Проблема в том, что некоторые объявления на платформе могут быть поддельными. Непредвиденным следствием снижения барьеров для создания объявлений является то, что злоумышленники могут создавать поддельные учётные записи продавцов и создавать поддельные объявления (часто выдавая себя за законные автосалоны), чтобы заманить и потенциально обмануть ничего не подозревающих покупателей.
Пример 2: Автоматическое заполнение заказов на покупку
Отдел закупок ACME Auto, американского производителя автомобилей, ежемесячно создаёт значительное количество заказов на покупку. Создание одного автомобиля требует нескольких тысяч отдельных деталей, которые необходимо закупать вовремя и с соответствующим стандартом качества у утверждённых поставщиков. Команда закупщиков несёт ответственность за ручное создание заказов на покупку; это включает в себя заполнение онлайн-формы, состоящей из нескольких полей данных, которые определяют точные спецификации и количество каждого товара, подлежащего закупке по заказу.
Чтобы обеспечить высокое качество, команда продукта хотела бы установить порог для показателей достоверности модели, чтобы только прогнозы с показателями достоверности выше этого предопределённого порога отображались пользователю (то есть использовались для автоматического заполнения формы заказа на покупку). Вопрос в том, какое пороговое значение следует выбрать?
Пример 3: Стандартизация рекомендаций по дизайну на основе искусственного интеллекта
Генеральный директор Ex Corp, глобального поставщика корпоративного программного обеспечения, недавно заявил о своём намерении сделать компанию «ориентированной на искусственный интеллект» и внедрить функции искусственного интеллекта высокой ценности во все свои продукты и услуги. Чтобы поддержать эти усилия по трансформации всей компании, директор по продукту поручил центральной команде дизайнеров Ex Corp создать согласованный набор рекомендаций по дизайну, чтобы помочь командам создавать продукты на основе искусственного интеллекта, которые улучшают взаимодействие с пользователем.
Ключевой задачей является управление компромиссом между созданием рекомендаций, которые являются слишком слабыми/высокоуровневыми (предоставляя отдельным продуктовым командам большую свободу интерпретации, рискуя при этом непоследовательным применением рекомендаций по командам продуктов) и рекомендациями, которые являются слишком строгими (обеспечивая стандартизацию по командам продуктов без должного учёта особенностей конкретных продуктов или потребностей в настройке).
Один из хорошо продуманных советов, который изначально предложила центральная команда дизайнеров, включает в себя отображение меток рядом с прогнозами в пользовательском интерфейсе (например, «лучший вариант», «хороший вариант» или аналогичные), чтобы дать пользователям некоторое представление об ожидаемом качестве/релевантности прогнозов. Считается, что отображение таких качественных меток поможет пользователям принимать обоснованные решения во время их взаимодействия с продуктами на основе искусственного интеллекта, не перегружая их статистикой, которую трудно интерпретировать, например показателями достоверности модели.