Обычно всё начинается одинаково
На совещании руководства кто-нибудь говорит: «Давайте воспользуемся ИИ!» Головы кивают, энтузиазм нарастает, и прежде чем вы это осознаете, все приходят к стандартному выводу: «Конечно — мы создадим чат-бота». Этот инстинкт понятен. Большие языковые модели мощны, вездесущи и увлекательны. Они обещают интуитивный доступ к универсальным знаниям и функциональности.
Команда уходит и начинает работать. Вскоре наступает время демонстрации. Появляется отполированный интерфейс чата, сопровождаемый уверенными аргументами о том, почему на этот раз всё будет иначе. Однако к этому моменту чат-бот ещё не достиг реальных пользователей в реальных ситуациях, и оценка получается предвзятой и оптимистичной. Кто-нибудь из аудитории неизбежно задаст нестандартный вопрос, раздражая бота. Разработчики обещают исправить «это», но в большинстве случаев основная проблема носит системный характер.
Как только чат-бот выходит в работу, первоначальный оптимизм часто сменяется разочарованием пользователей. Здесь всё становится немного личным, потому что за последние недели мне пришлось потратить некоторое время на общение с разными чат-ботами.
Я склонен откладывать взаимодействие с поставщиками услуг до тех пор, пока ситуация не станет невыносимой, и несколько таких случаев накопились. Улыбающиеся виджеты чат-ботов стали моей последней надеждой перед бесконечным звонком на горячую линию, но:
- После входа на сайт моей страховой компании я попросил объяснить необъявленное повышение цены, только чтобы понять, что у чат-бота нет доступа к моим данным о ценах. Всё, что он мог предложить, — это номер горячей линии. Ой.
- После отмены рейса в последнюю минуту я спросил чат-бота авиакомпании о причине. Он вежливо извинился, что, поскольку время отправления уже прошло, он не может мне помочь. Впрочем, он был открыт для обсуждения всех других тем.
- На сайте телекоммуникационной компании я спросил, почему мой мобильный тариф внезапно истёк. Чат-бот уверенно ответил, что не может комментировать договорные вопросы, и сослался на раздел часто задаваемых вопросов. Как и ожидалось, они были длинными, но нерелевантными.
Эти взаимодействия не приблизили меня к решению и оставили меня на противоположном конце спектра удовлетворения. Чат-боты ощущались как чужеродные тела. Сидя там, они потребляли ресурсы, время отклика и внимание, но не добавляли ценности.
Давайте пропустим дебаты о том, являются ли это преднамеренными тёмными паттернами. Дело в том, что устаревшие системы, подобные перечисленным выше, несут тяжёлое бремя энтропии. Они поставляются с тоннами уникальных данных, знаний и контекста. В тот момент, когда вы пытаетесь интегрировать их с общей языковой моделью, вы заставляете два мира столкнуться.
Модели необходимо усвоить контекст вашего продукта, чтобы она могла осмысленно рассуждать о вашей области. Правильное проектирование контекста требует навыков и времени для неустанной оценки и итераций. И прежде чем вы даже доберётесь до этого момента, ваши данные должны быть готовы, но в большинстве организаций данные шумные, фрагментированные или просто отсутствуют.
В этом посте я кратко расскажу о выводах из моей книги «Искусство разработки ИИ-продуктов» и моего недавнего выступления на саммите Google Web AI Summit, а также поделюсь более органичным, поэтапным подходом к интеграции ИИ в существующие продукты.
Использование небольших моделей для низкоуровневой интеграции ИИ
«При внедрении ИИ я вижу, что больше организаций терпят неудачу, начиная со слишком больших проектов, чем со слишком маленьких» (Эндрю Нг).
Интеграция ИИ требует времени:
- Вашей технической команде необходимо подготовить данные и изучить доступные методы и инструменты.
- Вам нужно создать прототип и провести итерации, чтобы найти оптимальные точки ценности ИИ в вашем продукте и на рынке.
- Пользователям нужно откалибровать своё доверие при переходе к новому вероятностному опыту.
Чтобы адаптироваться к этим кривым обучения, не стоит спешить выставлять ИИ — особенно открытые функции чата — перед вашими пользователями. ИИ вносит неопределённость и ошибки в опыт, что большинству людей не нравится.
Один из эффективных способов замедлить ваше путешествие в области ИИ в условиях «коричневого поля» — использование небольших языковых моделей (SLM), которые обычно насчитывают от нескольких сотен миллионов до нескольких миллиардов параметров. Они могут гибко интегрироваться с существующими данными и инфраструктурой вашего продукта, вместо того чтобы добавлять дополнительные технологические накладные расходы.
Как обучаются SLM
Большинство SLM происходят от более крупных моделей путём дистилляции знаний. В этой настройке большая модель выступает в роли учителя, а меньшая — в роли ученика. Например, Google Gemini служил учителем для Gemma 2 и Gemma 3, в то время как VK’s Llama Behemoth обучила свою стаю из более мелких моделей Llama 4.
Подобно тому как учитель-человек конденсирует годы обучения в понятные объяснения и структурированные уроки, большая модель преобразует своё обширное параметрическое пространство в более компактное и плотное представление, которое может усвоить ученик. В результате получается компактная модель, которая сохраняет большую часть компетентности учителя, но работает с гораздо меньшим количеством параметров и значительно меньшими вычислительными затратами.
Использование SLM
Одним из ключевых преимуществ SLM является их гибкость развёртывания. В отличие от LLM, которые в основном используются через внешние API, меньшие модели могут запускаться локально, либо на серверах вашей организации, либо непосредственно на устройстве пользователя:
- Локальное развёртывание: вы можете размещать SLM на своих серверах или в облачной среде, сохраняя полный контроль над данными, задержкой и соответствием требованиям. Такая настройка идеально подходит для корпоративных приложений, где конфиденциальная информация или нормативные ограничения делают сторонние API нецелесообразными.
- Развёртывание на устройстве через браузер: современные браузеры имеют встроенные возможности искусственного интеллекта, на которые вы можете положиться. Например, Chrome интегрирует Gemini Nano через встроенные API искусственного интеллекта, в то время как Microsoft Edge включает Phi-4 (см. документацию по API подсказок). Запуск моделей непосредственно в браузере обеспечивает использование с низкой задержкой и сохранением конфиденциальности, например, для интеллектуальных текстовых предложений, автозаполнения форм или контекстной помощи.
Если вы хотите узнать больше о технических аспектах SLM, вот несколько полезных ресурсов.
Давайте теперь перейдём к тому, что вы можете создать с помощью SLM, чтобы обеспечить ценность для пользователей и добиться устойчивого прогресса в интеграции ИИ.
Возможности для SLM в продуктах
SLM отлично подходят для выполнения конкретных, чётко определённых задач, где контекст и данные уже известны — такие виды использования, которые глубоко укоренились в существующих продуктах. Вы можете думать о них как о специализированном встроенном интеллекте, а не как об универсальных помощниках. Давайте рассмотрим основные категории возможностей, которые они открывают в условиях «коричневого поля», как показано на следующем дереве возможностей.
1. Улучшение аналитики продуктов
Прежде чем выставлять пользователям функции ИИ, ищите способы улучшить свой продукт изнутри. Большинство продуктов уже генерируют непрерывный поток неструктурированного текста — поддержка чатов, запросы помощи, обратная связь в приложении. SLM могут анализировать эти данные в режиме реального времени и выявлять инсайты, которые помогут принять решения о продукте и улучшить непосредственный пользовательский опыт. Вот несколько примеров:
- Маркировка и маршрутизация чатов поддержки по мере их поступления, направляя технические проблемы в соответствующие команды.
- Сигнализация о потере клиентов во время сеанса, что позволяет своевременно вмешаться.
- Предложение соответствующего контента или действий на основе текущего контекста пользователя.
- Обнаружение повторяющихся точек трения, пока пользователь всё ещё находится в потоке, а не через недели в ретроспективе.
Эти внутренние инструменты снижают риски, повышают ценность и дают вашей команде время на обучение. Они укрепляют вашу базу данных и готовят вас к более заметным функциям ИИ, ориентированным на пользователя, в будущем.
2. Устранение трений
Далее сделайте шаг назад и проведите аудит UX-долгов, которые уже есть. В условиях «коричневого поля» большинство продуктов не являются мечтой дизайнера. Они были разработаны с учётом технических и архитектурных ограничений своего времени. С помощью ИИ у нас теперь есть возможность снять некоторые из этих ограничений, уменьшив трение и создав более быстрые и интуитивно понятные интерфейсы.
Хорошим примером являются интеллектуальные фильтры на поисковых сайтах, таких как Booking.com. Традиционно на этих страницах используются длинные списки флажков и категорий, которые пытаются охватить все возможные предпочтения пользователей. Они громоздки в разработке и использовании, и в итоге многие пользователи не могут найти нужную настройку.
Языковой фильтр меняет это. Вместо того чтобы перемещаться по сложной таксономии, пользователи просто вводят то, что они хотят (например, «дружелюбные к домашним животным отели у пляжа»), и модель переводит это в структурированный запрос за кулисами.
Более широко, ищите области в вашем продукте, где пользователям необходимо применить вашу внутреннюю логику — ваши категории, структуры или терминологию — и замените это взаимодействием на естественном языке. Всякий раз, когда пользователи могут выразить намерение напрямую, вы устраняете слой когнитивного трения и делаете продукт умнее и дружелюбнее.
3. Расширение возможностей
Когда ваш пользовательский опыт будет упрощён, пришло время подумать об аугментации — добавлении небольших полезных возможностей ИИ в ваш продукт. Вместо того чтобы изобретать основной опыт, посмотрите, что пользователи уже делают вокруг вашего продукта — побочные задачи, обходные пути или внешние инструменты, которые они используют для достижения своей цели. Могут ли специализированные модели ИИ помочь им сделать это быстрее или умнее?
Например, туристическое приложение может интегрировать генератор контекстуальных заметок о поездке, который суммирует детали маршрута или составляет сообщения для попутчиков. Инструмент повышения производительности может включать генератор резюме встреч, который обобщает обсуждения или действия из текстовых заметок, не отправляя данные в облако.
Эти функции органично вырастают из реального поведения пользователей и расширяют контекст вашего продукта, а не переопределяют его.
4. Персонализация
Успешная персонализация — это святой Грааль ИИ. Она переворачивает традиционную динамику: вместо того чтобы просить пользователей научиться и адаптироваться к вашему продукту, ваш продукт теперь адаптируется к ним, как хорошо сидящая перчатка.
Когда вы начнёте, держите амбиции на привязи — вам не нужен полностью адаптивный помощник. Вместо этого вносите небольшие, низкоуровневые корректировки в том, что видят пользователи, в том, как формулируется информация, или в том, какие варианты появляются первыми. На уровне контента ИИ может адаптировать тон и стиль, например, используя краткую формулировку для экспертов и более объяснительную формулировку для новичков. На уровне взаимодействия он может создавать адаптивные интерфейсы. Например, инструмент управления проектами может отображать наиболее релевантные действия («создать задачу», «поделиться обновлением», «сгенерировать сводку») на основе прошлых рабочих процессов пользователя.
⚠️ Внимание! Когда персонализация идёт не так, она быстро подрывает доверие. Пользователи чувствуют, что они обменяли личные данные на опыт, который не стал лучше. Поэтому внедряйте персонализацию только тогда, когда ваши данные будут готовы её поддержать.
Почему «маленькие» выигрывают со временем
Каждая успешная функция ИИ — будь то улучшение аналитики, точка контакта без трения или персонализированный шаг в более крупном потоке — укрепляет вашу базу данных и развивает у вашей команды навыки итераций и грамотность в области ИИ. Это также закладывает основу для более крупных и сложных приложений в будущем. Когда ваши «маленькие» функции работают надёжно, они становятся повторно используемыми компонентами в более крупных рабочих процессах или модульных системах агентов (ср. статью Nvidia Small Language Models are the Future of Agentic AI).
Подведём итог:
✅ Начните с малого — отдавайте предпочтение постепенному улучшению, а не разрушению.
✅ Экспериментируйте быстро — меньшие модели означают меньшие затраты и более быстрые циклы обратной связи.
✅ Будьте осторожны — начните с внутренних процессов; внедряйте пользовательский ИИ после его проверки.
✅ Развивайте свои итерационные навыки — устойчивый, совокупный прогресс превосходит заголовки проектов.
Первоначально опубликовано на https://jannalipenkova.substack.com.