Интеллект, который не зарабатывает. Как добиться реального эффекта от генеративного AI?

Мировой бизнес обожает генеративный AI. Ну, как минимум обожает туда вкладывать деньги. В 2024 компании туда инвестировали 250 млрд. долларов. Еще бизнес обожает рассказывать, что они у себя уже все внедрили. По отчету McKinsey 78 % компаний говорят, что внедрили генеративный AI хотя бы в одну бизнес функцию. По тому же отчету, 80 % из тех, кто внедрил, не получили вообще никакого финансового эффекта. Зато внедрили, отчитались. Почему при таких инвестициях нет никакого их возврата? И почему при этом все носятся с этими AI-агентами? Об этом сейчас мы и поговорим.

Вообще говоря, «классический AI» отлично умеет зарабатывать. В Google весь бизнес построили на «классическом AI», который очень правильно и выгодно подбирает рекламу к поисковым результатам. Amazon с помощью AI экономит 1.6 млрд долларов на логистике, в Netflix 80 % всех просмотров проходит через рекомендательную систему. Список успехов классического AI можно продолжать очень долго.

Когда я говорю про классический AI, я имею в виду все, что было придумало до больших языковых моделей. Это, например, алгоритмы контекстной рекламы, рекомендательные системы, предсказание спроса, видеоаналитика, машинный перевод и так далее. По оценкам McKinsey 70% потенциала влияния AI на мировую экономику это классический AI и только 30% — генеративный. Это именно потенциал. Если даже все внедрить правильно, генеративный AI будет приносить денег меньше. Если даже засчитать мифической эффект роста продуктивности сотрудников. Думаю, вы уже понимаете, что генеративный AI внедряют чаще неправильно, а рост продуктивности надо еще доказать :)

Важно, что это потенциал без учета новых продуктов и процессов, которые можно построить вокруг генеративного AI. Это буквально: "что будет, если мы живем как сейчас, просто часть текущих процессов оптимизируем, но ничего специального строить не будем". Теперь нам должно быть понятно, если мы хотим много заработать, нам придется строить. Как строить — об это вся статья.

И так, у классического с экономикой все отлично. Давайте я теперь раскрою главный секрет, как так выходит, что у него получается заработать? Секрет прост: AI оптимизирует конкретный выделенный процесс, а в классическом AI процессы довольно простые. Процесс подбора рекомендаций товара, анализа видео с строительной площадки, скоринга лидов из вашей CRM и т.д. Процесс характеризуется тремя вещами:

1) Входные данные
Число, текст, картинка, видео, что угодно еще.

2) Результат
Например, предсказание, есть на ли видео аварийная ситуация

3) Метрика, на которой мы понимаем, что результат процесса нам нравится.
Например, метрика для рекомендательных систем оценит, купил ли пользователь товар, который мы рекомендовали. Метрика для видеоаналитики оценит, нашел ли алгоритм инцидент, когда он был на видео или пропустил.

Когда все 3 компонента есть, мы оптимизируем модель давать нужный результат, чтобы метрика была как можно лучше. Все. Главное таинство оптимизации: чем более изолированный процесс, тем проще его оптимизировать. У него намного проще померить метрику успеха. Например, процесс «классификация искового заявления» сильно проще оптимизировать, чем «составление искового заявления». Во втором куча разных подзадач и нюансов, от которых зависит успешность результата.

Давайте подумаем: контекстная реклама, машинный перевод, кредитный скоринг... Это массовые и изолированные процессы с элементарными критериями успеха. Пользователь купил? Текст правильно перевели? Клиент вернул кредит? Сама Вселенная хочет, чтобы мы поставили здесь модель и научили ее делать этот процесс оптимальным образом. А что у нас с процессами, которые мы хотим автоматизировать генеративным AI? Не так там все радужно.

В ловушку бизнес-процессов попадал даже Джеффри Хинтон, лауреат Нобелевской премии. В 2016 году он ответственно заявил, что нам уже не стоит обучать рентгенологов, ведь через 5 лет AI 100% будет решать их работу лучше. Хорошо, что мы его не послушались, у нас сейчас был бы сильный дефицит рентгенологов, ведь с тех пор спрос на их услуги только растет.

Да, еще в 2019 году, классические модели компьютерного зрения находили рак на снимках лучше, чем человек. Некоторые виды рака, на некоторых типах снимков. Еще в 2019 году. Почему же до сих пор нам очень нужны рентгенологи? Две главных причины:

1) Реальный процесс состоит из кучи отдельных задач
Врач не только изучает снимок. Он еще смотрит анамнез пациента, задает вопросы, гуглит симптомы, изучает анализы и кучу всего еще. Для оптимизации тяжело, что этих задач много, но еще очень тяжело, что нужно быстро между задачами переключаться. То есть нам нужно иметь систему которая не просто умеет решать много задач, но и планировать, как и в каком порядке их решать.

2) Задачи могут отличаться от процесса к процессу
Рентгеновский снимок на одном аппарате может быть чуть-чуть не похож на снимок в другом аппарате. Формат данных в одной CRM может чуть отличаться от формата данных в другой. Человек довольно легко адаптируется к таким изменениям, генеративный AI — хуже, классический AI практически никак.

И так, если мы захотим оптимизировать бизнес-процессы, нам нужны реально умные системы: они должны уметь решать кучу задач одновременно и легко адаптироваться от изменения задач внутри процесса. Но может нам для эффекта и не надо оптимизировать бизнес-процесс целиком? Может, можно выбрать какие-то повторяемые, во всех процессах одинаковые задачи и оптимизировать только их? А процесс целиком не менять. Так подумали не только вы. Об этом подумали все.

Например, многим отделам нужно конспектировать совещания, эта задача входит сразу в кучу бизнес-процессов. Она плюс-минус однотипная, так что можно сделать один раз и применить на всю компанию. Это называется горизонтальное внедрение AI. Горизонтальное, потому что сквозь все бизнес-процессы.

На самом деле, так почти все и делают. Именно отсюда берутся отчеты, что 99.99% компаний уже внедрили LLM, хотя бы в один бизнес-процесс. Здесь внедрение AI больше похоже на внедрение SaaS. Купил какую-то программку, которая нам совещания суммаризует. Поставил в один отдел — работает. Поставил во второй — тоже ничего. И включил на всю компанию. Ничего перестраивать не надо. Сказка.

Главная проблема горизонтального внедрения — бизнес-эффект невозможно замерить. От того, что все в компании получили возможность суммаризовать совещания непонятно, как увеличилась прибыль (но для SaaS вы же тоже его никогда не мерили, правда? Попробуйте посчитать на досуге ROI от покупки Microsoft Outlook)

Можно замерить,, что на эту задачу сотрудник тратит 4 часа в месяц, умножить на 500 сотрудников и решить, что мы экономим 2 тысячи часов в месяц. Но от того, что люди не делают какую-то задачу не следует, что они вместо нее делают что-то хорошее. А даже если и делают хорошее, вообще не следует, что результаты всей компании вырастут. Может, когда сотрудник сам совещание суммаризовывал, он крутые инсайты ловил, и в этом была огромная ценность. Кстати, такие эффекты от "улучшения продуктивности" отлично расписаны у коллеги Голдратта, например, в книге «Цель». Рекомендую.

Гораздо понятнее оптимизировать не какую-то одну общую задачу в компании, а процесс из конкретной бизнес-функции. Это называется вертикальное внедрение. Тут мы уже можем замерить эффективность конкретной этой функции и посчитать, как эта эффективность влияет на результаты всей компании.

Например, мы оптимизируем процесс в разработке. Делаем автотестирование на AI. Мы можем замерить, что после внедрения, мы стали быстрее делать релизы новых функций в мобильном приложении. А от этого уже зависит, как мы чувствуем себя против наших конкурентов. Самое ли у нас лучшее приложение на рынке? Надо скорее исправлять.

Мы поняли, что вертикальные внедрения для бизнеса намного полезнее, чем горизонтальные. И поняли, что реальные вертикальные процессы состоят из кучи разных задач, которые надо вызывать в какой-то последовательности. Вопрос, откуда мы можем взять эту последовательность.

Я условно делю бизнес-процессы на 2 типа: жестко регламентируемые и мягко регламентируемые. Для разных типов нам потребуются разные системы: LLM-workflow и автономные агенты. Подробнее о об этих типах AI-агентов можно прочесть в моей другой статье.

1) Жестко регламентируемые.
Вся нужная последовательность действий расписана на бумажке, делать ее надо так, ровно так и никак иначе. Например, это может быть регламент смены даты доставки в службе поддержки онлайн магазина: спросил номер заказа, проверил, что заказ существует, перенес дату. Ровно так. Вот для них идеально ложится архитектура LLM-workflow, где строгую процедуру мы явно переводим на LLM.

2) Мягко регламентируемые
Здесь невозможно описать явно последовательность задач на бумажке. Например, очень творческий процесс, вроде написания кода. Или возможно описать, но нам лень. Лень в хорошем смысле — очень много сил нам придется закопать, чтобы эти процессы формализовать. Возможно, для этого придется полгода только этим и заниматься. Поэтому тут нам хочется использовать автономного агента, который сам составит план и сам выберет нужный набор действий. Это избавит нас от такой формализации процесса.

Как видите, здесь мы сталкиваемся с выбором. Мы либо тратим кучу времени на структурирование процессов. Еще до всякого AI. Либо верим, что автономный агент тут сам догадается, как процесс оптимизировать. Без нас. Неудивительно, что люди обычно выбирают второе. И не всегда выбирают правильно.

Мы поняли, что для вертикального внедрения нам нужен агент. Автономный агент или llm-workflow. Очень хочется его купить и включить, ведь так? Чтобы просто работало. Как в SaaS. Можно так?

Нет. В каждой компании все уникально. Каждый продукт, каждый процесс отличается от любого другого. Я за 9 лет практики не видел ни одного экономически успешного внедрения AI, которое бы не адаптировалось под конкретный продукт компании.

LLM умеют адаптироваться под изменения, их нужно просто научить работать конкретно с вашими задачами. Все 5 вариантов адаптации LLM изложены в моей статье: промптинг, RAG, дообучение, инструменты и агентность. Каждое из них можно попробовать, чтобы адаптировать LLM под вас.

Пробовать надо не вслепую, а по понятному шаблону. Для задач, входящих в процесс, должны быть настроены метрики качества (подробнее про это в статье). Дальше вы делаете внедрение, проводите анализ ошибок, адаптируете систему одним из 5 шагов. И так повторяете, пока качество вас не будет устраивать.

Звучит страшно, сложно, невозможно без 100 ML-инженеров. Нет, иначе я бы не писал эту статью.
Давайте, чтобы нам на этапе внедрения не потребовалось столько инженеров, разделять внедрение на 2 разных шага — платформа и масштабирование.

Чтобы сделать реально большой эффект нам важно внедрять AI в вертикальные процессы массово. Разные команды должны одновременно оптимизировать десятки бизнес-процессов. Если мы будем под каждый процесс с нуля адаптировать AI-агентов большой командой инженеров, нам не хватит выпускников всех технических вузов страны. Поэтому крайне важно, чтобы само внедрение могла делать сотрудники без глубокого понимания AI. Но чтобы это могло произойти, большая команда AI-инженеров должна предварительно хорошо поработать. Создать платформу.

Платформа создает интеллектуальную мощь будущей AI-системы. Системы, которая сможет легко адаптироваться сразу под множество разных задач. Платформа должна быть:

• Удобна под специфику оптимизируемых бизнес-процессов. Процессы металлурга сильно отличаются от юридических. Платформой должно быть удобно пользоваться.
• Легко адапатироваться пользователями. Через промпт или через добавление информации в RAG. Никакого сложного обучения моделей. Интуитивно, понятно, по кнопке.
• Иметь встроенные инструменты оценки качества. Чтобы быстро понимать, правильно или нет прошла адаптация.

Платформу не обязательно создавать внутри компании своими инженерами. Платформу можно купить. Главное, чтобы вы понимали: вы покупаете не готовое AI-решение, которое просто установите на сервера, и оно начнет деньги зарабатывать. Вы покупаете платформу, которую нужно затем масштабировать внутри компании.

Масштабирование — это внедрение платформы сразу во многие процессы. На этом этапе должно работать как можно больше бизнес-экспертов, которые точно понимают, что им нужно. И как можно меньше AI-инженеров, потому что это дорого. Здесь происходит внедрение платформы в процесс, ее адаптация под конкретные задачи и оценка качества. Эти инструменты уже должны быть реализованы заранее внутри платформы. Мы здесь их просто используем. Если качество устраивает — внедряем в процесс иначе уходим на новую итерацию улучшения.

Важно понимать. Все модные "готовые" enterprise AI-агенты, например, AI-агент для поддержки клиентов Decagon или AI-агент помощник юристов Harvey — это не продукты. Это не просто агент, или несколько агентов. Это именно платформы, которые потом вам необходимо будет масштабировать. Подстраивать под ваши процессы, задачи, данные. Еще раз. AI это не SaaS. Договорились.

За десятки лет мы отлично научились зарабатывать на классическом AI. Нашли изолированные процессы, построили модели, которые могут эти процессы оптимизировать, стали получать с этого гигантский эффект, без которого сложно представить нашу экономику.

Но бизнес-процессы намного сложнее. Они длинные, состоят из кучи задач, которые постоянно меняются. Если мы хотим оптимизировать эти процессы и поменять способ ведения бизнеса, нам нужно действовать совершенно по-другому.

Мы не можем по старинке командой AI-разработчиков оптимизировать процесс один за одним. Тогда всей нашей жизни не хватит, чтобы показать эффект. Нам нужно строить платформы: гибкие, адаптируемые системы, которые легким движениям мышки будут встраиваться и адаптироваться под бизнес-процесс.

Нам нужно обучать сотрудников максимально быстро внедрять платформы в их рабочие процессы. Они лучше всех понимают работу, они лучше всех понимают, как ее нужно оптимизировать. Ну не верите же вы, что это сделает искусственный интеллект без нас?

Если остались вопросы по интеграции генеративного AI в вашем конкретном случае, напишите мне в личные сообщения — разберем вашу ситуацию отдельно.