Почему ИИ-агентам нельзя давать полную автономность

В прошлом году ИИ-агенты научились самостоятельно закрывать до 75% обращений клиентов, а лучшие помощники для кодинга приблизились к отметке в 70% успешно решенных задач.

Следующим логичным шагом выглядит полное исключение человека из части бизнес-процессов. На деле компании идут в обратную сторону: чем автономнее становятся агентные системы, тем чаще к ним добавляют проверки и ограничения.

Причина в масштабе последствий. Главной проблемой постепенно становятся решения, которые нейросеть принимает сама, без контроля сверху. 

Разбираемся, почему полная автономность агентам противопоказана и какой уровень самостоятельности можно назвать оптимальным.

Безграничная свобода — не техническая проблема

Разговор об ограничениях агентных систем чаще всего сводят к качеству моделей. Основания есть: LLM по-прежнему ошибаются — неверно интерпретируют задачу или теряют часть контекста.

Но полный контроль над процессами агентам не дают по иной причине. Люди тоже ошибаются, и главное отличие человека от машины в другом. Ошибки сотрудника встроены в систему контроля: их сдерживают правила доступа, регламенты, процедуры согласования и границы ответственности.

Автономный агент принимает решения быстрее — а значит, быстрее масштабирует и последствия своих ошибок. Если специалист случайно отправит клиенту не тот документ, ущерб ограничится одним случаем. Та же ошибка у системы, которая одновременно ведет тысячу обращений, обойдется куда дороже.

Поэтому главный риск автономности — масштаб ее воздействия.

Чем агент отличается от обычной автоматизации

Агентные системы похожи на привычную автоматизацию, но разница между ними принципиальна:

• классическая автоматизация идет по заранее заданному сценарию: произошло событие А — система выполняет действие Б, и так далее;
• агент сам определяет последовательность шагов к цели. Например, в поддержке он решает, какие данные запросить и какие инструменты использовать, выбирает документы для анализа и сам определяет, когда задачу можно завершить.

Свобода выбора делает агента полезнее и одновременно усложняет контроль над ним. Чем самостоятельнее система, тем сложнее заранее просчитать все варианты развития событий.

Что происходит по мере роста автономности

Автономность удобнее представлять не переключателем с двумя состояниями, а шкалой:

• уровень 1: агент выступает помощником — предлагает информацию или готовит черновик ответа;
• уровень 2: система рекомендует конкретные действия, но окончательное решение остается за человеком;
• уровень 3: агент самостоятельно выполняет простые операции — создает тикеты, формирует отчеты, готовит черновики, фиксирует обновления в документе;
• уровень 4: агент выполняет последовательность действий без участия человека, сам выбирает инструменты и порядок их использования;
• уровень 5: процесс становится полностью автономным, человек исключен из принятия решений.

Сложность в том, что с ростом автономности выгода растет гораздо медленнее рисков. Переход с первого уровня на второй заметно поднимает производительность. А переход с четвертого на пятый приносит куда меньше пользы, чем ожидается, тогда как цена ошибки резко возрастает.

Поэтому большинство корпоративных внедрений сейчас останавливаются где-то посередине шкалы.

Почему компании оставляют человека в контуре

В корпоративной среде хватает процессов, где ошибка стоит дорого. Платежи, закупки, кадровые решения, работа с договорами, клиентские коммуникации — каждый промах здесь способен обернуться серьезными последствиями.

В таких сценариях используют подход «человек в контуре» (human in the loop). Система собирает данные, анализирует их, предлагает решение, но финальный вердикт остается за специалистом.

Со стороны это выглядит лишним шагом. Но несколько секунд на проверку нередко спасают от ошибки стоимостью в сотни тысяч рублей. Поэтому многие организации отказываются от полной автономности, даже когда технически она уже возможна.

Самая недооцененная проблема — ответственность

Кто отвечает за решение, принятое агентом?

Когда действие выполняет сотрудник, все понятно: есть конкретный исполнитель, руководитель процесса и очерченная зона ответственности. С агентом картина другая — если система отправила письмо не тому клиенту или согласовала неверный документ, ответственность все равно остается на бизнесе. 

Рост автономности открывает новые возможности, но вместе с ними приносит и управленческие риски.

Где автономные агенты уже успешно проявляют себя

Автономность работает — сценариев, где агенты справляются без участия человека, уже немало.

Хороший пример — разработка ПО. В прошлом году GitHub представил Coding Agent для Copilot. Система сама берет задачу из бэклога, анализирует кодовую базу, вносит изменения и формирует pull request для проверки разработчиком. При этом права напрямую менять production-код у агента нет, а финальное решение остается за человеком.

Еще пример — поддержка. По данным Intercom, ИИ-агент Fin самостоятельно закрывает до 76% обращений без участия операторов. Но речь прежде всего о типовых сценариях с понятными правилами и возможностью быстро передать диалог сотруднику.

Пределы автономности хорошо заметны даже в разработке. Кодинг-агенты показывают около 70% успешности на SWE-bench Verified — одном из основных отраслевых бенчмарков для инженерных задач. Показатель высокий, но он же означает, что примерно три задачи из десяти по-прежнему требуют участия человека.

Все примеры объединяет одно правило: автономность работает там, где последствия ошибки ограничены, а результат можно быстро проверить или откатить.

Какой уровень автономности сегодня выглядит оптимальным

Реальные внедрения показывают, что рынок не движется к полной замене человека. Чаще компании выбирают модель распределенной ответственности.

Агент собирает и анализирует данные, предлагает варианты, выполняет рутинные операции. Окончательное решение принимает человек — он же контролирует исключительные ситуации и отвечает за последствия.

Такой подход сейчас самый практичный: он дает преимущества автоматизации и сохраняет контроль над критическими процессами.

Подведем итог

Главная ошибка некоторых компаний — принимать автономность за самоцель.

Ценность агента измеряется не числом действий, которые он выполняет без человека, а тем, насколько эффективно он помогает решить бизнес-задачу.

Поэтому вопрос «можно ли убрать человека из процесса» стоит переформулировать: на каком этапе участие сотрудника приносит больше пользы, чем стоит бизнесу. Поиск этой границы и есть сейчас одна из ключевых задач при внедрении агентных систем.