Автоматизация с AI-агентами редко проваливается из-за того, что модель чего-то не умеет. Она проваливается из-за того, что агент сделал что-то, что ему прямо не запретили, а никто не успел проверить до наступления последствий. Отправил сообщение клиенту. Закрыл заявку. Перезаписал поле в системе ERP. Каждая из этих вещей по отдельности мелкая. Перестаёт быть мелкой, когда касается трёхсот записей сразу.
Вопрос «должен ли это утвердить человек» – это, таким образом, вопрос проектирования, а не философии. И у него есть неправильный ответ, который звучит разумно: «всегда». Если оператор кликает «принять» сорок раз в день, через неделю он кликает не читая. Автоматизация ничего не ускорила, а контроль иллюзорен, потому что в логе стоит «утверждено», хотя никто это не прочитал.
Три вопроса, которые определяют, где поставить шлюз
Первый: можно ли отменить последствие. Запись в тестовую базу отменяется одной командой, перевод и отправленное клиенту сообщение не отменяются вообще. Второй: выходит ли последствие за пределы компании. Внутри проблему исправляют тихо, снаружи – извинениями. Третий: сколько стоит ошибка по сравнению со стоимостью ожидания. Если ошибка стоит час работы, а ожидание утверждения – сутки, шлюз обходится дороже того, от чего он защищает.
Эти три вопроса обычно дают удивительно мало мест, где человек действительно нужен. В процессе из сорока шагов их бывает несколько.
Как мы разделили это у себя
У нас граница проходит по внешнему эффекту. Внутренняя работа – анализ кода, подготовка изменения, запуск тестов, развёртывание тестового окружения – идёт автоматически, и никто по пути её не кликает. Всё, что выходит наружу – сообщение клиенту, публикация, передача данных во внешний сервис – требует явного согласия человека. Без исключения «мелочь».
Развёртывание в продакшен имеет отдельный шлюз, потому что последствие сразу видят все пользователи. Перед ним: резервная копия и метка версии, полный набор автоматических тестов, план отката, подготовленный заранее, а не написанный в панике. И только потом принимается решение о переключении трафика. Принимает его человек, глядя на результаты тестов, а не на заверения агента, что всё прошло хорошо.
Хороший шлюз показывает последствие, а не намерение
Сообщение «агент хочет отправить сообщения контрагентам, утвердить?» бесполезно, потому что утверждающий не знает, что он подписывает. Шлюз становится полезным, когда показывает: сколько записей затронет операция, три примерных результата в окончательном виде, перечень отличий от текущего состояния и то, чего операция не коснётся.
К этому – три вещи, которые легко упустить при первом внедрении:
- ответ по умолчанию должен быть безопасным: отсутствие реакции означает «не делай», никогда «делай»,
- один шлюз на операцию, а не пять подряд, потому что пять приучают кликать вслепую,
- запись о том, кто, когда и что утвердил, хранится отдельно от самого процесса; при споре или проверке это единственное доказательство того, что решение принял человек.
Антипаттерны, которые встречаются чаще всего
Бланковое согласие на целый рабочий день агента. Утверждение постфактум, то есть уведомление «отправлено, подтвердите», которое является не контролем, а архивом. И самое коварное: оповещение в канале, которое все отключили.
Последнее стоило нам тридцати одного дня задержки публикации. Уведомление повторяло одно и то же содержание много дней подряд, поэтому его отключили как шум. Дело в том, что в какой-то момент содержание перестало быть правдой: препятствие исчезло, а сообщение выглядело точно так же, как раньше. Правило, которое мы из этого вывели: отключать можно состояние, с которым всё равно ничего не сделаешь, но никогда – состояние, которое только что стало выполнимым.
Когда человеческий надзор перестаёт быть выбором
Для систем высокого риска в понимании EU AI Act человеческий надзор – это обязанность по ст. 14: контролирующее лицо должно понимать результат работы системы, иметь возможность его проигнорировать и иметь возможность остановить систему. Это требует интерфейса, который это позволяет, а не абзаца в процедуре.
Вторая норма, о которой компании вспоминают реже, – это ст. 22 GDPR. Если решение основывается исключительно на автоматизированной обработке и влечёт для лица правовые или аналогично значимые последствия, этому лицу принадлежит право на вмешательство человека. Рекрутинг, оценка кредитоспособности, отклонение претензии. Шлюз утверждения тогда является не столько хорошей практикой, сколько элементом соответствия. О самих обязанностях по прозрачности мы подробнее писали в чек-листе соответствия AI для МСБ.
Одна оговорка
Проектирование шлюзов удлиняет внедрение. Обычно на несколько дней анализа, потому что нужно пройти процесс шаг за шагом и для каждого шага ответить на три вопроса из начала текста. Компании, которые пропускают этот этап, внедряют быстрее и обычно возвращаются к нему после первого инцидента, только тогда – под давлением и с худшим результатом.
FAQ
Сколько шлюзов – это слишком много?
Практическая проверка: если утверждающий не может по памяти сказать, что он утвердил в последний раз и почему, шлюзов слишком много либо они показывают слишком мало содержания. Лучше иметь три, которые кто-то читает, чем двадцать, которые кликают на автомате.
Можно ли добавить это к уже работающей автоматизации?
Да, и обычно именно так и происходит, потому что потребность в шлюзе выявляется только на реальных данных. Условие одно: в процессе должен быть чётко отделён момент «подготовлено» от момента «выполнено». Если агент считает и отправляет за один шаг, этот шаг сначала нужно разделить.
Кто должен утверждать – технический специалист или владелец процесса?
Владелец процесса – когда решение касается содержания: должно ли это сообщение уйти клиенту. Технический специалист – когда касается способа исполнения: может ли это изменение идти в продакшен. Смешение этих ролей заканчивается тем, что технический специалист утверждает содержание, в котором не разбирается, и поэтому утверждает всё.
Давайте пройдём через ваш процесс
Если у вас есть автоматизация, по которой непонятно, где провести границу утверждения, проще всего пройти этот процесс вместе, шаг за шагом, и указать те несколько мест, которые действительно требуют человека. Запишитесь на бесплатную консультацию через контактную форму.