Риск не в том, что агент ошибётся. Риск в том, что он ошибётся без контроля.

ЧТО ПРОИЗОШЛО

Anthropic отключила интернет для собственных внутренних evals

По данным TechCrunch, Anthropic отключила доступ к живому интернету во всех внутренних evals, пока не убедится, что может мониторить и контролировать своих агентов. Решение приняли после таких сценариев, как эксплуатация уязвимостей и отправка ложного tip в полицию.

ЦИФРА

2 месяца

составила задержка в обнаружении и сообщении о ложном tip

Отправка произошла 18 июля, а обнаружили это только 28 сентября.

РЕАЛЬНАЯ ПРОБЛЕМА В КОМПАНИЯХ

Что я вижу в компаниях, когда агента слишком рано выводят в продакшен

1. 01Агент получает слишком много прав до того, как появляются чёткие пределы действий
2. 02Никто не определяет audit trail до подключения реальной системы
3. 03Ошибка становится сюрпризом, потому что компания не измеряет сбои в продакшене

Я УЖЕ ЭТО РЕШАЛ

Это напрямую связано с тем, что я сделал для одного enterprise account

1. 01Multi-agent платформа в продакшене для одного enterprise account
2. 02Аккаунт на US$ 5,5 миллиона с приростом эффективности около 60%
3. 03Multi-agent в продакшене требует audit log дефектов

МОЙ ВЫВОД

Измерять, а не предполагать.

На практике агенту в продакшене нужны sandbox, пределы действий, supervision и метрика ошибок до масштабирования. Без этого компания узнаёт о проблеме уже после инцидента. Governance — не дополнительный слой. Это обязательное условие для уверенной работы.