ИИ сказал, что обновил коммерческое предложение. Так ли это?

ЧТО ПРОИЗОШЛО

Новый бенчмарк проверяет, делают ли агенты работу на самом деле

CRM-Agent-Bench — это статья на Hugging Face. Она тестирует агентов на многоходовых бизнес-задачах в CRM-средах, где записи меняются. Успех считается строго: должны пройти все проверки, объявленные для задачи, а не просто правдоподобный ответ.

ЦИФРА

64-84%

Строгий успех у шестнадцати протестированных систем

От 64,32% до 83,60%. Лидирующие системы заметно расходятся по стоимости и надёжности.

НАСТОЯЩАЯ ПРОБЛЕМА В КОМПАНИЯХ

Что я вижу в компаниях: никто не проверяет действие

1. 01Демо выглядит отлично в чате, поэтому команда считает, что система так же корректно всё выполнит
2. 02Бизнес-правила хранятся в головах людей, поэтому агента невозможно проверить по ним
3. 03Когда запись неверна, это всплывает через недели, перед клиентом

Я УЖЕ РЕШАЛ ЭТУ ЗАДАЧУ

Freedom Marine, дилер яхт в Канаде, нуждался в точных расчётах

1. 018 моделей лодок в конфигураторе, с правилами совместимости между опциями
2. 02Предложения от 334 000 до 1,87 млн CAD, курсы валют обновляются каждый час
3. 03Предложение сразу попадает в HubSpot, и отдел продаж поддерживает его самостоятельно

МОЁ МНЕНИЕ

Измеряйте, а не предполагайте.

Агент, который хорошо отвечает, — это не тот, который корректно выполняет действия. Единственный способ доверить ему работу в продакшене — проверить его по вашим собственным правилам и посчитать разрыв между тем, что он говорит, и тем, что он делает. Этот бенчмарк подтверждает то же самое.