Ваш агент не провален. Провален ваш поиск.

ЧТО ПРОИЗОШЛО

Box перестроил поиск контента для агентов на Nvidia Nemotron

Box анонсировал Box Content Retrieval на своей конференции для разработчиков. Вместо чтения целых документов агенты получают наиболее релевантные фрагменты. Кари Бриски из Nvidia ожидает более быстрых, точных и дешёвых запросов. Развёртывание начнётся в начале следующего года.

ЦИФРА

90%

меньше токенов на запрос, по ожиданиям Nvidia

Также ожидается: ответы в 4 раза быстрее и на 20% меньше ошибок.

РЕАЛЬНАЯ ПРОБЛЕМА В КОМПАНИЯХ

Что я вижу в компаниях: агента винят за плохой поиск

1. 01Модель читает слишком много, поэтому каждый ответ медленный и дорогой
2. 02Никто не отслеживает ошибки ответов и токены на запрос, прежде чем добавлять новых агентов
3. 03Клиенты используют свои слова, а в данных — слова компании

Я УЖЕ РЕШАЛ ЭТУ ЗАДАЧУ

Магазин стройматериалов на юге Бразилии: сначала поиск, потом агент

1. 0113 312 товаров в ERP, 136 способов записать единицу измерения
2. 02Сопоставлено 245 разговорных синонимов. ИИ никогда не видит каталог: поиск передаёт ему 8 результатов
3. 0365 из 65 реальных вопросов клиентов нашли нужный товар

МОЁ МНЕНИЕ

Простое, что работает, важнее сложного, что впечатляет.

По сообщениям, Apple сокращает ежедневные лимиты расходов на ИИ, так что токены теперь — реальная статья затрат. В моём случае простой поиск отвечает за миллисекунды, а модель видит только 8 результатов. Сначала почините поиск и измерьте его, а потом усложняйте агента.