Возможно, ваш слой памяти агента проигрывает обычному поиску

ЧТО ПРОИЗОШЛО

Статья сравнила простой RAG со сложной агентной памятью

Базовый вариант из статьи, Raw-RAG, использует плотный поиск и переранжирование по исходной истории. На четырёх бенчмарках он занял первое место среди сравниваемых систем памяти в шести из семи комбинаций «бенчмарк — модель».

ЦИФРА

6 из 7

комбинаций, где простой поиск занял первое место

Raw-RAG против сравниваемых систем памяти, на четырёх бенчмарках.

НАСТОЯЩАЯ ПРОБЛЕМА В КОМПАНИЯХ

Что я вижу в компаниях: сложность добавляют раньше, чем её проверяют

1. 01Команда сначала строит слой памяти и никогда не тестирует простую базовую линию
2. 02Никто не измеряет, улучшает ли дополнительный слой ответы
3. 03Суммаризация или перестройка данных может потерять детали, от которых зависит ответ

Я УЖЕ РЕШАЛ ЭТУ ЗАДАЧУ

Магазин стройматериалов на юге Бразилии работает на простом поиске

1. 0113 312 товаров в ERP, 136 способов записать единицу измерения
2. 02ИИ никогда не видит каталог: простой поиск передаёт модели 8 результатов
3. 0365 из 65 реальных вопросов клиентов нашли правильный товар

МОЁ МНЕНИЕ

Простое, что работает, важнее сложного, что впечатляет.

Прежде чем добавлять сложный слой, протестируйте простую базовую линию поиска и измерьте её. В продакшене обычно стоит оставить самый простой поиск, который отвечает правильно. Эта статья указывает на то же самое.