Коротко. 25 октября 2026 года исследователи из UIUC, Tsinghua и ещё трёх организаций выложили на arXiv работу, в которой сравнили 11 открытых систем памяти для агентов с обычным поиском по сырой истории переписки. На большинстве тестов и моделей большинство систем памяти набрали меньше, чем этот простой вариант, и при этом их построение обычно обходилось намного дороже. Потери авторы назвали «налогом памяти», а лечение предлагают простое: сохранять путь обратно к исходной истории.
Проверено 28 октября 2026 года.
Что сравнивали
Статья называется «Memory Tax: Dissecting the Net Value of Agent Memory» (arXiv 2610.34073). Вопрос в ней прямой: если построить агенту слой памяти, насколько это лучше, чем просто искать по тому, что было сказано на самом деле?
С одной стороны 11 систем памяти четырёх типов:
- плоские хранилища: A-Mem, SimpleMem, MemOS;
- многоуровневая память с жизненным циклом записей: MemoryOS, LightMem, OpenViking;
- память на графах: HippoRAG2, PlugMem, MAGMA;
- обученные политики памяти: Mem-T, Memory-R2.
С другой стороны «наивный» RAG. Историю режут по репликам, склеивая короткие в куски примерно по 1000 символов, а поиск сочетает ключевые слова (BM25), эмбеддинги и реранкер. Двухраундовый вариант проверяет, хватает ли найденного с первого раза, и если нет, ищет ещё раз.
Тесты: LongMemEval-s, PersonaMem-v2 и MINT-Eval, на трёх моделях: Qwen3.5-4B, Qwen3.6-27B и GPT-5.6 Luna. Модель эмбеддингов у всех систем одна и та же, так что сравнивается устройство памяти, а не качество эмбеддингов.
Важно, прежде чем пересказывать: популярные коммерческие продукты памяти вроде Mem0, Zep и Letta в тест не входили. О том, как они себя покажут, статья ничего не говорит.
Что получилось
На LongMemEval-s с GPT-5.6 Luna двухраундовый RAG набрал 90,0%. Лучшие системы памяти, A-Mem и SimpleMem, дошли до 84,0%, OpenViking до 63,0%. Даже если просто вывалить всю историю в контекст модели, выходит 84,0%.
На других тестах картина похожая. Исключения есть: PlugMem и Mem-T обошли RAG на MINT-Eval с GPT-5.6 Luna, на 3,3 и 3,9 пункта. Значит, память не бесполезна. Она отвечает на часть вопросов, на которых RAG ошибается, но теряет другие, на которые RAG отвечает верно, и в большинстве случаев потерь больше.
Авторы проверили и то, не выиграл ли RAG просто за счёт удачной настройки. Меняли нарезку, способ поиска, модель эмбеддингов и реранкер. Большинство вариантов осталось в пределах нескольких пунктов от исходного. Вывод авторов: в прошлых работах про память RAG как базовую линию недооценивали.
Откуда берётся налог
Потери в статье сводятся к трём причинам.
- Факты теряются, когда строится память. При пересказе или перестройке истории деталь может выпасть, и потом её уже ничем не вернуть.
- Факт сохранился, но его труднее найти. Он дробится на несколько записей, смешивается с посторонним или пересказывается так, что перестаёт совпадать с вопросом. В повторных прогонах авторов системы памяти с первого поиска находили нужное реже, чем RAG.
- Память хуже переносит смену модели. Если память строила одна модель, а читает другая, точность падала сильнее, чем у RAG при такой же замене. Для агента, который переживёт свою текущую модель, это важно.
Есть оговорка в пользу памяти. Тесты удобны для простого поиска: на некоторых из них метод по одним ключевым словам уже даёт больше 50%. Там, где задача правда требует обобщения, памяти есть где помочь. Авторы видели это на памяти о прошлом опыте агента: на веб-задачах сжатие длинных прогонов в готовые сценарии действительно обгоняло RAG, а на задачах с инструментами несколько методов памяти отстали.
Что с этим делать
Новая архитектура для лечения не нужна.
- Храните сырую историю и ищите по ней вместе с памятью. Доставайте куски из исходной истории и из памяти одновременно и переранжируйте их вместе перед ответом. В тестах авторов это снизило налог у нескольких систем памяти.
- Пусть агент помнит, как он что-то нашёл. Сохраняйте прошлые вопросы вместе с ответившими на них фрагментами: факт, который в первый раз нашёлся только с третьего поиска, в следующий раз найдётся сразу.
- Меряйте против обычного RAG. Авторы советуют публиковать результат RAG рядом с результатами памяти, чтобы было видно, сколько на самом деле осталось улучшать. Мы бы пошли дальше: если вы строите или покупаете слой памяти, сравните его с обычным гибридным поиском по той же истории. Без этой цифры непонятно, помогает ли память вообще.
На практике это значит: относитесь к выжимкам, фактам и графам памяти как к указателю на историю, а не как к её замене. Если исходной записи нет, нечем и проверить, что говорит память.
Связанные материалы
- Claude Code: оптимизируем память агента — Auto Memory, Auto Dream и баги, о которых молчит документация
- Как я эмбеддинг-модель выбирал для Арканады
- Датарим: Снятся ли агентам электроовцы?
Частые вопросы
Память агента хуже RAG?
Не всегда. В этом исследовании большинство систем памяти на диалоговых тестах набрали меньше, чем простой гибридный RAG по сырой истории, но некоторые выигрывали на отдельных задачах. Итог зависит от того, сколько память теряет по сравнению с тем, что добавляет.
Что такое налог памяти?
Это вопросы, на которые простой поиск отвечает верно, а система памяти ошибается: при построении памяти факт потерялся, стал труднее находиться или результат стал сильнее зависеть от модели.
Статья говорит, что Mem0 или Letta проигрывают RAG?
Нет. Mem0, Zep и Letta не тестировались. Проверяли 11 открытых исследовательских и промышленных систем, например A-Mem, MemOS, HippoRAG2 и OpenViking.
Хранить ли сырую историю рядом с памятью агента?
Авторы советуют хранить: поиск по сырой истории вместе с памятью и общее переранжирование возвращали факты, которые память потеряла или спрятала.
Источник: Xuan He и соавторы, «Memory Tax: Dissecting the Net Value of Agent Memory», arXiv:2610.34073, 25 октября 2026 года. https://arxiv.org/abs/2610.34073