Доклад · ~25 минут

Агенты, которые общаются
памятью, а не текстом

Новое направление — латентная коммуникация — позволяет агентам обмениваться внутренними представлениями напрямую: скрытыми состояниями или KV-кешами (Liu, 2026). Что для этого нужно и что уже работает

Кирилл Остапенко

Как сейчас

Сегодня агенты общаются текстом: это медленно и с потерями

Каждое сообщение заставляет отправителя сгенерировать текст, а получателя — заново его прочитать (Liu, 2026).

Цена перечитывания

Claude API: обычный ввод $2–4 / млн токенов, чтение из кеша $0.20 — в 10–20 раз дешевле.

Кеширование снижает эту цену только внутри одной модели (Heo et al., 2026).

Текст — канал с низкой пропускной способностью

Внутренние представления сжимают в строку токенов, а получатель распаковывает её обратно (Fu et al., 2025). Медленно — получатель ждёт, пока отправитель допишет; с потерями — состояние сжато в слова (Rossi et al., 2026).

Типичная схема сегодня: главный агент изучил документ, кодовую базу или результаты поиска и раздаёт задачи помощникам. Как он с ними общается? Текстом. Либо пересылает исходник целиком — и каждый помощник заново его «читает», а это самая дорогая часть работы модели. Либо пишет пересказ — и теряет детали. Насколько дорого перечитывание, видно по ценам: провайдеры уже кешируют прочитанное и берут за повторное чтение в 10–20 раз меньше. Но этот механизм работает только внутри одной модели и для одинакового начала запроса. Передать «прочитанное» другой модели так нельзя.

Основы · где лежит кеш

KV-кеш — это ключи и значения, которые каждый слой внимания вычисляет для каждого прочитанного слова

Чтение и генерация

Чтение текста (prefill) заполняет кеш. Генерация (decode) добавляет по одному слову и обращается к уже сохранённым ключам и значениям (Fu et al., 2025).

Размер в GPT-2

12 слоёв × (K + V) × 768 чисел = 18 432 числа на слово. Текст в 1000 слов — около 37 МБ (16 бит на число).

Модели

GPT-2 (12 слоёв), DistilGPT2 (6 слоёв, дистиллят GPT-2), Pythia-160m (другое семейство). У всех векторы по 768 чисел.

Чтобы было понятно, о чём речь, — где этот кеш физически лежит. Текст режется на слова, каждое слово превращается в эмбеддинг — это вход первого блока. Дальше двенадцать одинаковых блоков. В каждом блоке есть механизм внимания: для каждого слова он вычисляет три вектора — запрос Q, ключ K и значение V. Ключи и значения всех уже прочитанных слов модель сохраняет — это и есть KV-кеш: по паре векторов на каждое слово в каждом слое. Запрос не хранится, он пересчитывается. Между блоками течёт скрытое состояние. На выходе последнего блока получаются логиты — оценка для каждого из пятидесяти тысяч слов словаря, и из них выбирается следующее слово. Чтение текста заполняет кеш, а генерация идёт по одному слову и обращается к кешу. В GPT-2 это примерно восемнадцать тысяч чисел на слово, для тысячи слов — около тридцати семи мегабайт. Важно для дальнейшего: в первом эксперименте я передаю именно KV-кеш, во втором — скрытое состояние одного слова.

Видение

Завтра: получатель переиспользует кеш отправителя и не читает текст заново. Больше вызовов за те же деньги

Кеш богаче текста и передаётся сразу целиком, без медленной пословной генерации (Fu et al., 2025).

Что уже показано

Cache-to-Cache (Fu et al., 2025): передача кеша вместо текста — +3–5% точности и в 2,5× быстрее.

Heo et al. (2026): перенос кеша внутри семейства Qwen — в 2,7–25× быстрее перечитывания.

Cheng et al. (2026): прирост на бенчмарке сам по себе не доказывает, что передано содержание.

Вот видение. Главный агент читает материал один раз и раздаёт помощникам не текст, а свою память. Помощники ничего не перечитывают, а значит за те же деньги можно сделать больше вызовов: больше помощников, больше попыток, больше проверок. Это не только моя фантазия, направление активно исследуют, я назвал несколько работ. Но чтобы это сбылось, нужны три условия. Первое — понимание: получатель должен действительно использовать смысл переданного. Второе — экономия: передача должна быть дешевле перечитывания. Третье — совместимость: это должно работать между разными моделями, ведь агенты в реальной системе разные. Дальше пройдёмся по каждому условию, и я покажу, что у меня получилось.

Условие 1 · понимание

Чтобы проверить, что получатель использует содержание, подмените память на чужую

Систему не трогаем, подаём такую же корректную память, но от другого примера (по Cheng et al., 2026). Здесь: GPT-2 читает задачу, память идёт в DistilGPT2 через маленький обученный адаптер.

Почему не хватает вероятностей

Один и тот же прирост совместим и с использованием содержания, и с общим эффектом, который просто сдвигает получателя (Cheng et al., 2026).

Задача «два ключа»: вероятность правильного ответа выросла, а правильных ответов 0 из 32.

→ Считать нужно правильные ответы, а не вероятности.

У Cache-to-Cache при такой проверке передача, привязанная к конкретному примеру, не обнаружена (Cheng et al., 2026).

Первое условие — понимание. Как проверить, что модель действительно поняла переданную память? Очень просто: подменить её. GPT-2 читает задачу и передаёт память DistilGPT2, которая сам текст не видит. Между ними маленький обучаемый адаптер — около одной десятой процента параметров, сами модели заморожены. Если дать свою память — ответ должен быть правильным. Если подсунуть память от другого примера — ответ должен стать неправильным. Если ответ меняется вместе с памятью, значит модель использует именно содержимое. Почему нельзя просто смотреть на вероятности? В задаче с двумя ключами вероятность правильного ответа выросла, а правильных ответов — ноль из тридцати двух. Поэтому я считаю правильные ответы.

Условие 1 · результат

Своя память — 31 правильный ответ из 32, чужая — 1: ответ зависит от того, чья это память

Что это значит для агентов

Связать имя с его ID в переданной таблице — работает: 5 из 5 запусков, 20–27 / 32 (в среднем 74%). Чужая память — 1/32, перепутанные связи — 1/32, без памяти — 0/32.

Работает и в форме предложения «Bob is 12345» — 5 из 5, 70%.

Ответить по сочетанию двух ключей сразу — нет: 0 из 32.

→ Одну связь из памяти получатель достаёт; две сразу — пока нет.

Результаты по первому условию. Задача на порядок символов: со своей памятью 31 правильный ответ из 32, с чужой — один. Таблица «имя → ID», по сути SQL-подобный поиск: 20 из 32 на примерах, которых адаптер не видел, и снова один при подмене; на пяти запусках с подобранным шагом обучения — от 20 до 27 из 32. Если спросят про формат: «Bob → 12345», «Bob: 12345» и даже предложение «Bob is 12345» работают на всех пяти запусках (68–74%); ломается только длинная формулировка «Bob has ID 12345» — дело в расстоянии в токенах между ключом и значением, а не в естественном языке. Ответ ломается вместе с памятью — значит, получатель действительно читает её содержимое. Но есть граница: когда ответ определяется сочетанием двух ключей сразу, правильных ответов ноль. Если спросят про задачу на объединение двух половин: после исправления выборки она даёт 29 из 32, но почти столько же, 27, даёт одна вторая половина — так что объединение не доказано. Для агентов: одну связь из переданной памяти получатель достаёт, две сразу — пока нет.

Условие 2 · экономия

Если главный агент уже прочитал текст, отдать память помощнику дешевле, чем дать ему перечитать

Условие выигрыша

Главный агент читал текст для своей задачи — эта работа уже сделана и в счёт не входит.

Оговорка

Если читать текст только ради передачи, она окупается начиная примерно с 7 помощников на одну память.

Замер: последовательность из 32 символов, CPU, PyTorch.

На больших моделях

Heo et al. (2026), Qwen3 14B→32B: перенос кеша в 2,7–25× быстрее перечитывания. Условие безубыточности объясняет, почему протокол ускоряет длинные контексты и проигрывает на коротких (Liu, 2026).

Второе условие — экономия. Сценарий агентов: главный агент уже прочитал материал для своей задачи, это сделано в любом случае. Вопрос только в том, что дешевле для помощника: перечитать текст самому или получить готовую память. В моём замере готовая память дешевле: в 1,4 раза для одного помощника и в 7 раз, когда помощников много и они работают пачкой. Оговорка: если главный агент читает текст только ради передачи, это лишняя работа, и тогда выгода появляется, начиная примерно с семи помощников на одну память. Масштаб маленький — короткий текст и процессор; на длинных документах выигрыш, скорее всего, больше, но это ещё надо измерить.

Условие 3 · совместимость

Можно ли совсем без обучения? Между копиями одной модели — да

Вместо целого кеша — самый простой вид памяти: вектор одного слова. Без адаптера.

Контроли

Корреляция эффекта с длиной вектора: 0,002.
Перемешанные метки: 0 из 200 достигли реального эффекта.

Второе отношение («снег → холодный»): 8 / 9.

Не работает

Слабая добавка во все слова фразы. Передача результата модели 2 дальше по цепочке.

→ Эффект даёт содержимое вектора, а не сила сигнала.

Третье условие — совместимость, и сначала самый смелый вопрос: можно ли вообще без обучения, без адаптера? Берём две копии GPT-2. Первая читает слово «dog», берём её вектор. Вторая читает нейтральную фразу «A thing is a type of» — «вещь — это разновидность…». На место слова «thing» подставляем вектор собаки. Продолжение сдвигается к «animal» в 35 случаях из 36. Я старался это сломать: дело не в силе сигнала, случайный вектор той же длины не работает, перемешивание меток ни разу не дало такого результата. Работает и на другом отношении — снег и холод. Но есть стены: если подмешивать слабый сигнал во все слова, не работает, а цепочку «модель 1 → 2 → 3» построить не удалось.

Условие 3 · поворот

Без переводчика эффект слабый: 9% у копии той же модели и почти ноль у модели другого семейства

Объяснение

Модели обучены читать на входе эмбеддинги слов, а скрытые состояния лежат в другой области пространства представлений (Peng et al., 2026). У независимо обученных моделей эти пространства ещё и не совпадают; у DistilGPT2 оно унаследовано от GPT-2.

Переводчик

Линейное отображение, обучено на 2000 слов, не входящих в тест: 89–100% эффекта.

Согласуется с Heo et al. (2026): линейный перенос кеша внутри семейства — 73–98% качества на 4 из 6 пар. Для разных семейств C2C, LCF и XKV обучают переводчик.

→ Агентам на разных моделях нужен слой-переводчик или общий формат.

Самый важный результат, я получил его недавно, критерии были записаны заранее. Работает ли трюк между разными моделями? Сначала важная деталь: даже у копии той же модели вектор без переводчика даёт только 9% эффекта настоящего слова — направление верное, но сигнал слабый. С DistilGPT2, дистиллятом GPT-2, — эффект как у копии. С Pythia, моделью другого семейства, — практически нет: семь десятых процента. А простой линейный переводчик, обученный на двух тысячах других слов, восстанавливает почти весь эффект у всех трёх. Почему так: модели обучены читать на входе эмбеддинги слов, а скрытые состояния лежат в другой области пространства представлений, и у независимо обученных моделей эти пространства ещё и не совпадают. У родственников пространство общее, у чужих — своё, и его надо переводить. Для будущего агентов это ключевой вывод: в системе из разных моделей понадобится слой-переводчик или общий стандарт представлений, примерно как общий сетевой протокол. Честная оговорка: на этой задаче переводчик по сути узнаёт слово, так что текст здесь был бы не хуже. Нового метода тут нет — это известный подход, и я считаю это полноценным результатом.

Итог

Агенты, обменивающиеся памятью, возможны — но пока только при трёх оговорках

✓ПониманиеСвязь «имя → ID» из переданной памяти: 5 из 5 запусков, 20–27 из 32; с чужой памятью — 1 из 32. Ответ по двум ключам сразу — пока нет.

≈ЭкономияДешевле перечитывания, когда главный агент уже прочитал текст для себя: 1,4–7×. Иначе — от ~7 помощников на одну память.

≈СовместимостьБез обучения — только между «родственниками». Разным моделям нужен переводчик или общий стандарт.

Статья: github.com/kroq86/fasm-mac/blob/main/papers/kv-handoff/paper.md

Литература: Fu et al. 2025 (arXiv:2510.03215) · Rossi et al. 2026 (2605.22863) · Heo et al. 2026 (2608.03893) · Cheng et al. 2026 (2608.04893) · Liu et al. 2026, XKV (2608.20617) · Liu 2026, обзор (2606.05711) · Peng et al. 2026, StateBridge (2608.13317)

Подведу итог по трём условиям. Понимание — да, с оговоркой: связь «имя → ID» достаётся из переданной памяти на всех пяти запусках, от 20 до 27 из 32, а подмена роняет до одного; ответ по двум ключам сразу пока не получается. Экономия — частично: если главный агент уже прочитал текст для себя, готовая память дешевле перечитывания в 1,4–7 раз; если читать только ради передачи — выгодно начиная примерно с семи помощников. Совместимость — частично: без обучения только между родственными моделями, разным нужен переводчик. Спасибо, буду рад вопросам.

Агенты, которые общаютсяпамятью, а не текстом