Agent 记忆全景：记在哪、怎么记、为谁记

本文来源： 光仔（公众号：光仔）
原文链接： https://mp.weixin.qq.com/s/08ZvWmMFEIhK3Gz8me2ITA
发布时间： 2026-08-26 14:18

作者： 光仔　　发布时间： 2026-08-26 14:18

AI 已经过了"卷分数"的上半场。当 Agent 真正进入深度研究、agentic coding、computer use 这些长时程场景，瓶颈不是模型不够强，而是会聊久了就失忆。
这篇 arXiv 2602.06052v4 把近期共 218 篇记忆论文一次性摊开，给出一个三维分类法 + 单/多 Agent 完整操作流水线 + 六大未来挑战。读完这篇，你能把Agent 为什么需要记忆这件事从直觉讲到机制。

本期拆解的论文卡片：arXiv 2602.06052v4 — A Survey of Agent Memory in the Second Half

我自己的读后感

工程现实倒逼学术——让 coding Agent 跑 8 小时、跨几千文件、迭代几十个方案，没记忆就是金鱼，转头就忘。论文里把这种"上下文爆炸"叫 second half 的核心痛点。

这篇把记忆拆得远比我想的细：5 维类型 + 7 种基底 + 5 步流水线 + 4 种架构 + 3 层 RL。读到（认知机制）时反复停下来，原来记忆还能这样分解。

下面是我按自己的理解整理的笔记——如果你只想看个大概，下面够用；如果你想真的搞懂 Agent 怎么搭记忆系统，建议直接读原文 6–9 章，那部分比综述本身还精彩。

Agent 记忆的三维分类法——记在哪（基底）× 怎么记（机制）× 为谁记（主体）

一、第二半场：为什么 Agent 必须有记忆

我第一次意识到"上下文爆炸"是真问题，是在 Claude/GPT长任务Coding 100k+ 长对话里，前面明明讨论过的git操作用户设定偏好，到后面多轮突然就忘了，心想——这不就是失忆吗？

论文把这个阶段叫"第二半场"（Second Half）。第一半场是 2020–2024，核心是训练方法、规模化、架构创新，模型在 MMLU、MATH 这种标准化基准上卷到 90%+。第二半场是从 2025 开始，战场转移：

	第一半场	第二半场
驱动	模型创新 + 基准分数	问题定义 + 真实效用


瓶颈	模型不够大	上下文爆炸（context explosion）

具体点说。LLM 的上下文窗口是固定的，但 Agent 的任务是无限的——一个 coding Agent 跑 8 小时会读几千个文件、看几百次报错、迭代几十个方案；一个深度研究 Agent 要跨论文、跨网页、跨数据库做关联。这些都塞不进任何固定 context window。

论文里的原话：

Memory, with hundreds of papers released in 2025, therefore emerges as the critical solution to fill the utility gap.

这就是为什么 2025 年记忆相关论文爆发式增长，Q4 是峰值。这不是学术热点，是工程刚需。

二、记忆基底：记在

哪？

记忆往哪存，是第一个要回答的问题。我以前笼统地觉得"外接个向量数据库就是记忆"，看完论文才知道——这只是冰山一角。

论文把所有记忆存储分成两大阵营、7 个子类：

外部记忆（External）

子类	代表	特点
向量索引	RAG、向量数据库	嵌入 + HNSW/IVF/PQ 近似最近邻；语义检索主力
文本记录	摘要 + 日志 + 语义列表	显式文档，可读、可审计
结构化存储	知识图谱、关系表、层次树	显式关系，支持图遍历
层次化存储	多模块 + 元记忆管理器	核心/情景/语义/程序分层

内部记忆（Internal）

子类	代表	特点
权重	WISE、SELF-PARAM、MemoryLLM	记忆写入参数；持久但更新贵
潜在状态	Titans、EpiCache	中间隐藏状态、压缩 token
KV 缓存	ChunkKV、vLLMPA	推理时存，自回归加速

但读到这里反而被泼了一盆冷水——我本来以为"内部记忆 = 模型权重"是终极答案，结果论文里 WISE 这类方法虽然把记忆编进参数，但更新一次要重训，不能频繁加新东西。所以工业界更多是内外混合：内部存核心技能，外部存动态事实。

论文还提了一个细节我没想到：KV 缓存也算"内部记忆"。它和"上下文窗口"本质是同一回事，只是名字叫法不同。这就解释了为什么 KV Cache 压缩（参考kv-cache那篇）和 Agent 记忆其实是同一个问题的两个切面。

三、认知机制：怎么记？

光知道"记在哪"还不够，还得知道"按什么类型记"。论文直接借用了认知科学的五类记忆系统，每个 Agent 实现都有对应：

类型	角色	Agent 例子
感觉记忆	感知内容短暂保留	2–5 秒视频帧缓冲、音频 chunk
工作记忆	当前任务临时操作	推理链状态、目标追踪、上下文压缩
情景记忆	具体经验记录	"上次你说偏好 2 页摘要"
语义记忆	抽象事实知识	知识图谱、实体事实、概念库
程序性记忆	行动技能模式	"搜索→读取→提取→引用"工作流

我之前写 Agent 时一直把记忆当成一坨"上下文扩展"。看完这五类才发现：真正高级的 Agent 是分层用记忆——感觉层只留几秒画面，工作记忆层管当前任务，情景层管跨会话历史，语义层管知识，程序层管技能。

其实工作记忆才是这五类里最容易被低估的。我以前以为"工作记忆"就是 prompt 拼接，结果论文里写得很明白——工作记忆的管理策略本身正在被强化学习端到端训练。"该保留哪些 token"这件事，已经从手写规则变成了可学习的策略。

四、记忆主体：为谁记？

第三个维度经常被忽略：这些记忆到底为谁服务？

主体	服务对象	典型场景
用户中心	用户的偏好、历史、个性化	"你上周喜欢简短回答"、"你之前问过类似 X 的问题"
Agent 中心	Agent 自己的执行经验、技能	"上次调这个 API 报错了，绕过"、"这个项目用 Poetry 不用 pip"

这两种记忆是正交的。一个生产级 Agent 通常两者都要：

用户中心：跨会话、跨设备保持一致体验
Agent 中心：跨任务、跨项目积累技能

论文里举的例子很贴切——Cursor 这种 coding Agent，用户中心记忆管"用户喜欢 Python 不要 TypeScript"，Agent 中心记忆管"这个 repo 的测试用 pytest 不是 unittest"。

踩坑警告：很多人做 Agent 只做了用户中心，Agent 每次重启都"返幼稚"；或者只做了 Agent 中心，结果换用户就翻车。两套都要做，但要严格隔离。

五、单 Agent 记忆操作五步流水线

理论讲完，看实操。单 Agent 怎么管记忆？论文给出一个五步流水线：

存储索引 → 加载检索 → 更新刷新 → 压缩总结 → 遗忘保留
write     read    update   compress   forget

每一步都是一个可设计的子系统：

5.1 存储与索引（Storage and Index）

把原始交互写进记忆库。索引策略决定后续检索效率：

向量嵌入：语义检索主力，HNSW 索引
倒排索引：关键词匹配快，BM25
图拓扑：关系型记忆，知识图谱检索

5.2 加载与检索（Loading and Retrieval）

按当前 query 从记忆库拉出相关条目：

向量相似度（cosine / dot product）
BM25 关键词匹配
图遍历（GraphRAG）
混合检索（hybrid search）

5.3 更新与刷新（Update and Refresh）

把新经验写回去。三个动作：

插入：新条目
修改：过时条目
删除：冲突条目

这一步最容易翻车——并发更新导致不一致，时序错乱导致"未来覆盖过去"。

5.4 压缩与总结（Compression and Summarization）

把长上下文压成短摘要。常见手法：

LLM 生成摘要
分段折叠（hierarchical summarize）
关键句提取

5.5 遗忘与保留（Forgetting and Retention）

选择性地丢。论文里专门有一节讲这个：

基于重要性评分
基于时效性衰减
基于访问频率

说真的，遗忘才是 Agent 能 scale 的前提。我以前觉得"记得越多越好"，结果论文里反复强调——没遗忘的 Agent，记忆库会爆炸，检索会变慢，信噪比会塌。容易踩坑那节里我会再回扣一次。

六、多 Agent 记忆架构

单 Agent 是基础，但生产里越来越常见的是多 Agent 协作。论文总结了四种架构拓扑：

架构	描述	适用场景
Private-only	每个 Agent 独立私有记忆	强隔离场景，如权限分级
Shared-workspace	共享内存空间交换信息	协作推理，如研究 Agent 团
Hybrid	私有 + 共享混合	通用生产环境
Orchestrated	编排器统一管理记忆路由	复杂任务流水线

三种路由方式：

Orchestrator 驱动：中心节点分配记忆读写
Agent 主动发起：Agent 主动 query 其他 Agent 的记忆
Memory 驱动：记忆层自己决定路由（最智能、最难实现）

读到这一段我有点意外——共享记忆并不等于协作效率高。论文里的警告很直接：共享记忆带来冲突解决难题。两个 Agent 同时改同一段记忆，谁的版本生效？这是分布式系统经典问题，Agent 记忆里同样存在，CRDT、版本向量这些老办法又用回来了。

七、记忆进化：让"怎么记"也变得可学

这是我读这篇最兴奋的一节。

传统的记忆系统是手工设计的——人写规则决定"什么时候压缩、什么时候遗忘"。论文指出，记忆管理本身正在成为可学习的策略，通过强化学习端到端训练。

三种训练层级：

层级	粒度	代表方法
Step-Level	每一步决策	该保留 / 丢弃哪个 token
Trajectory-Level	整条轨迹	该记忆这条交互的什么
Cross-Episode / Multi-Agent	跨场景 / 跨 Agent	该跨任务 / 跨 Agent 共享什么

论文原话：

Memory management itself is increasingly trained end-to-end via reinforcement learning rather than hand-designed heuristics.

这里有个二阶问题挺值得拎出来讲：记忆管理的 RL 训练不是"用 RL 优化记忆内容"，而是"用 RL 优化该不该记住"这件事。本质是元学习（meta-learning）——你训练的不是一个策略，是一个"该不该训练策略"的元策略。

这条线意味着：未来的 Agent 不会只有"模型权重可学"，还会有"记忆策略可学"。这两层一起训练，就是论文标题里的"自演化（Self-Evolving）"。

八、评估体系：怎么测？

光说不练假把式。记忆系统怎么评估？论文给出三类指标：

准确性指标（Accuracy-based）

QA 准确率、任务完成率
检索召回率 / 精确率（Recall@k / Precision@k）

相似性指标（Similarity-based）

余弦相似度、ROUGE、BERTScore
评估记忆重建质量

LLM-as-judge

用大模型评判记忆的有用性、连贯性、个性化程度

主要基准测试：

用户中心：LoCoMo、MSC、LongMemEval
Agent 中心：长时程任务、工具使用成功率、自演化测试时学习

另外有一点让我意外——评估体系里没有"记忆大小"这个指标。我以为"记得越多分越高"，结果 LoCoMo 这类基准更看重"在有限上下文里答对"，不是"记住所有东西"。这正好印证了第五节说的"遗忘机制是关键"。

九、应用与六大未来挑战

9.1 应用全景

论文列了 9 类应用场景：

工作流自动化、Web/GUI 交互、具身控制（模拟/真实）
辅导系统、代理科学辅助、Agentic coding
深度研究、个人医疗、人机协作

最值得关注的两类：

Agentic coding（Cursor、Devin）：需要跨文件、跨会话的项目记忆
深度研究（Gemini Deep Research、GPT Deep Research）：需要跨论文、跨网页的知识关联

9.2 六大未来挑战

论文最后留了 6 个开放问题：

持续学习与自演化：怎么避免灾难性遗忘？怎么终身学习？
多用户-多 Agent 记忆组织：多个用户 × 多个 Agent，归属、隔离、共享怎么搞？
记忆基础设施：亿级条目的存储、检索、分布式怎么 scale？
终身个性化与可信记忆：怎么防止偏见、检测错误记忆、支持用户审查？
多模态 / 具身 / 世界模型：视觉、音频、触觉、世界模型怎么进记忆？
真实世界基准：怎么设计更贴近部署的评估协议？

最戳我的是第 6 条——现在所有基准都是"简化任务分数"，但 Agent 的真实价值是"在用户家里跑了 3 个月没翻车"。这种评估怎么做？整篇论文都没给出答案，这就是它开放出来的原因。

几点感想

记忆不是越多越好。没遗忘机制的 Agent，记忆库会爆炸，检索变慢，信噪比塌。遗忘是特性不是 bug。
RAG 不等于 Agent 记忆。RAG 只解决了"外部检索"，没解决"内部管理"。完整记忆系统包含存储/检索/更新/压缩/遗忘 5 步。
用户中心和 Agent 中心记忆要严格隔离。两者经常混淆，导致"用户 A 的偏好泄漏给用户 B"或者"Agent 自己的技能被用户偏好覆盖"。
多 Agent 共享记忆 ≠ 协作效率高。冲突解决、一致性维护都是分布式系统的老坑，CRDT 又回来了。
记忆管理策略本身可以被 RL 训练。这意味着"写规则"会逐步被"训练策略"取代，工程团队要有这个预期。
评估里没有"记忆大小"指标。LoCoMo 等基准更看重"在有限上下文里答对"，不是"记住所有东西"。

参考资源
论文 arXiv：https://arxiv.org/abs/2602.06052v4
代表方法清单：Mem0 / Zep / A-Mem / HippoRAG2 / MIRIX / MemTree / MemGPT / LangMem / MemoryBank
强化学习记忆：MemRL / Memory-R1
参数化记忆：MemoryLLM / WISE / SELF-PARAM

以上，既然看到这里了，
如果觉得不错，随手点个赞、在看、转发三连吧，
如果想第一时间收到推送，也可以给我个星标⭐～
谢谢你看我的文章

你的关注是我持续更新的动力～

本文转载自微信公众号「光仔」，仅供学习交流使用。