上下文管理（面向 AI 编程/Agent）：从向量RAG到索引检索与可控记忆

• 本文“上下文管理”采用的定义：面向大模型/Agent 的上下文窗口、检索（RAG）与记忆的组织方式；不是 Python with 等语言特性。
• 你提供的线索提到“Claude Code 放弃向量 RAG”（来自小红书短链，无法在线核验）；但在代码场景，“先索引/搜索再按需读取”确实常比纯向量检索更稳、更可解释。
• 建议的主路径：RepoIndex/符号表做全局地图 + 词法/结构化检索（grep/BM25/AST）做定位 + 只喂最小必要片段（带路径/行号）+ 会话摘要/JSONL 做长期记忆。
• Token 成本优化要靠量化：用 API usage 对同一任务在 Markdown/YAML/纯文本/单文件 ContextPack（如 YAML 或 qmd）下的 token 做 A/B，再决定模板与流程。

• 向量 RAG 的常见失败模式：chunk 破坏函数/段落边界、召回精度不足导致“把无关片段当约束”、索引更新成本与 rerank 缺失；没有评估集时很难判断是否真正变好。
• 代码/配置类问题往往更“词法敏感”：文件名、函数名、错误栈、标识符精确匹配是强信号，因此 ripgrep/BM25/ctags/LSP 往往是更可靠的第一阶段召回；你提到的 PageIndex/RepoMap 类思路，本质也是先做“项目地图”。
• 上下文应分层与可替换：稳定层（RepoIndex、规范、术语表）可长期复用/缓存；任务层（目标、约束、现状）只保留当前；证据层（源码片段/日志）必须可追溯；记忆层（决策/偏好）必须可审计与可删除。
• “格式省 token”不是玄学：YAML 可能因短 key 与少冗余更省，但也可能因缩进/键名更贵；最佳实践是固定模板、固定字段顺序、去空行，并用真实输入做对比。

• 建立 Context Contract：定义 token 预算、允许的上下文类型（索引/片段/记忆）、引用规范（必须带路径+行号/commit）、输出规范（只输出补丁+最短说明），以及“何时写入长期记忆、谁来批准、如何删除”。
• 生成可复用的 RepoIndex（从 1 页开始）：目录树（tree）、规模统计（scc/cloc）、关键入口（main/路由/任务调度）、模块职责一句话；再用 universal-ctags 或 tree-sitter 抽符号表，形成 repo_index.yaml/repomap.txt（可参考 aider 的 RepoMap 思路）。
• 设计两段式检索：第一段用 ripgrep/BM25/ast-grep/semgrep 找到候选文件与函数；第二段只抽取必要行区间（例如每次最多 200–400 行），优先按函数/类边界截取，并显式记录“为何选这段”。
• 做可控记忆与压缩：会话结束把“事实/决策/待确认”写入 memory.jsonl（每条 1–3 行，短 key）；把长对话压成 200–500 token 摘要；对敏感信息脱敏；明确存储位置（本地目录/SQLite/向量库/云端）与审计/回滚策略。

• Index-first（推荐、少/无向量）：RepoIndex/符号表 + 词法检索 + 片段抽取；优势是可解释、成本低、对代码改动更稳；短板是对“同义改写/概念问答”可能召回不足。
• Hybrid RAG：BM25（或 grep）+ 向量召回（FAISS/pgvector/Qdrant）+ rerank（如 bge-reranker/ColBERT）+ 去重过滤；适合文档问答与同义词多的场景，但需要离线评估集与线上监控。
• Long-context + Cache：把 RepoIndex 与规范放入可缓存前缀（prompt caching/response caching），每次只追加任务增量；可把上下文打包成单文件 ContextPack（YAML/qmd/纯文本），适合频繁迭代同一仓库的工作流。
• 另一种“上下文管理”定义分支：若你要解决的是编程语言/框架 Context（Python with、Web 请求上下文、线程/协程上下文），应重点检查资源生命周期、异常回收、并发隔离与传递机制；方案会完全不同。

• 开源数据工程师（paraphrase）：与其一上来做向量库，不如先把索引、评估与可观测性做扎实；grep/BM25 作为基线几乎总能跑通，再决定是否加 embedding 与 rerank。
• AI 编程工具产品经理（paraphrase）：用户真正需要的是“少问、命中、能落地改文件”；因此更偏好工具化读取文件与逐步补上下文（按需打开文件/目录），而不是一次性塞满长 prompt。
• 资深软件工程师（paraphrase）：上下文越长越不可控；希望任何结论都能回到代码证据（路径/行号/commit），并用统一 diff 降低 review 成本与沟通成本。
• 数据隐私/合规律师（paraphrase）：所谓永久记忆必须具备最小化、目的限制、访问控制与可删除；否则会带来合规与泄露风险，尤其是把代码/客户数据写进第三方存储时。

• 结论：减少无关格式与重复信息通常能显著省 token（high）。理由：token 与输入长度强相关，且 API usage 可直接量化对比。
• 结论：纯向量 RAG 若缺少 rerank/过滤，容易引入无关片段导致模型跑偏（high）。理由：检索系统普遍存在低精度召回问题，尤其在 chunk 边界不佳时。
• 结论：在代码检索里，词法搜索/BM25 往往是强基线（medium）。理由：工程工具链长期依赖精确匹配，但不同语言/命名风格会影响表现，需用你自己的任务集验证。
• 结论：关于“Claude Code 放弃向量 RAG”“某工具记忆永存/存哪里”的具体机制（low）。理由：当前仅有短链与二手转述，无法在线核验；必须回到工具文档/源码/配置与本地数据目录确认。

• 请把你看到的关键原文要点贴出（尤其是放弃向量 RAG 的原因、PageIndex 与 qmd 的用法、宣称省 token 的对比方法）；短链内容我无法在线核验。
• 选一个你最常用的仓库，先生成最小 RepoIndex（目录树+入口+模块职责），并固定成“每次对话都带”的前缀文件；之后任何检索/记忆都以它为锚点。
• 用同一任务做一次 A/B：向量RAG vs grep/BM25+片段抽取；记录成功率、返工次数、总 token、耗时，得到你的本地结论，再决定是否投入向量库与 rerank。
• 针对“永久记忆/无法创建文件”：检查工具是否在沙箱、是否需要本地代理/插件（例如 VSCode 扩展或 MCP 服务器），并定位实际写入目录/数据库以便审计与删除。

Board

Open Research Board

Related by Tags

• 上下文管理：面向 AI 助手/代理的可控记忆与省 Token 方法 2026-02-05 14:44 · · #上下文管理 #LLM #Token优化 #RAG
• 上下文管理（LLM/Agent）：从“全量回灌”到“结构化记忆+按需检索” 2026-02-03 13:59 · · #LLM #上下文管理 #Token优化 #RAG
• 上下文管理（LLM）：省 token 的结构化 Prompt 与记忆/RAG 方案 2026-01-29 21:05 · · #上下文管理 #LLM #Token优化 #RAG
• 上下文管理：Bot 为什么会说“记忆永存” 2026-01-30 10:15 · · #上下文管理 #RAG #Token优化
• LLM 上下文管理：结构化提示、token 预算与可复用 Context Pack 2026-01-29 20:29 · · #上下文管理 #LLM #RAG
• 上下文管理：永久记忆存哪里了？ 2026-02-01 11:03 · · #上下文管理 #RAG

• 线索链接（短链，无法在线核验具体内容）：http://xhslink.com/o/5sbJZnVE4eP http://xhslink.com/o/9TfGQsxv5SC http://xhslink.com/o/4alY0euCR0v http://xhslink.com/o/89M43PCDYVt http://xhslink.com/o/2iveJsp5AxL
• 你的 GitHub Issue 记录：https://github.com/EOMZON/myObsidian/issues/35 ；公众号文章链接（无法在线核验）：https://mp.weixin.qq.com/s/NkAh0yh9vP073Kcu7SsInw ；播客链接（无法在线核验）：https://www.xiaoyuzhoufm.com/episode/692275cbcbba038b42d55bdc
• 检索/索引常用开源组件：ripgrep https://github.com/BurntSushi/ripgrep universal-ctags https://github.com/universal-ctags/ctags tree-sitter https://github.com/tree-sitter/tree-sitter semgrep https://github.com/semgrep/semgrep ast-grep https://github.com/ast-grep/ast-grep
• RAG/Agent 框架与评估/计数（可在线核验）：LangChain https://github.com/langchain-ai/langchain LlamaIndex https://github.com/run-llama/llama_index RAGAS https://github.com/explodinggradients/ragas aider https://github.com/Aider-AI/aider tiktoken https://github.com/openai/tiktoken Anthropic Docs https://docs.anthropic.com/ OpenAI Docs https://platform.openai.com/docs MCP https://github.com/modelcontextprotocol