第二课:上下文管理

2025-07-02 · 工程治理系列 · 术语表 · ← 第一课

场景:20篇直播稿,能直接扔给AI吗?

你的项目:把树成林全部直播稿喂给AI,让它交叉对比、提炼出「AI学习的完整方法论体系」,分主题归档。

假设有20篇稿子,每篇约8000字,共16万字。你打开ChatGPT/Claude,全部粘进去——

会发生什么?

不是「模型不够聪明」。是16万字塞进上下文窗口后,AI的处理方式让你以为它在工作,但实际上它在逐步丢失信息

上下文窗口的真相

现代模型的上下文窗口很大——Claude有200K tokens,差不多15万中文字。看起来够装16万字。

但「装得下」≠「处理得好」。这里有一个几乎所有AI新手都会踩的坑:

你以为的实际发生的
AI通读全文,理解全部内容,然后回答AI对开头和结尾的记忆最清晰,中间部分模糊化
你问第5篇的细节,AI能准确引用AI可能混淆第5篇和第15篇,或者直接编造(幻觉)
上下文窗口=AI的「工作记忆」上下文窗口更像一个逐渐衰减的缓存,不是精确存储

学术上叫「lost in the middle」问题:AI对长文本中间部分的信息提取准确率,可以比开头和结尾低30%以上

更致命的东西:Compact

脉络在直播里反复提到一个词:Compact(压缩)

当你和AI对话越来越长,系统会在后台做一件事:把前面的对话「压缩」成一段摘要,腾出空间给新内容。这个过程叫compact。

1
你喂了第1-5篇稿子,AI处理得很好
2
你继续喂第6-10篇,上下文快满了 → 系统把前5篇压缩成一段300字的摘要
3
你喂第11-15篇,又满了 → 前10篇被压成一段200字的摘要
4
到第20篇时,你前面的所有内容已经变成了几百字的「残影」
5
AI基于这几百字的残影回答你——它已经不知道自己丢失了什么

这就是脉络说的:「上下文永远在compact,永远在总结,到最后你的目标就丢失了,焦点就偏移了。」

更可怕的是:AI不会告诉你它忘了什么。它不会说「抱歉,我已经把那部分压缩掉了」。它会基于残缺的信息,自信满满地给你一个看起来合理的答案。

工程治理的第一道防线:三种策略

知道了问题,下面是具体的解法。这三种策略从简单到复杂,每一种都在工程上用得到。

策略一:分块处理 + 结构化输出(入门级)

核心思路:不要让AI同时处理所有内容。一次一块,每块产出结构化结果,最后人工/程序拼接。

实操步骤:

  1. 把16万字切成小块(比如每篇稿子一个块)
  2. 对每一块,用同一个Prompt让AI输出固定格式的结果(比如JSON:主题、要点、关键引用)
  3. 收集所有块的输出
  4. 最后用一个「汇总Prompt」让AI对收集好的结构化数据进行交叉分析

为什么有效?因为每块独立处理,互不污染。最后一步汇总的是结构化摘要,不是原始全文——数据量骤减。

关键约束:每块的Prompt必须完全一致,输出格式必须严格规定。这是工程治理的起点——标准化

策略二:检查点 + 外部存储(进阶级)

核心思路:不依赖AI的「记忆」。每一步的关键结果写入外部文件,后续步骤从文件读取,而不是靠上下文传递。

实操步骤:

  1. 每处理完一块内容,把结果写入一个markdown文件(检查点)
  2. 开始新对话或新任务时,从文件读取之前的检查点,而不是从对话历史
  3. 如果AI中途跑偏,回滚到最近的检查点重新开始

这个策略的核心哲学:不要让AI「记住」任何东西。让它读写文件。

脉络说的Memory两条分支——时间轴(最近的信息最重要)和内容轴/项目轴(按主题关联)——本质上就是在设计外部存储的结构。AI自身的上下文是时间轴的(越近越清晰),但你需要的是项目轴的(按主题关联)——这只能靠外部存储实现。

策略三:Agent链 + 交接协议(专业级)

核心思路:不是让一个AI处理所有事。把任务拆给多个Agent,每个Agent只负责一小块,通过交接协议传递关键信息。

脉络原话:「你要给30个Agent,A Agent做什么、B Agent做什么,给他们写说明文档,然后每个Agent之间怎么约束、怎么传递上下文。」

这里的关键不是Agent的数量,是交接协议:Agent A完成任务后,它传给Agent B的不应该是全部上下文——只传一个结构化的「交接包」:

交接包内容说明
task_doneA完成了什么
key_findings不超过3条核心发现
open_questionsA没解决的、需要B处理的
data_pointer完整结果存在哪里(文件路径),B自己去读

这就是工程治理的交接标准:不传数据,传指针。

回到你的项目

你想做「让AI小白理解复杂知识」的系统。如果按照策略一来设计:

  1. 分块:把一门课程切成N个小节(每节一个独立知识点)
  2. 标准化Prompt:对每节用同样的Prompt输出固定格式:「核心概念」「为什么重要」「一个例子」「常见误解」
  3. 存储:每节结果存入文件(策略二)
  4. 汇总:所有小节完成后,用一个汇总Agent交叉关联、删除重复、补充遗漏

这套流程,你能在今天之内用Claude Code手动跑一遍验证。试试看?

推荐一手来源:脉络直播回放中关于「上下文永远在compact」和「Memory的两条分支」的段落。另外搜索「LLM lost in the middle」了解学术背景。

实操作业:拿2篇直播稿(不是20篇),用策略一分块处理,看能不能产出无遗漏的对比总结。记录你踩到的坑。

← 返回首页