理解大模型的上下文窗口与 Token:预算、裁剪与常见错误

文章目录

问题:上下文窗口限制了什么

大模型不是按“字”处理文本,而是按 token。token 是分词器切分出来的最小单位,可能是一个完整的词、词的一部分、一个汉字或一个标点。同一个字符串在不同模型的分词器下 token 数并不相同,所以“一千字大概多少 token”没有统一答案。工程上应把 token 数看成由具体分词器决定的量,而不是用字符数硬换算。

上下文窗口指模型单次调用能看到的 token 上限,通常同时包含输入和输出。输入包括系统提示、历史对话、检索到的资料、工具返回结果;输出是模型本次生成的内容。窗口是硬边界:超出后可能直接报错,也可能被服务端截断,或者需要你在客户端主动裁剪。即使没有超限,输入越长,成本通常越高,首 token 延迟往往越大,关键指令也更容易被淹没在无关内容里。

一个常见误解是“窗口越大,就可以把整份文档、整库日志都放进去”。窗口决定的是能不能放进去,不决定模型能否同等有效地利用每一段内容。长输入仍然需要筛选、排序、分段和校验。

先算预算:输入、输出与安全余量

可操作的第一步是把窗口拆成三块:系统与指令的固定开销、输入资料与历史的可变开销、必须预留的输出预算。如果输入贴满窗口,模型就没有空间回答,生成也可能被截断。

建议维护两个显式常量:max_context 和 max_output,然后计算输入上限:

class Budget:
    def __init__(self, max_context, max_output, safety=256):
        self.max_context = max_context
        self.max_output = max_output
        self.safety = safety

    @property
    def input_limit(self):
        return self.max_context - self.max_output - self.safety

safety 用于容纳模板拼接、工具结果格式化和分词器估算误差。不同服务的字段名和计费方式不同,具体数值应以所用服务的文档和返回结果为准。

计数:不要用 len() 代替 token 数

字符数只能做非常粗的筛选。中文里一个汉字常常对应一个或几个 token;英文粗略看一个 token 覆盖几个字符,但遇到代码、JSON、URL、emoji 和罕见符号时偏差会明显变大。正确做法是使用与目标模型匹配的分词器,或在调用后读取服务返回的 usage 字段做校准。

下面把计数函数作为参数传入,便于替换成真实分词器:

def count_tokens(text, encode):
    return len(encode(text))

def messages_tokens(messages, encode):
    total = 0
    for m in messages:
        total += count_tokens(m.get('role', ''), encode)
        total += count_tokens(m.get('content', ''), encode)
        total += 4  # 角色分隔等结构开销的粗略占位,需按实际模板校准
    return total

这里的 4 只是占位,不是标准值。更稳妥的方式是:用本地分词器估算一次,再与服务端返回的 prompt_tokens 对比,记录偏差并按模板修正系数。定期校准比追求一次性精确更重要。

裁剪策略:保住指令,保住最近,压缩中间

当消息列表超出预算时,优先级通常是:系统指令 > 当前用户问题 > 最近的对话 > 检索资料 > 更早的历史。一个简单实现是保留全部 system 消息,然后从最新消息往前累加,超出预算就停止:

def trim_messages(messages, encode, limit):
    system = [m for m in messages if m['role'] == 'system']
    rest = [m for m in messages if m['role'] != 'system']
    kept = []
    used = messages_tokens(system, encode)
    for m in reversed(rest):
        cost = messages_tokens([m], encode)
        if used + cost > limit:
            break
        kept.append(m)
        used += cost
    return system + list(reversed(kept))

使用这段代码时要注意几个细节。第一,裁剪后要保持角色顺序合法,有些接口要求消息以 user 结尾,或不允许出现孤立的工具结果。第二,不要把 system 消息放在会被裁掉的位置。第三,对单条超长消息要单独处理,例如按段落分块、先抽取要点再拼接,而不是简单截断到某个字符数。

对长文档可以走“分块 + 相关性排序 + 只放前若干块”的路线。分块尽量按语义边界切,比如标题、段落、函数,并保留来源标识,方便回答时说明依据。资料量远超窗口、需要权限过滤或频繁更新时,检索增强通常比一次性塞入更合适;资料少且强相关时,直接放入上下文更简单。

常见错误

  • 只按字符数截断,导致中文、代码或 JSON 实际 token 超限。
  • 忘记给输出预留空间,输入接近上限时回答被截断。
  • 把系统提示放在历史消息中间,裁剪时被优先丢弃。
  • 多轮对话无限追加,从不做摘要或滑动窗口。
  • 把工具返回的原始 JSON、日志整段塞入,挤掉真正相关的信息。
  • 认为窗口大就不需要检索,结果成本高、延迟大、准确率不稳定。
  • 只在开发初期估算一次 token,不按服务端 usage 持续校准。

适用边界

上下文窗口是单次调用的上限,不等于模型的长期记忆,跨会话的状态仍需自己存储和管理。长上下文与检索是互补关系,不是互相替代。成本与延迟通常随输入增长,交互式场景要为每一轮输入做预算。更换模型意味着分词器和窗口都可能变化,计数逻辑与阈值需要重新校准。摘要压缩会丢失信息,关键的格式约束、字段名和安全规则应显式保留原文。把这些边界写进设计文档,比单纯追求更大的窗口更可靠。