← 中文资源

简体中文版本

Anthropic 上下文窗口超限错误

Anthropic 返回错误,因为输入 token 加请求的 max_tokens 超过模型上下文窗口,需要截断或更大模型。

阅读英文原文

症状分析

Anthropic 返回错误,因为输入 token 加请求的 max_tokens 超过模型上下文窗口,需要截断或更大模型。 该错误在生产环境中出现,但可能不会在本地开发中复现,因为触发条件依赖于部署环境或运行时配置。理解完整的症状集合有助于将此问题与类似错误区分开来。

诊断实践

按照前置事项中的诊断步骤定位原因。每个步骤包含命令和输出解读。目标是缩小问题范围:配置、运行时还是应用代码。在最小化环境中复现错误后再应用修复。

根因

The total of input tokens and max_tokens exceeds the model maximum context window, so the API rejects the request before processing.

修复

Truncate or summarize older messages, reduce max_tokens, use a model with a larger context window, or implement sliding window conversation management. 应用修复后,监控系统以确认错误在负载下或不同环境中不再复现。

验证

Retry the request with a shorter input or smaller max_tokens; confirm the model responds successfully. 如果验证通过,修复即确认;如果未通过,重新检查诊断步骤中是否遗漏了促成因素。

诊断命令

运行以下命令复现和诊断问题:

echo $PROMPT | anthropic token-count --model claude-3-5-sonnet
grep -n "max_tokens" src/llm.ts