症状分析
Anthropic 返回错误,因为输入 token 加请求的 max_tokens 超过模型上下文窗口,需要截断或更大模型。 该错误在生产环境中出现,但可能不会在本地开发中复现,因为触发条件依赖于部署环境或运行时配置。理解完整的症状集合有助于将此问题与类似错误区分开来。
诊断实践
按照前置事项中的诊断步骤定位原因。每个步骤包含命令和输出解读。目标是缩小问题范围:配置、运行时还是应用代码。在最小化环境中复现错误后再应用修复。
根因
The total of input tokens and max_tokens exceeds the model maximum context window, so the API rejects the request before processing.
修复
Truncate or summarize older messages, reduce max_tokens, use a model with a larger context window, or implement sliding window conversation management. 应用修复后,监控系统以确认错误在负载下或不同环境中不再复现。
验证
Retry the request with a shorter input or smaller max_tokens; confirm the model responds successfully. 如果验证通过,修复即确认;如果未通过,重新检查诊断步骤中是否遗漏了促成因素。
诊断命令
运行以下命令复现和诊断问题:
echo $PROMPT | anthropic token-count --model claude-3-5-sonnet
grep -n "max_tokens" src/llm.ts