Anthropic对其API进行了一系列重要更新，旨在帮助开发者在使用Claude 3.7 Sonnet时显著提高吞吐量、降低令牌使用量，进而削减成本。此次更新涵盖缓存感知速率限制、简化提示缓存以及令牌高效工具使用等多个关键领域，为开发者带来了更为高效的开发体验。

在提升吞吐量方面，提示缓存功能得到了进一步优化，该功能可以让开发者在API调用之间存储和重用频繁访问的上下文信息。借助该功能，Claude 3.7 Sonnet在处理大型文档、指令或示例时，无需每次请求都重复发送相同信息。据测试，对于长提示，这一优化最多可降低90%的成本和85%的延迟。

Anthropic针对Claude 3.7 Sonnet的提示缓存进行了两项重要改进。其一为缓存感知速率限制，在Anthropic API上，Claude 3.7 Sonnet提示缓存读取的令牌不再计入每分钟输入令牌（ITPM）限制，而每分钟输出令牌（OTPM）速率限制保持不变。开发者可以更有效地优化提示缓存使用，在现有ITPM速率限制下提高吞吐量。这一特性对于依赖大量上下文且对吞吐量要求较高的应用程序更加重要，如需要维护大型知识库的文档分析平台、参考大量代码库的编码助手以及利用详细产品文档的客户支持系统。

其二是简化缓存管理，更新后的提示缓存使用更加便捷。当开发者设置缓存断点时，Claude会自动读取之前缓存的最长前缀，无需手动跟踪和指定使用哪些缓存段，系统会自动识别并使用最相关的缓存内容，这不仅减轻了开发者的工作负担，还节省了更多令牌。该功能在Anthropic API和谷歌云的Vertex AI上均已可用。

在令牌高效工具使用方面，Claude 3.7 Sonnet新增了对自定义工具的支持，开发者可以为其配备自定义工具以执行特定任务，例如从非结构化文本中提取结构化数据或通过API自动化简单任务。现在，Claude 3.7 Sonnet能够以一种高效的令牌使用方式调用工具，最多可减少70%的输出令牌消耗，早期用户平均减少了14%的消耗。若要使用这一功能，开发者只需在使用Claude 3.7 Sonnet的工具使用请求中添加测试版头“token-efficient-tools-2025-02-19”；若使用软件开发工具包（SDK），则需确保使用包含“anthropic.beta.messages”的测试版SDK。目前，该功能已在Anthropic API、亚马逊云服务的Bedrock以及谷歌云的Vertex AI上进行测试。

此外，Anthropic还推出了一款全新的text_editor工具，专为用户与Claude协作处理文档的应用场景设计。借助该工具，Claude能够对源代码、文档或研究报告中的特定文本部分进行有针对性的编辑，在提高编辑准确性的同时，减少了令牌消耗和延迟。开发者只需在API请求中提供该工具并处理工具使用响应，即可轻松将其集成到应用程序中。目前，text_editor工具已在Anthropic API、亚马逊云服务的Bedrock以及谷歌云的Vertex AI上可用。

Anthropic API的这些新功能现已向所有客户开放，开发者只需进行少量代码更改即可立即使用。

参考资料：https://www.anthropic.com/news/token-saving-updates