快速解答： Prompt Caching（提示词缓存）通过跨 HTTP 请求复用服务端 GPU 的 KV 缓存张量，可将大模型 API 输入成本降低 50% 至 90%，并将首字延迟（TTFT）缩减高达 85%。Anthropic 提供 90% 缓存读取折扣（需显式标记，门槛 1024 Token）。OpenAI 提供零写入附加费的自动 50% 折扣。DeepSeek 凭借 64 Token 超低门槛与 NVMe 级持久化，实现高达 80%–90% 的综合成本削减。
1. 行业背景：无状态 API 架构下的“状态经济学”
现代大语言模型（LLM）API 在架构设计上普遍遵循完全无状态（Stateless）准则：发送至 /v1/chat/completions 或 /v1/messages 的每一个 HTTP POST 请求，都必须完整包含全部历史对话上下文、系统指令、结构化工具定义以及检索出的参考文档。无状态设计虽然极大简化了 GPU 集群的横向伸缩与负载均衡，但在多轮智能体（Agentic Loops）与长文本检索工作流中，却带来了灾难性的算力浪费与账单膨胀。
在诸如 Claude Code、Roo Code、Aider、Devin 或企业级 RAG 问答系统中，智能体每前进一步都需要重复提交高度一致的系统级提示词、OpenAPI 架构定义、MCP 工具契约以及工程代码库索引。在一次典型的 15 轮自主代码修复任务中，95% 至 98% 的传输 Token 都是已经反复输入过的静态前缀。
在传统计费模式下，云服务商对每一次请求的每一个 Token 都收取全额基础输入费用，迫使推理集群针对完全相同的静态文本执行耗时耗电的自注意力矩阵乘法运算（Prefill 阶段）。Prompt Caching（提示词缓存）技术的普及彻底改变了这一格局。通过将静态前缀在首次计算后生成的 键-值（Key-Value, KV）缓存张量 保留在高速显存（GPU HBM）、主机内存或本地 NVMe SSD 中，推理服务可以直接跳过冗余的 Prefill 计算。
对于实际生产团队而言，合理运用 Prompt Caching 技术通常能够直接将 API 总体支出削减 60% 至 88%，并将首字生成延迟（Time-to-First-Token, TTFT）从数秒级压缩至几百毫秒。
2. 核心架构深度解析：KV 缓存机制与 Prefill 算力瓶颈
为了精确掌握 Prompt Caching 的成本经济学，工程师必须从底层理解 Transformer 架构在现代 AI 加速芯片（如 NVIDIA H100/B200、Google TPU v5e/v6e）上的推理计算过程。
传统无状态推理流水线 (Stateless):
[静态系统提示词 + 工具模式 + 历史上下文 (64,000 Token)]
│
▼
[全量 Prefill 预填充阶段 (O(N²) FLOPs)]
稠密矩阵乘法重新计算所有 Q、K、V 激活值
│
▼
[生成首个输出 Token (TTFT: 2.8 秒)]
[计费: 全额基础输入单价 × 64,000 Token]
启用 Prompt Caching 的现代推理流水线:
[静态前缀 (60,000 Token)] ──► [前缀哈希完全命中!] ──► [直接载入已缓存的 KV 张量]
│ (零冗余矩阵计算)
[动态提问 (4,000 Token)] ──► [仅针对增量执行 Prefill] ───────┤
▼
[生成首个输出 Token (TTFT: 0.35 秒)]
[计费: 缓存读取单价 × 60k + 基础单价 × 4k]自注意力机制（Self-Attention）的算力瓶颈
标准多头自注意力机制中，输入 Token 向量被投影为 Query ($Q$)、Key ($K$) 和 Value ($V$) 矩阵：
$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$
在 预填充（Prefill）阶段，GPU 并行处理输入提示词中的所有 Token。由于自注意力矩阵计算的是所有 Token 之间的两两交叉关联，其浮点运算次数（FLOPs）随着提示词长度呈二次方（Quadratic）扩张：
$$\text{FLOPs}_{\text{prefill}} \approx 2 \cdot P \cdot N^2 + 4 \cdot N \cdot d_{\text{model}} \cdot d_{\text{ffn}}$$
其中 $N$ 为上下文序列长度，$P$ 为模型参数量。以 70B 参数模型处理 64,000 Token 提示词为例，仅完成 Prefill 阶段就需要消耗大约 $5.8 \times 10^{14}$ 次浮点运算，才能产出第一个 Token。
在 解码生成（Decode）阶段，Token 逐个自回归吐出。为了避免重复计算历史序列，模型引擎会将前序各层生成的 Key 与 Value 激活状态存储在显存中——这便是 KV 缓存（KV Cache）。每 1 个 Token 在 $L$ 层、具有 $H_{kv}$ 个键值头且维度为 $D$ 的模型中所占用的内存为：
$$\text{Memory}_{\text{KV}} = 2 \times 2 \times L \times H_{kv} \times D \quad \text{(字节，FP16 / BF16 精度)}$$
在采用 GQA（分组查询注意力）或 MLA（多头潜在注意力）的主流大模型中，10 万 Token 的上下文在单个并发会话中便会吞噬 1.2 GB 至 4.8 GB 显存。
Prompt Caching 的本质突破在于：它打破了请求边界，将单次请求内部的临时 KV 缓存升级为跨请求共享的持久化缓存层。当后续请求的前缀哈希与服务器内存中的 KV 块精准匹配时，服务集群直接复用显存，彻底免去庞大的 Prefill 运算。
3. 三大厂商架构横向评测：Anthropic vs OpenAI vs DeepSeek
在实现机制、触发门槛、缓存生命周期（TTL）、写入附加费及读取折扣方面，三大主流厂商采取了截然不同的技术路线：
| 架构维度 | Anthropic Claude | OpenAI (GPT-4o / o1 / o3) | DeepSeek (V3 / V4 / R1) |
|---|---|---|---|
| 触发机制 | 显式声明断点 (cache_control) |
全自动最长公共前缀匹配 | 全自动最长公共前缀匹配 |
| 最小激活门槛 | 1,024 Token (Sonnet/Opus) 2,048 Token (Haiku) |
1,024 Token | 64 Token (原生 KV 块对齐) |
| 块粒度步长 | 用户指定断点 (单请求上限 4 个) | 超过 1024 后按 128 Token 步长对齐 | 精确按 64 Token 硬件块划分 |
| 生命周期 (TTL) | 5 分钟 (默认临时缓存) 1 小时 (扩展保留层) |
5 至 10 分钟 (基于 LRU 算法动态滑动) | 数小时至持久化 (多级 NVMe 架构) |
| TTL 刷新机制 | 每次命中自动顺延 5m 或 1h | 持续访问自动维持活跃状态 | 二级固态存储持久不掉线 |
| 写入额外加价 | +25% (5m TTL 为 1.25x 基价) +100% (1h TTL 为 2.0x 基价) |
$0.00 (按 1.0x 基础输入价计费) | $0.00 (按 1.0x 基础输入价，零附加费) |
| 读取折扣幅度 | 立减 90% (0.10x 基础输入价) | 立减 50% (0.50x 基础输入价) | 立减 75% 至 90% (0.10x–0.25x 基价) |
| 存储租赁费用 | 包含在初始写入加价中 | 完全免费 | 完全免费 (NVMe 卸载托管) |
| 首字延迟 (TTFT) | 最高提速 85% | 最高提速 50% | 最高提速 80% |
各厂商技术实现细节剖析
#### 1. Anthropic Claude：显式控制与极限性价比
Anthropic 要求开发者在请求体中显式注入 "cache_control": {"type": "ephemeral"} 标记。
- 断点控制：单个请求支持最多设置 4 个缓存断点，便于对系统提示词、工具定义、参考文档分级缓存。
- 起征点：Sonnet 与 Opus 必须达到 1,024 Token，Haiku 必须达到 2,048 Token，低于门槛则静默回退为全额普通输入。
- 费用模型：首次写入需支付 25% 的溢价（例如 Sonnet 写入价为 $3.75/1M），但在随后的 5 分钟窗口内，每次命中仅需支付 $0.30/1M（享 90% 巨幅折扣）。1 小时 TTL 写入单价为 2.0x（$6.00/1M），适合低频多轮任务。
#### 2. OpenAI：零改造自动前缀匹配 OpenAI 在 GPT-4o、GPT-4o mini、o1 及 o3-mini 系列模型中推行完全透明的自动化缓存。
- 无感集成：无需在请求中增加任何专有字段。只要请求前缀中存在与先前请求严格一致且大于 1,024 Token 的公共子序列，底层引擎自动激活缓存。
- 步长机制：超过 1,024 Token 后，以每 128 Token 为单位进行块匹配。
- 费用模型：OpenAI 不收取任何写入溢价，首次请求按标称输入价（如 GPT-4o 为 $2.50/1M）扣费，后续缓存命中一律享受 50% 折扣（$1.25/1M）。
#### 3. DeepSeek：极低门槛与架构级极致降本 深度求索（DeepSeek）在其 V3、V4 及 R1 系列架构中，开创性地将 Multi-Head Latent Attention（MLA 潜在注意力压缩）与多层级软硬件存储架构相结合。
- 64 Token 极致门槛：相较于美系厂商动辄 1024 Token 的高门槛，DeepSeek 仅需 64 Token 即可触发命中，小微型提示词也能享受收益。
- 令人发指的低价底线：无写入额外费用，缓存读取单价低至惊人的 $0.014 至 $0.028 / 1M Token，将长上下文吞吐成本推向了纯电费时代。
- 持久化分级卸载：当 GPU 显存负载较高时，引擎自动将冷门 KV 块转储至 PCIe Gen5 NVMe 固态硬盘，数小时后再次调用仍能以亚秒级速度重新加载并触发折扣。
4. 全行业主流大模型 Prompt Caching 定价全景对照表
以下为 2026 年主流模型在 Prompt Caching 场景下的官方标称资费标准（单位：美元 / 100 万 Token）：
| 模型全称 | 基础输入 ($/1M) | 缓存写入 ($/1M) | 缓存读取 ($/1M) | 读取折扣幅度 | 输出生成 ($/1M) | 最低缓存门槛 |
|---|---|---|---|---|---|---|
| Claude 3.5 / 3.7 Haiku | $0.80 | $1.00 (5m) / $1.60 (1h) | $0.08 | 90.0% | $4.00 | 2,048 Token |
| Claude 3.7 Sonnet | $3.00 | $3.75 (5m) / $6.00 (1h) | $0.30 | 90.0% | $15.00 | 1,024 Token |
| Claude 3 Opus / Opus 4.6 | $15.00 | $18.75 (5m) / $30.00 (1h) | $1.50 | 90.0% | $75.00 | 1,024 Token |
| OpenAI GPT-4o mini | $0.15 | $0.15 | $0.075 | 50.0% | $0.60 | 1,024 Token |
| OpenAI GPT-4o | $2.50 | $2.50 | $1.25 | 50.0% | $10.00 | 1,024 Token |
| OpenAI o1 (推理模型) | $15.00 | $15.00 | $7.50 | 50.0% | $60.00 | 1,024 Token |
| OpenAI o3-mini | $1.10 | $1.10 | $0.55 | 50.0% | $4.40 | 1,024 Token |
| DeepSeek V3 / V4 (闲时) | $0.14 | $0.14 | $0.014 | 90.0% | $0.28 | 64 Token |
| DeepSeek V3 / V4 (忙时) | $0.27 | $0.27 | $0.027 | 90.0% | $1.10 | 64 Token |
| DeepSeek R1 (深度思考) | $0.55 | $0.55 | $0.14 | 74.5% | $2.19 | 64 Token |
| Google Gemini 2.5 Flash | $0.15 | $0.15 | $0.0375 | 75.0% | $0.60 | 32,768 Token |
| Google Gemini 2.5 Pro | $1.25 | $1.25 | $0.3125 | 75.0% | $5.00 | 32,768 Token |
5. 成本核算数学模型与 90% 降本极限证明
为了在企业级应用中建立精确的财务预测模型，我们推导了多轮对话的成本方程与收益平衡点。
会话总成本统合方程
设：
- $T_{\text{static}}$：不可变前缀 Token 数量（系统提示词、Schema、代码仓库结构）
- $T_{\text{dynamic}, i}$：第 $i$ 轮新增的动态 Token（用户提问、思维链中间状态）
- $T_{\text{out}, i}$：第 $i$ 轮生成的输出 Token 数量
- $R_{\text{base}}$：每 Token 基础输入单价
- $R_{\text{write}}$：每 Token 缓存写入单价
- $R_{\text{read}}$：每 Token 缓存读取单价
- $N$：单次长会话的总交互轮次
#### 1. 未启用缓存的基准成本 在传统无状态模式下，所有累积 Token 在每一轮都按全额基础单价重复扣费：
$$\text{Cost}_{\text{uncached}} = \sum_{i=1}^{N} \left( \left( T_{\text{static}} + \sum_{k=1}^{i} T_{\text{dynamic}, k} \right) R_{\text{base}} + T_{\text{out}, i} R_{\text{out}} \right)$$
若设动态 Token 均值为 $\bar{T}_{\text{dyn}}$，简化为：
$$\text{Cost}_{\text{uncached}} = N \cdot T_{\text{static}} R_{\text{base}} + \frac{N(N+1)}{2} \bar{T}_{\text{dyn}} R_{\text{base}} + N \cdot \bar{T}_{\text{out}} R_{\text{out}}$$
#### 2. 启用 Prompt Caching 后的实际成本 静态前缀 $T_{\text{static}}$ 在第 1 轮完成写入，后续 $N - 1$ 轮全部享受读取折扣：
$$\text{Cost}_{\text{cached}} = \left( T_{\text{static}} R_{\text{write}} + (N - 1) T_{\text{static}} R_{\text{read}} \right) + \sum_{i=1}^{N} \left( \left(\sum_{k=1}^{i} T_{\text{dynamic}, k}\right) R_{\text{base}} + T_{\text{out}, i} R_{\text{out}} \right)$$
盈亏平衡轮次证明 ($N^*$)
对于 OpenAI 和 DeepSeek 等不收写入加价（$R_{\text{write}} = R_{\text{base}}$）的平台，只要发生第 2 轮调用即可直接实现纯利润（$N^* = 2$）。
对于存在 25% 写入溢价的 Anthropic 平台（5 分钟 TTL），我们求解使得缓存成本低于传统成本的最小轮次 $N^*$：
$$T_{\text{static}} R_{\text{write}} + (N - 1) T_{\text{static}} R_{\text{read}} \le N \cdot T_{\text{static}} R_{\text{base}}$$
由于 $R_{\text{write}} = 1.25 R_{\text{base}}$ 且 $R_{\text{read}} = 0.10 R_{\text{base}}$，两边同除以 $T_{\text{static}} R_{\text{base}}$：
$$1.25 + 0.10(N - 1) \le N \implies 1.15 \le 0.90N \implies N \ge \frac{1.15}{0.90} \approx 1.278$$
定理 1：在 Anthropic 的 5 分钟 TTL 体系下，只要会话达到第 2 轮，缓存方案即可绝对盈利。
针对 Anthropic 1 小时扩展 TTL 模式（$R_{\text{write}} = 2.0 R_{\text{base}}$）：
$$2.0 + 0.10(N - 1) \le N \implies 1.90 \le 0.90N \implies N \ge 2.11$$
定理 2：在 Anthropic 的 1 小时扩展 TTL 体系下，在第 3 轮交互时即实现净财务收益。
90% 成本削减极限渐近证明
在前缀 Token 占据主导地位的长上下文应用中，成本节约比率 $S(N)$ 随着交互轮次 $N \to \infty$ 的极限行为为：
$$\lim_{N \to \infty} S(N) = 1 - \lim_{N \to \infty} \left( \frac{R_{\text{write}} - R_{\text{read}}}{N \cdot R_{\text{base}}} + \frac{R_{\text{read}}}{R_{\text{base}}} \right) = 1 - \frac{R_{\text{read}}}{R_{\text{base}}}$$
- 在 Anthropic 与 DeepSeek 平台（$R_{\text{read}} / R_{\text{base}} = 0.10$）：理论极限节省率为 $1 - 0.10 = 90.0\%$。
- 在 OpenAI 平台（$R_{\text{read}} / R_{\text{base}} = 0.50$）：理论极限节省率为 $1 - 0.50 = 50.0\%$。
6. 代码实现与各平台调用范例
Anthropic Claude：显式注入断点 (Python)
import os
import anthropic
client = anthropic.Anthropic(api_key=os.environ["ANTHROPIC_API_KEY"])
# 超出 1,024 Token 的大型系统提示词（编码规范与数据库定义）
SYSTEM_INSTRUCTIONS = "你是一位资深架构师... " + ("规范内容\n" * 400)
response = client.messages.create(
model="claude-3-7-sonnet-20250219",
max_tokens=2048,
system=[
{
"type": "text",
"text": SYSTEM_INSTRUCTIONS,
# 关键：显式设置临时缓存断点
"cache_control": {"type": "ephemeral"}
}
],
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "数据表 Schema 定义:\n" + ("interface User { id: string; }\n" * 200),
# 设置第二个断点以缓存参考文件
"cache_control": {"type": "ephemeral"}
},
{
"type": "text",
"text": "请编写按创建时间分页查询活跃用户的 Service 层实现。"
}
]
}
]
)
# 打印用量指标
usage = response.usage
print(f"基础输入 Token: {usage.input_tokens}")
print(f"创建写入缓存 Token: {getattr(usage, 'cache_creation_input_tokens', 0)}")
print(f"成功读取缓存 Token: {getattr(usage, 'cache_read_input_tokens', 0)}")
print(f"生成输出 Token: {usage.output_tokens}")OpenAI：静态前缀对其模式 (TypeScript / Node.js)
import OpenAI from "openai";
const openai = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });
// 保持前缀内容与结构严格固定 (>= 1,024 Token)
const STATIC_SYSTEM_PROMPT = "你是一名企业智能客服。请严格遵循下列服务规则：\n" + "服务守则...\n".repeat(400);
async function callChat(userQuery: string) {
const completion = await openai.chat.completions.create({
model: "gpt-4o",
messages: [
// 1. 静态前缀排在数组首位，第二轮调用自动激活缓存命中
{ role: "system", content: STATIC_SYSTEM_PROMPT },
// 2. 动态内容严格放置在末尾
{ role: "user", content: userQuery },
],
});
const usage = completion.usage;
console.log(`总计输入 Token: ${usage?.prompt_tokens}`);
// 读取 OpenAI 官方缓存命中统计
// @ts-ignore
console.log(`命中缓存 Token: ${usage?.prompt_tokens_details?.cached_tokens ?? 0}`);
}DeepSeek：直接基于 OpenAI SDK 无缝调用
from openai import OpenAI
deepseek = OpenAI(
api_key="your-deepseek-api-key",
base_url="https://api.deepseek.com"
)
# DeepSeek 会对前缀超过 64 Token 的所有请求自动执行 NVMe 上下文缓存
response = deepseek.chat.completions.create(
model="deepseek-chat",
messages=[
{"role": "system", "content": "你是一位量化风控专家。\n" + ("指标定义...\n" * 300)},
{"role": "user", "content": "分析持仓组合的尾部在险价值 (VaR)。"}
]
)
usage = response.usage
print("DeepSeek 命中 Token:", getattr(usage, "prompt_cache_hit_tokens", 0))
print("DeepSeek 未中 Token:", getattr(usage, "prompt_cache_miss_tokens", 0))7. 工业级生产实测案例：月度真金白银省了多少？
LLMPodium 跟踪分析了三家典型企业在 30 天连续运营中的账单数据对比：
案例 1：终端智能编程团队 (Claude Code，25 万行代码单体仓库)
- 规模：20 名全职工程师，日均运行 12 次重构任务，平均单任务 25 轮交互。
- 单轮上下文：75,000 Token（AST 符号索引 + MCP 工具定义 + 核心源码）。
- 未启用缓存月开销：$3.00/1M $\times 75\text{k} \times 25 \text{ 轮} \times 12 \times 20 \times 22 \text{ 天} = \mathbf{\$29,700 / 月}$。
- 配置 Anthropic 缓存后：
- 任务首轮写入：$0.281
- 后续 24 轮命中读取：$\$0.0225 \times 24 = \$0.540$
- 单任务输入均摊仅 $0.821（降幅达 85.4%）。
- 实际月度账单降至 $\mathbf{\$4,334 / 月}$，净节省超过 25,000 美元。
案例 2：长文档金融研报分析系统 (OpenAI GPT-4o)
- 规模：月均处理 50,000 次研报问答，基础法规库为 45,000 Token 固化手册。
- 未启用缓存月开销：$2.50/1M $\times 45\text{k} \times 50,000 = \mathbf{\$5,625 / 月}$。
- 启用 OpenAI 自动缓存后：
- 综合缓存命中率达 94.2%。
- 实际开销降为 $\mathbf{\$2,975.63 / 月}$，直接砍掉 47.1% 的 API 账单。
案例 3：百万级电商智能客服 (DeepSeek V3 / V4)
- 规模：月处理 200 万次用户会话，公共商品手册及问答知识库 12,000 Token。
- 未启用缓存月开销：$0.14/1M $\times 12\text{k} \times 2,000,000 = \mathbf{\$3,360 / 月}$。
- DeepSeek 持久化缓存实测：
- 命中率稳定在 98.6%。
- 实际月度总输入支出仅为 $\mathbf{\$378.34 / 月}$（净省 88.7%）。
8. 摧毁缓存命中的五大常见反模式 (Anti-Patterns)
- 在系统提示词中拼接动态时间戳：在系统前缀中动态写入
当前时间: 2026-09-02 14:32:01会导致前缀哈希每秒变更，命中率直接归零。正确做法是将动态时间放入末尾的 User Message 中。 - 工具列表（Tools）序列化乱序：使用无序字典构造 JSON Schema 时，键值对顺序随机打乱（如
[search, bash]与[bash, search]），会导致哈希错位。必须强制按名称对工具数组进行显式排序。 - 前缀中间插入动态会话变量：缓存遵循严格的最长公共前缀机制。如果在 50k 的技术文档前插入了一个会话 ID，后续全部文档的缓存全部失效。必须坚持“静态在前、动态在后”的物理排列。
- 忽视 5 分钟 TTL 超时：多轮人机交互中，用户思考经常超过 5 分钟。对于间隔较长的会话，需在 Anthropic 启用 1 小时扩展 TTL，或建立定时轻量 Ping 保活机制。
- 未达最低触发门槛：试图对 800 Token 的小段落配置缓存不会报错，但底层会直接以普通全价输入扣费。务必在监控端检查
cache_read_input_tokens字段进行验证。
9. 选型决策树与 LLMPodium 最终评语
[工作流负载分析]
│
┌───────────────────────┴───────────────────────┐
▼ ▼
[前缀 < 1,024 Token] [前缀 >= 1,024 Token]
│ │
▼ ▼
是否达到 64 Token? 调用请求之间的空闲间隔?
│ │
┌───────┴───────┐ ┌───────────────┴───────────────┐
▼ ▼ ▼ ▼
[是] [否] [间隔 < 5 分钟] [间隔 > 10 分钟]
DeepSeek V3/V4 普通全额输入 │ │
(NVMe 缓存命中) (不触发缓存) ┌───────┴───────┐ ┌───────┴───────┐
▼ ▼ ▼ ▼
Claude 3.7 Sonnet OpenAI GPT-4o Anthropic 1h DeepSeek V3/V4
(享受 90% 折扣) (无写入加价) (长效扩展 TTL) (跨时持久存储)LLMPodium 评测结论
- 终端自主编程首选：Anthropic Claude 3.7 Sonnet 配合显式断点管理，在多轮工程任务中带来了无可比拟的 90% 输入折扣，是将 Agentic 编程推向商业落地的生命线。
- 免运维存量迁移首选：OpenAI GPT-4o 凭借零写入费与全自动匹配，让现有业务线无需重构代码即可稳获 50% 降本。
- 海量高吞吐极端省钱首选：DeepSeek V3/V4 展现了底层工程的统治力。64 Token 极低门槛、免费持久化存储与 $0.014/1M 的读取单价，为超大规模 AI 应用提供了无法拒绝的经济确定性。