什么是 Token？
在自然语言处理（NLP）中，Token 是大模型处理文本的基本单位。它不一定是单词或字符。例如，英文单词 "apple" 可能是一个 Token，而复杂的词汇 "tokenization" 可能会被切分为多个 Token。对于中文，一个汉字通常对应 0.6 到 1.5 个 Token。
为什么 Token 计数很重要？
- 成本控制： API 调用（如 OpenAI, Claude）按 Token 数量计费。
- 上下文限制： 每个模型都有“上下文窗口”限制（如 GPT-4o 是 128K），超过后模型会丢失记忆。
- 响应速度： 越长的输入通常意味着更长的处理时间和推理延迟。
如何减少 Token 消耗？
优化 Prompt 是降低成本最有效的方式：
- 精简指令： 删掉无意义的客套话。
- 结构化输入： 使用 Markdown 或 JSON 格式，模型处理效率更高。
- Few-shot 优化： 示例要典型且精炼。
- 选择合适的模型： 对于简单任务，使用 GPT-4o mini 或 DeepSeek V3 可以节省 90% 以上的费用。
2025 主流模型定价参考 (每百万 Token)
| 模型名称 | 输入价格 | 输出价格 | 特点 |
|---|---|---|---|
| GPT-4o | $2.50 | $10.00 | 全能旗舰 |
| GPT-4o mini | $0.15 | $0.60 | 极高性价比 |
| Claude 3.5 Sonnet | $3.00 | $15.00 | 编程与逻辑首选 |
| DeepSeek V3 | $0.27 | $1.10 | 国产之光，极低成本 |