什么是 Token?
在自然语言处理(NLP)中,Token 是大模型处理文本的基本单位。它不一定是单词或字符。例如,英文单词 "apple" 可能是一个 Token,而复杂的词汇 "tokenization" 可能会被切分为多个 Token。对于中文,一个汉字通常对应 0.6 到 1.5 个 Token。
为什么 Token 计数很重要?
- 成本控制: API 调用(如 OpenAI, Claude)按 Token 数量计费。
- 上下文限制: 每个模型都有“上下文窗口”限制(如 GPT-4o 是 128K),超过后模型会丢失记忆。
- 响应速度: 越长的输入通常意味着更长的处理时间和推理延迟。
如何减少 Token 消耗?
优化 Prompt 是降低成本最有效的方式:
- 精简指令: 删掉无意义的客套话。
- 结构化输入: 使用 Markdown 或 JSON 格式,模型处理效率更高。
- Few-shot 优化: 示例要典型且精炼。
- 选择合适的模型: 对于简单任务,使用 GPT-4o mini 或 DeepSeek V3 可以节省 90% 以上的费用。
2025 主流模型定价参考 (每百万 Token)
| 模型名称 | 输入价格 | 输出价格 | 特点 |
|---|---|---|---|
| GPT-4o | $2.50 | $10.00 | 全能旗舰 |
| GPT-4o mini | $0.15 | $0.60 | 极高性价比 |
| Claude 3.5 Sonnet | $3.00 | $15.00 | 编程与逻辑首选 |
| DeepSeek V3 | $0.27 | $1.10 | 国产之光,极低成本 |