在收到来自开放人工智能公司和 anthropic 公司的几份意外账单后，我花了一个周末的时间来弄清楚当你调用大型语言模型应用程序接口时，钱到底花在了哪里。以下是对我的账单影响最大的五个杠杆，大致按影响程度排序。
1. 缓存你的静态前缀
每一轮聊天都会重新发送相同的系统提示词。所有三大主要提供商都允许你缓存该前缀，并对重复读取的内容按输入费率的约 10% 计费。在一个拥有 2,000 个令牌系统消息的聊天机器人中，仅这一项就将我的输入成本降低了约 80%。
2. 输出成本约为输入的 5 倍——设置上限
在所有前沿模型上，输出令牌的成本大约是输入令牌的五倍。生成是自回归的；输入是并行处理的。积极设置 max_tokens（最大令牌数）并提示模型给出简洁的回答是最简单的取胜之道。
3. 根据难度进行路由
不要将“提取此电子邮件”这样的任务发送给旗舰模型。采用双层设置——用廉价模型（Haiku / Flash-Lite / Nano）处理简单的 80% 任务，用旗舰模型处理困难的 20% 任务——与将所有任务都通过大型模型运行相比，为我节省了 60–85% 的费用。
4. 批量处理可以等待的任务
夜间摘要、评估运行、数据丰富——任何可以容忍 24 小时延迟的任务——都可以通过所有主要供应商的批量应用程序接口获得固定的 50% 折扣。
5. 关注分词器
非英语文本（西里尔字母、中日韩文字）的分词效率比英语低 2–4 倍，因此成本高 2–4 倍。如果你服务于多语言受众，这是一个真正的成本倍增因素，而且某些模型（Gemini、DeepSeek）对此的处理效果优于 GPT-4 系列。
在发布前进行估算
最有帮助的事情是在编写代码之前估算成本。我一直在使用一个免费的计算器，它接受提示词和模型，并显示单次调用和大规模应用时的成本，输入和输出分别定价：gpt-cost.com。它还有每个模型的页面（例如 Claude Opus 4.8）以及一篇关于按工作负载划分的最便宜大型语言模型的深入文章，上述很多内容都受其启发。
我还遗漏了哪些杠杆？好奇其他人在 scale.ai、大型语言模型、网页开发、成本方面有哪些有效的做法
免责声明：本文内容来自互联网，该文观点不代表本站观点。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，请到页面底部单击反馈，一经查实，本站将立刻删除。
