限流（Rate Limit）
先用一句话说清楚
限流（Rate Limit）是限制单位时间内请求次数、模型调用次数、工具调用次数或成本消耗的机制。
实战知识卡
| 维度 | 要点 |
|---|---|
| 项目里看什么 | 看模型调用、工具调用和用户请求是否有频率、成本和风险限制。 |
| 新手最该记住 | 限流（Rate Limit）不是只防攻击，也控制成本和外部系统压力。 |
| 作品集证据 | 写出每用户、每租户、每工具和每模型供应商的限制思路。 |
| 面试回答公式 | 先说限流对象，再说超限后的提示、排队、降级和日志。 |
| 常见扣分点 | 只在模型供应商报错后才处理。 |
新手通俗解释
AI Agent（人工智能体）系统如果没有限流（Rate Limit），一个异常用户、错误循环或批量任务就可能把模型额度打爆、让接口变慢，甚至触发供应商封禁。
限流（Rate Limit）不是为了不让用户用，而是为了保护系统、成本和外部服务。
为什么岗位会问它
企业项目关心稳定性和成本。面试官问限流（Rate Limit），是在看你是否知道模型调用有费用、工具调用有风险、外部接口有容量。
| 限流对象 | 目的 |
|---|---|
| 用户请求 | 防止滥用 |
| 模型调用 | 控制成本和供应商额度 |
| RAG（检索增强生成） | 防止高频检索拖慢系统 |
| Tool Calling（工具调用） | 防止重复或恶意调用业务工具 |
| 多智能体循环 | 防止无限任务和成本失控 |
它在项目里怎么用
作品集里可以说明这些策略：
| 场景 | 限流策略 |
|---|---|
| 普通问答 | 每个用户每分钟限制请求数 |
| 高成本模型 | 每日额度或按任务类型使用 |
| 工具调用 | 写入工具更严格，只读工具适度限制 |
| 多智能体任务 | 限制最大步骤数和最大 Token（文本计量单位） |
| 失败重试 | 限制重试次数和退避时间 |
和成本控制的关系
限流（Rate Limit）是成本控制的一部分。模型调用、Embedding（嵌入向量）、Reranker（重排序器）和工具调用都会产生成本或资源消耗。没有限流（Rate Limit），成本日志只能事后告诉你已经烧钱。
常见误解
| 误解 | 为什么不对 | 正确理解 |
|---|---|---|
| 限流（Rate Limit）只是接口保护 | AI（人工智能）系统还要保护模型成本 | 要同时控请求和成本 |
| 作品集不用限流 | 面试会追问上线后怎么控制 | 至少要有设计说明 |
| 限流越严格越好 | 可能影响正常用户 | 要按角色和场景分级 |
| 报错后提示用户就行 | 要记录原因和恢复策略 | 限流也要可观测 |
面试官可能怎么追问
1. 大模型应用为什么要限流？
考察点： 是否理解成本和稳定性。
参考回答： 因为模型调用有成本和额度，工具调用可能影响业务系统，多智能体循环可能放大请求。限流（Rate Limit）能防止滥用、异常循环和成本失控，同时保护外部服务。
容易扣分： 只说“防止用户刷接口”。
2. 限流后用户体验怎么办？
考察点： 是否能做取舍。
参考回答： 我会区分普通用户、管理员、后台任务和高优先级任务，给不同额度。触发限流时提供明确提示、排队或稍后重试，并记录 Trace ID（追踪编号）方便排查。
容易扣分： 直接拒绝所有超限请求。
作品集里怎么展示它
- 在架构说明里写模型调用和工具调用限流。
- 展示成本预算和每日额度。
- 展示多智能体最大步骤数。
- 展示触发限流后的用户提示和日志记录。