> ## Documentation Index
> Fetch the complete documentation index at: https://docs.lithosai.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 速率限制

每个组织在每个模型上有三项每分钟配额：请求数、输入 token 数和输出 token 数。输入和输出分开计算，所以很长的提示词和很长的生成内容消耗的是不同的配额。

同一组织下的所有 key 共用一套速率限制和同一个余额。多建 key 只是方便区分用量来自哪里，不会增加配额或余额。

每项配额是持续回填的，不会在固定时间点重置；它的容量和每分钟回填速率也是分开设置的。所以剩余值并不等于上限减去这一分钟已用的量。把它当作余额来看，而不是倒计时。

任何一项耗尽都会返回 429，错误码为 `rate_limit_exceeded`，`error.type` 会指出是哪一项配额拒绝了请求：`requests`、`input_tokens` 或 `output_tokens`。

## 响应头

| 响应头 | 含义 |
| - | - |
| `x-ratelimit-limit-requests` | 请求数配额的上限。 |
| `x-ratelimit-remaining-requests` | 当前剩余的请求数。 |
| `x-ratelimit-reset-requests` | 请求数配额恢复到上限还需要的时间。 |
| `x-ratelimit-limit-tokens` | 输入、输出两项 token 配额中，更接近用完的那一项的上限。 |
| `x-ratelimit-remaining-tokens` | 该项配额剩余的 token 数。 |
| `x-ratelimit-reset-tokens` | 该项配额恢复到上限还需要的时间。 |
| `retry-after` | 建议等待的秒数。只在等待后重试有意义的错误响应中返回。 |
| `retry-after-ms` | 建议等待的毫秒数，比 `retry-after` 更精确。 |
| `x-should-retry` | 值为 `false` 时表示无论等待多久，重试都不会成功。 |

只要请求经过了配额检查，响应里就会带上这些速率限制响应头，也就是所有被放行的请求，以及所有因速率限制被拒绝的请求。

遇到 429 或 5xx 错误时，请使用指数退避（加随机抖动）重试。等待时间优先采用响应头给出的值：先看 `retry-after-ms`，再看 `retry-after`。400、401、402、404 错误不要重试，响应头 `x-should-retry` 为 `false` 时也不要重试。这类错误需要先修改请求或处理账户问题，直接重试只会得到相同的结果。

当前的限制值可以在 [速率限制](https://console.lithosai.cloud/limits?lang=zh) 页面查看。如需提高，请联系我们。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.