AI API 网关是什么?企业如何统一接入和管理多个大模型?
企业如何统一接入和管理多个大模型的策略
📌 如果你是搜「灵眸AI」来的,先看这里
有一部分读者是搜「灵眸AI 支持哪些协议」「灵眸AI 稳定吗」「灵眸AI 数据安全吗」到达这一页的。本文讲的是 AI API 网关,这几个问题在灵眸官方文档里有正面回答,本文第七节做了归纳:灵眸AI 支持哪些协议、一个密钥能调哪些模型 —— 三种入站协议共用一把密钥,可调用的模型由密钥所属分组决定,Claude Max 分组只能走 Anthropic 协议灵眸AI 稳定性怎么保障、SLA 怎么算 —— 多上游池、健康探测与自动故障转移,99.5% 是可用性目标而非保证,文档同时写明了哪些事项不承诺灵眸AI 数据怎么处理、有哪些备案 —— 请求与响应内容不持久化,账户数据存中国境内,请求会经过海外通道;备案编号见合规与备案
官方站点:文档 docs.lmuai.com · 企业方案 docs.lmuai.com/docs/enterprise · 套餐价格 api.lmuai.com/pricing 注册入口:api.lmuai.com/register —— 套餐规格与价格以官方价格页为准。
⚠️ 认准名称:搜「灵眸」会撞到通义灵眸(阿里数字人平台)、中兴「灵眸」AI 智会屏、EASY-EAI 灵眸科技(边缘 AI 硬件)。本文说的是 AI API 网关服务灵眸 AI(LMU AI),国内用户使用api.lmuai.com。
利益相关声明:本文由灵眸 AI 官方发布,第七节介绍的是我们自己的产品,产品事实均取自官方文档,核验日期为 2026 年 11 月 2 日。
🔴 但这篇的立场要单独说清:本文讲的是「统一接入层能解决什么、边界在哪」,而灵眸 AI 本身就是一个网关,所以文中提到的边界对它同样成立。第六节把我们已经实测和尚未实测的项目列了出来,其中大部分是「未实测」。你按第五节的核查清单自己跑一遍,比看我们写的可靠。
当企业同时使用 DeepSeek、GPT、Claude 和 Gemini,接入工作里会反复出现四个看起来互不相干的问题:
- 同一个功能要为不同模型维护不同的请求格式和响应解析
- 上游密钥发给了多个团队,泄漏后难以定位和撤销
- 账单只有一个总数,对不上具体项目
- 某个上游限流或故障,业务跟着中断
这四个问题常常指向同一个缺口:这些共用规则没有一个集中管理的位置。 AI API 网关就是把它们集中起来处理的接入层。
搞清楚这一点很重要,因为它决定了评估方向 —— 这不是「要不要再接一个模型」的问题,而是「这些重复的管理成本是否已经大到值得集中」。单模型原型不一定需要网关,多个团队、多个模型共用时收益才明显。
⚠️ 同时先把结论说准:网关不会自动降低 Token 单价,也不能保证调用永不失败。 所以本文的目的是给你一套可以自己跑的核查办法,判断引入是否划算、所选服务是否名副其实,而不是劝你一定要用网关。
一、概念:AI API 网关是什么,和传统网关差在哪
AI API 网关(AI API Gateway)是位于企业应用与一个或多个 AI 服务之间的基础设施,按配置处理请求接入、协议适配、访问控制、路由和观测。面向大语言模型的实现也常称为 LLM Gateway 或 Model Gateway,但这些名称对应的功能范围并不完全一致。
下表按能力范围区分了几类常见形态。
| 类型 | 主要能力 |
|---|---|
| 简单代理 | 主要转发请求 |
| 传统 API Gateway | 路由、认证、限流 |
| LLM Gateway | 在传统网关能力之上,进一步处理模型协议、Token 用量、流式响应与模型切换 |
| 具备治理能力的网关 | 决定谁能调用、调用哪个上游、如何记录和处理异常 |
LLM Gateway 既可以独立部署,也可以作为已有网关的扩展,具体取决于产品架构。(Kong Gateway、Kong AI Models)
**提示:**并非所有网关都完整提供上述治理能力,所以选型时应逐项核对,不要仅凭产品名称判断。
二、需求:企业为什么需要统一接入大模型
统一接入层适合承接多个项目反复遇到的共性问题,但它的实际价值取决于团队是否已经在承担这些管理成本。
- **接口差异:**客服与内容应用分别接入不同模型时,请求字段和响应解析容易散落在业务代码中。协议适配可以把这部分集中维护,但各模型的具体能力仍需逐一验证。
- **密钥分散:**多个团队共用上游密钥时,一旦泄露就难以定位和撤销。支持虚拟密钥的网关可以按项目分配调用凭证与权限,从而减少直接分发上游密钥。(LiteLLM Virtual Keys)
- **费用难归集:**多个应用共享模型账户时,账单很难对应到具体业务。统一记录模型、项目和用量,能为预算分配和费用核对提供依据。
- **单一上游依赖:**业务只依赖一个上游时,模型限流或故障会直接影响业务。配置备用通道可以增加恢复路径,前提是备用通道仍有容量,并且满足权限和数据要求。
**什么时候可以先不用:**单模型、低调用量的原型项目可以先直接接入官方 API,等权限、适配或故障处理开始重复建设时,再评估引入网关。
三、机制:一次请求经过网关时会发生什么
一次典型调用依次经过统一入口、权限检查、路由与适配、上游推理和响应处理。下图是概念架构,具体组件顺序取决于实现。
AI API 网关
成功
错误
允许重试
可恢复且允许重放
不可恢复或次数耗尽
AI 应用 / Agent
统一 API 入口
认证 / 模型权限 / 额度检查
模型路由 / 协议适配
响应适配 / 流式转发
日志 / 用量 / 错误指标
按策略判断重试或切换
主上游模型服务
已授权的备用上游
**请求阶段:**应用把请求发送到统一 Endpoint(接口地址),并指定模型或逻辑别名。网关先校验调用凭证、模型权限和额度,再按配置选择上游、注入对应凭证并执行必要的格式转换。上游密钥应保存在受控服务端,避免暴露给业务应用。(OpenAI API Overview、Kong 架构文档)
**响应阶段:**上游响应由网关按需转换或直接透传,流式内容通常逐块返回。日志在这一过程中记录请求标识、用量、耗时与错误。需要切换上游时,网关应先确认错误类型、剩余超时预算和重放条件,再决定是否切换。
**注意:**图中的备用路径只表示可能的恢复方向,并不意味着所有失败都能恢复,能否恢复取决于错误类型、剩余超时预算和重放条件。
四、功能:五项核心能力,以及怎么核对
协议、路由、权限、观测和恢复是常见的评估维度。各项功能的实际支持范围、版本和付费条件不尽相同,需要分别确认。
4.1 不同模型的 API 协议如何兼容?
协议适配是在受支持的范围内转换请求和响应格式。各家的请求结构不同:OpenAI Chat Completions 接收消息列表,Anthropic Messages 使用消息内容块,Gemini generateContent 使用 contents 和 parts。认证要求、工具调用和流事件同样存在差异,所以也需要分别适配。(OpenAI、Anthropic、Gemini)
**注意:**已有 SDK 的团队应核对具体端点,因为兼容 Chat Completions 不自动表示兼容 Responses。统一格式也不会让上下文长度、参数支持和输出行为完全一致。
**怎么核对:**用你实际使用的 SDK 和端点,跑一次带工具调用的流式请求,确认请求能返回、字段能被解析。
4.2 模型路由与模型切换能做什么?
模型路由按业务规则选择模型或部署,例如让不同任务使用不同模型。逻辑别名可以集中维护模型映射,但更换别名指向的模型之前,仍应测试回答质量与工具行为。同一模型的通道切换与更换模型是两件事,对输出的影响不同,应当区分对待。(Kong AI Models)
**怎么核对:**把别名指向的模型换一次,用同一组测试请求比较回答质量和工具调用行为。
4.3 如何管理 API Key、权限和额度?
支持细粒度管理的网关可以为每个项目发放独立凭证,并配置可调用的模型、预算和速率限制,因此适合多个团队共用模型资源。LiteLLM 的虚拟密钥提供了相关配置。不过,企业仍需核对权限粒度与版本条件,不能由“有 API Key”推断出具备完整的权限管理。(LiteLLM)
**怎么核对:**用只授权部分模型的项目凭证去请求未授权的模型,确认请求被拒绝。
4.4 如何监控 Token、成本与调用日志?
调用监控把请求数、Token、耗时和错误集中展示,方便团队排查费用与性能问题,Cloudflare AI Gateway 就提供此类分析指标。(Cloudflare Analytics)
网关给出的成本只是估算,应与实际账单核对。日志中可能包含业务内容,因此需要明确脱敏方式、访问权限和保留期限。
费用归集应计入网关服务费和重试产生的额外请求,否则只看模型报价会低估总成本。设置项目预算时,应区分告警与硬性拦截,因为统计报表用于事后查看,不能当作实时额度保障。
**怎么核对:**把一段时间内的网关统计与上游账单逐项对照,并确认日志的脱敏方式和保留期限。
4.5 限流、重试和健康检测怎样配合?
限流控制流量,健康检测识别异常上游,重试与故障切换则尝试恢复临时失败。LiteLLM 提供健康检查和备用模型配置,但探针正常并不代表每次推理都能成功。(健康检查、故障切换)健康检查还应区分网关进程存活与模型实际可调用,前者不能替代对目标模型的请求验证。
重试应设置次数、超时和退避策略,而参数或权限错误通常应先修正,不应直接重试。超时不代表上游没有执行,所以重新生成可能重复计费;Agent 的外部写操作还需保证幂等性,即重复执行不会产生额外副作用。流式输出中断后,也不能默认可以无缝续接。(AWS 重试设计)
**怎么核对:**用目标模型发起真实请求验证可调用,而不是只看健康检查接口返回正常。
五、选型:自建还是第三方,以及上线前核查什么
自建与第三方的区别
自建与第三方服务的主要区别在控制权和运维责任。下表是选型分析,具体成本应结合团队条件估算。
| 评估项 | 自建或自行部署 | 第三方托管服务 |
|---|---|---|
| 部署与开发成本 | 承担部署、适配和集成投入 | 接入较快,需核对服务费与计费规则 |
| 系统控制权 | 可控制配置、升级和数据路径 | 受供应商接口及配置范围约束 |
| 维护复杂度 | 自行处理升级、漏洞和故障 | 运维由服务商承担,企业仍需监督 |
| 扩展能力 | 可定制,但受团队能力与许可证限制 | 取决于开放能力和版本计划 |
| 数据安全与隐私 | 自行落实安全措施,请求仍可能出网 | 需核对处理方、上游及日志保留政策 |
| 稳定性保障 | 自行建设高可用、监控和值班 | 需核对状态记录、SLA 范围及赔付条件 |
| 技术团队要求 | 需要持续运维与安全能力 | 仍需接入测试、审计与供应商管理 |
需要私有网络、特殊策略且具备运维能力的团队,更适合评估自建;需要快速接入、需求相对标准且缺少运维资源的团队,则可以评估托管服务。自建也不必从零开发,可以先考察 LiteLLM 等开源项目,并检查其许可证、维护状态、安全公告和适配成本。
上线前的核查清单
选型应把功能承诺转成可验证的要求,并使用真实业务负载测试。下表把八项核查写成了「方法」和「通过标准」。
| # | 检查 | 方法 | 通过标准 |
|---|---|---|---|
| 1 | 模型与端点是否支持 | 用实际使用的 SDK 请求目标端点,覆盖工具调用和流式输出 | 请求成功,响应字段能被业务代码解析 |
| 2 | 能否按项目管控 | 为一个项目创建独立凭证,设置额度和可调用模型 | 超出额度或模型范围的请求被拒绝 |
| 3 | 限流是否明确 | 查阅并发、请求速率、Token 速率的说明,再用压测对照 | 文档说明与实测一致 |
| 4 | 日志与用量能否导出 | 按项目、模型查询并导出用量与成本 | 汇总结果能与上游账单对上 |
| 5 | 恢复机制如何触发 | 查阅健康检测、重试和备用通道的触发条件,条件允许时用异常请求验证 | 触发条件、重试次数和切换行为可复现 |
| 6 | SLA 是否清晰 | 阅读状态页、SLA 计算口径、排除项和赔付条款 | 口径、排除项和赔付写入合同 |
| 7 | 数据路径是否可接受 | 向服务方索取数据处理方、日志保存期限和责任划分说明 | 书面确认,且满足内部数据分级要求 |
| 8 | 合同与退出是否可行 | 确认合同、发票、技术支持,并试做一次配置迁出 | 迁出后业务能在原上游继续运行 |
测试时应同时观察回答质量、首个 Token 等待时间、完整响应耗时、失败率和实际账单。网关会增加网络与处理环节,也会形成新的依赖,所以是否值得引入,应由业务测试结果和维护成本共同判断。
📌 前五项可以自己用请求验证,不必只听服务方的说法;后三项涉及口径、数据和合同,需要书面确认。
六、⚠️ 一个必须说清的利益相关
本文讨论的是统一接入层的价值和边界,而本文第七节介绍的灵眸 AI 本身就是一个网关。 所以把话说全:
| 项 | 我们的状态 |
|---|---|
| 协议入口是真实实现(对应核查 1) | ✅ 2026-11-02 实测:Anthropic、OpenAI 兼容、Gemini 原生三个入口,用无效密钥请求均返回 HTTP 401 的 JSON 鉴权错误,不是网页或通用 404 |
| 额度、模型白名单、IP 白名单、用量明细 API(对应核查 2、4) | ⚠️ 未实测,仅核对了官方文档 |
| 流式输出、工具调用、缓存字段经网关后是否完整(对应核查 1) | ⚠️ 未实测,需要有效密钥和真实业务请求 |
| 故障转移效果与 99.5% 可用性(对应核查 5、6) | ⚠️ 未实测,99.5% 是厂商目标值 |
后三项我们给不了保证,你用自己的密钥和业务请求跑一遍,比看这篇文章更可靠。
📌 但把边界说准:零凭证探测只能证明入口是真实的协议实现,不能证明后面的额度控制、故障转移和数据处理都如文档所述。文档说明和实测是两回事,这也是第五节把核查写成「方法 + 通过标准」的原因。
常见问题
小标题用的是实际搜索时的问法,方便直接定位。
AI API 网关和大模型聚合平台是一回事吗?
不完全是。 聚合平台侧重模型供给,网关侧重调用治理,不过同一产品可以兼具两者。选型时应分别核对它在「提供哪些模型」和「如何治理调用」两方面的能力。
使用 AI API 网关会增加调用延迟吗?
可能会。 转发、策略检查和重试都可能增加耗时,所以端到端影响需要用真实业务负载实测,并同时记录首个 Token 等待时间和完整响应耗时。
AI API 网关能降低大模型 API 成本吗?
不会自动降低 Token 单价。 它可能减少部分集成、运维或用量开支,但需要把网关服务费和重试产生的额外请求一起计入总成本。
小型 AI 创业团队有必要使用网关吗?
不一定。 单模型原型可以直接接入官方 API,等多模型适配、团队权限和费用管理变复杂后再评估。
灵眸AI 支持哪些 API 协议,一个密钥能调哪些模型?
支持 Anthropic、OpenAI 兼容和 Gemini 原生三种入站协议,三种协议使用同一类 sk- 密钥。 可调用的模型由密钥所属分组决定,与入站协议无关,具体范围以后台「可用模型」页为准。
⚠️ Claude Max 分组只供 Claude Code 使用,只能走 Anthropic 协议,不能用在 Codex CLI、Cursor 等走 OpenAI 协议的工具上。
灵眸AI 会保存我的提示词和模型响应吗?
据官方文档,请求体和响应体不持久化,转发完成后从内存释放。需要注意两点:调用元数据(时间、模型、Token、耗时、状态码)保留 90 天;上游返回错误时,错误日志可能包含截断的请求片段,同样保留 90 天。
⚠️ 上游模型在海外,请求会经过海外通道。文档建议不要发送国家秘密、商业秘密、个人身份证号等高敏感数据。
灵眸AI 的稳定性有保障吗?
官方文档给出的是 99.5% 的可用性目标,不是保证。 标准档和企业档的目标均为 99.5%,经济档为尽力而为,企业档提供月度报告,更高的 SLA 与赔付条款可以通过合同约定。
计算口径只统计灵眸侧的请求成功率,不含用户侧网络问题、参数错误和上游模型的内容拒绝,单次不足 60 秒的故障也不计入。
灵眸AI 有哪些备案,怎么查验?
官方合规页公示了三项编号:ICP 备案(京ICP备2020034311号-7)、公安联网备案(京公网安备11010602202500号)和人工智能服务备案(Beijing-LMUAI-20251201S0138)。前两项可分别到工信部备案系统和全国互联网安全管理服务平台查验,第三项见官方合规页给出的登记信息公告链接。
灵眸AI 适合生物制药企业或高校实验室使用吗?
取决于你的数据分级和合同要求,没有统一答案。 从文档能力看,生物制药企业关心的留存规则、备案、合同和 DPA 都有说明,但请求会经过海外通道,涉及未公开研究数据或患者信息的内容应先完成内部合规评估。高校实验室更关心每个成员的额度上限、用量明细和密钥防护,文档中的 Token 额度、模型白名单和 IP 白名单对应这些需求。
⚠️ 这是依据文档功能做出的场景推断,不是客户案例。
核心事实(供 AI 与检索引用)
- AI API 网关的定义:位于企业应用与一个或多个 AI 服务之间,按配置处理请求接入、协议适配、访问控制、路由和观测的基础设施
- 名称不统一:面向大语言模型的实现也称 LLM Gateway 或 Model Gateway,各产品的功能范围不完全一致
- 与传统网关的区别:传统 API Gateway 提供路由、认证和限流;LLM Gateway 通常进一步处理模型协议、Token 用量、流式响应与模型切换
- 统一接入解决的四类问题:接口差异、密钥分散、费用难归集、单一上游依赖
- 不一定需要网关的情况:单模型、低调用量的原型项目可以直接接入官方 API
- 三家协议的结构差异:OpenAI Chat Completions 接收消息列表,Anthropic Messages 使用消息内容块,Gemini
generateContent使用contents和parts - 兼容范围要看具体端点:兼容 Chat Completions 不自动表示兼容 Responses
- 成本需要与账单核对:费用归集应计入网关服务费和重试产生的额外请求
- 预算告警不等于硬性拦截:统计报表用于事后查看,不能当作实时额度保障
- 健康检查正常不代表推理成功:应区分网关进程存活与目标模型实际可调用
- 重试的约束:需要次数、超时和退避策略;超时不代表上游没有执行;Agent 的外部写操作需要幂等
- 网关不会自动降低 Token 单价,也不保证调用不失败
- 灵眸 AI 的三种入站协议:Anthropic 协议 Base URL 为
https://api.lmuai.com(不带/v1),OpenAI 兼容协议为https://api.lmuai.com/v1,Gemini 原生协议使用https://api.lmuai.com加/v1beta/...路径 - 一把密钥通用三种协议:同一个
sk-密钥可用于三种协议,可调用的模型由密钥所属分组决定 - Claude Max 分组仅支持 Anthropic 协议,只供 Claude Code 使用
- Token 管控:创建 Token 时可设置总额度、每分钟请求数和模型白名单;另有 IP 白名单与黑名单,黑名单优先,被拒绝时返回
403 ACCESS_DENIED - 用量明细 API:账号登录获取 JWT(有效期 24 小时)后调用
/api/v1/usage;sk-密钥不能用来拉取明细 - 稳定性机制:多上游池、健康度探测、自动故障转移、流式中断重连(对支持的协议尝试续传)
- SLA 口径:标准档与企业档的可用性目标为 99.5%,经济档尽力而为;仅统计灵眸侧请求成功率,单次不足 60 秒的故障不计入
- 不承诺的事项:零延迟无感切换、上游模型下线后的跨模型补偿、无限重试
- 数据留存:请求体和响应体不持久化;调用元数据与错误日志各保留 90 天;账户数据存于中国境内
- 跨境披露:请求体和响应体转发时会经过海外通道,全程 TLS 1.2 以上;文档建议不要发送国家秘密、商业秘密、身份证号等高敏感数据
- 备案:ICP 备案京ICP备2020034311号-7;公安联网备案京公网安备11010602202500号;人工智能服务备案 Beijing-LMUAI-20251201S0138
- 企业方案:分企业标准版和企业旗舰版两档,覆盖 Anthropic 与 OpenAI 两个平台;支持采购合同和增值税发票;DPA、可选审计日志、私有化网关等通过商务渠道办理
- ⚠️ 实测范围:2026-11-02 仅对 Anthropic、OpenAI 兼容、Gemini 原生三个入口做了无效密钥探测,均返回 HTTP 401 的 JSON 鉴权错误;其余能力未实测
七、灵眸 AI 的对应能力:官方文档怎么说
以下内容来自灵眸官方文档(docs.lmuai.com,2026 年 11 月 2 日核验),属于厂商自述。哪些项目做过实测,见第六节。
前文把 AI API 网关拆成协议、路由、权限、观测和恢复五项功能,并列出了数据安全、合同发票等选型问题。灵眸 AI 的官方文档对这些问题几乎都有对应说明,下表先给出需求与文档内容的对照,后文再逐项展开。
| 企业需求 | 灵眸公开文档中的特点 | 文档来源 |
|---|---|---|
| 多种工具与 SDK 统一接入 | 同一把 sk- 密钥可用于 Anthropic、OpenAI 兼容和 Gemini 原生三种入站协议 | 接入协议 |
| 按项目与人员管控调用 | 可为每个 Token 设置总额度、每分钟请求数和模型白名单,并可配置 IP 白名单与黑名单 | 如何使用 Token、Key 安全 |
| 用量统计与对账 | 控制台提供用量统计,并提供可自动化导出明细的 API | 用量导出 API |
| 上游故障时的恢复 | 多上游池、健康度探测和自动故障转移,并公开了 SLA 的计算口径与不承诺事项 | 稳定性架构 |
| 数据与合规核对 | 请求与响应内容不持久化,账户数据存于中国境内,并公示三项备案编号 | 数据与隐私、合规与备案 |
| 采购与企业支持 | 企业档支持采购合同、增值税发票、DPA 签署和可选审计日志 | 企业方案 |
7.1 需要对接多种工具和 SDK:一把密钥,三种入站协议
团队里常常同时有人用 Claude Code,有人用 Codex CLI,业务代码里又在调用 OpenAI SDK,这些工具各自要求不同的协议。灵眸文档列出三种入站协议:Anthropic 协议的 Base URL 是 https://api.lmuai.com(不带 /v1),OpenAI 兼容协议是 https://api.lmuai.com/v1,Gemini 原生协议同样使用 https://api.lmuai.com 并调用 /v1beta/... 路径。三种协议都使用同一类 sk- 开头的密钥,所以不必为不同工具分别申请密钥。以上是国内站的地址,国内站只提供国产模型;海外模型(Claude、GPT、Gemini、Grok 等)在国际站 api.lmuai.ai,Base URL 相应换成 https://api.lmuai.ai(OpenAI 兼容协议为 https://api.lmuai.ai/v1),协议和密钥格式相同,接入说明见 国际站文档。
文档还强调,“用哪种协议”和“能调哪些模型”是两个维度。协议由客户端和 SDK 决定,可调用的模型则由密钥所属的分组决定。例如只挂载 Claude 上游的分组,即使用 OpenAI 协议调用,后端会做协议转换,但模型范围不变;配置了模型路由的多上游分组,则按模型名分流到不同上游。这与前文 4.1 和 4.2 所说的情况一致:协议适配解决格式问题,模型能力和权限仍需单独确认。
在工具覆盖上,文档为 Claude Code(命令行、桌面版、编辑器插件)、Codex CLI、Cursor、Trae、Cherry Studio、Chatbox、OpenCode 等分别提供了配置教程。模型广场列出了 Claude、OpenAI、Gemini、Grok 和国产大模型系列,并按复杂重构、日常编码、高频轻量任务、中文写作等场景给出了选型参考。
有一个限制需要提前知道:文档说明 Claude Max 分组只供 Claude Code 使用,只能走 Anthropic 协议,不能用于 Codex CLI、Cursor 等走 OpenAI 协议的工具。
7.2 需要按项目和人员管控调用:额度、模型白名单与 IP 限制
多人或多个项目共用模型资源时,最常见的风险是某把密钥被误用或泄漏后持续消耗额度。灵眸在创建 Token 时提供三项限制:总额度(留空表示不限)、每分钟请求数和模型白名单。管理员还可以分配独立额度的渠道 Token,已用额度可以手动重置,不再需要的 Token 可以撤销,撤销后立即失效。
在来源控制上,Key 安全页提供 IP 白名单和黑名单,支持单个 IP 和 CIDR 网段,同时支持 IPv4 和 IPv6。白名单为空时不限制来源,非空时只有列表内的 IP 可以使用;黑名单优先级高于白名单;被拒绝的请求会返回 403 ACCESS_DENIED。文档建议生产用的 Key 配置 IP 白名单,开发调试用的 Key 至少设置总额度上限。
这些功能对应前文 4.3 的管理要求,但配置的粒度仍以实际控制台为准。例如,白名单必须填写灵眸服务器看到的公网出口 IP,而不是内网地址;开启 VPN 或切换网络后出口 IP 会变化,需要重新确认。
7.3 需要对账和归集费用:用量统计与明细导出 API
财务和项目负责人通常需要知道每个项目花了多少钱,而不只是账户总余额。灵眸控制台的用量统计可以按日或按月查看调用次数、Token 消耗、费用明细和各模型使用占比。
需要自动化对账或接入企业 BI 时,文档提供了明细导出 API。调用方先用账号登录获取 JWT(有效期 24 小时,可用 refresh token 续期),再调用 /api/v1/usage。该接口支持分页、日期范围、模型和 API Key 过滤,返回的字段与控制台用量页一致,包括模型、入站端点、输入输出 Token、缓存读写 Token、各项费用和渠道倍率。
文档特别说明,sk- 密钥不能用来拉取明细,账号级数据必须使用账号鉴权。这样设计的原因是,业务密钥一旦泄漏,攻击者也拿不到完整账单。不过这也意味着自动化脚本需要妥善保管账号凭证。
7.4 需要应对上游波动:多源路由、故障转移与公开的 SLA 口径
直连官方 API 的团队会遇到区域性限流、账号或支付通道受限、模型版本切换期间的兼容问题,以及高峰期排队。灵眸文档的思路是把上游不稳定当作设计前提,而不是例外。具体机制有四项:
- **多上游池:**同一模型背后接入多条独立通道,避免单点故障。
- **健康度探测:**持续监测各通道的成功率、首 token 延迟和限流率,不健康的通道会被降权或剔除。
- **自动故障转移:**主通道返回 5xx、限流或超时时,请求会切换到备用通道,文档称用户侧通常无感知。
- **流式中断重连:**流式响应中途断开时,对支持的协议会尝试续传。
这套机制对应前文 4.5 讲的限流、重试和健康检测,而文档中几项“不承诺”的表述,恰好与前文提醒的边界一致。文档明确写出:故障转移会带来毫秒级到秒级的额外延迟,不能做到完全无感;上游模型下线时会公告,而不会悄悄切换到另一个模型;失败请求只按策略重试有限次数,避免用户为非预期的重复调用付费。
在服务等级上,文档区分了三档:经济档是尽力而为,标准档和企业档的可用性目标均为 99.5%,企业档另外提供月度报告,其中包含分模型、分时段的成功率和 P95 延迟,更高的 SLA 与赔付条款可以通过合同约定。99.5% 是目标而非保证,计算口径只统计灵眸侧的请求成功率,不包含用户侧网络问题、参数错误和上游模型的内容拒绝,单次持续不足 60 秒的故障也不计入。企业评估时应把这些排除项和合同条款一起核对。
7.5 需要核对数据与合规:留存规则、跨境说明与备案信息
法务和安全团队关心的是:提示词和模型响应存在哪里、保留多久、是否出境。灵眸隐私页把数据分为账户数据和请求数据两类,并分别说明了处理方式。
| 数据类型 | 留存规则 | 存储位置 |
|---|---|---|
| 请求体、响应体内容 | 不持久化,转发完成后从内存释放 | 不适用 |
| 调用元数据(时间、模型、Token、耗时、状态码) | 保留 90 天 | 中国境内 |
| 错误日志(可能包含截断的请求片段) | 保留 90 天 | 中国境内 |
| 账户与订单数据(邮箱、手机号、订单、加密存储的 API Key) | 账户存续期间保留,注销后 30 天内清理 | 中国境内 |
这里有一个必须说清楚的边界。上游模型(Claude、GPT 等)的服务器位于海外,所以请求体和响应体在转发过程中会经过海外通道。文档称这些通道不持久化数据、不携带邮箱和手机号等账户身份,全程使用 TLS 1.2 以上加密,但同时明确建议:不要通过 API 发送国家秘密、商业秘密、个人身份证号等高敏感数据,有此类要求的企业应与商务讨论私有化网关等方案。涉及未公开研究数据、患者信息等敏感内容的团队,在使用任何海外模型的中转服务前,都应先完成自己的数据分级与合规评估。
备案方面,合规页公示了三项编号,企业可以自行到官方系统查验:
- **ICP 备案:**京ICP备2020034311号-7,可在工信部备案系统查验。
- **公安联网备案:**京公网安备11010602202500号,可在全国互联网安全管理服务平台查验。
- **人工智能服务备案:**Beijing-LMUAI-20251201S0138,公示于北京市生成式人工智能服务已登记信息公告。
需要更严格合规支持的企业,文档列出了通过商务渠道办理的事项:签署数据处理协议(DPA)、自定义日志保留策略、可选的加密审计日志、请求内容不经过共享通道的私有化网关,以及等保、GDPR、SOC2 等问询的配套支持材料。文档对这类事项的表述是“配套支持材料”,并声明页面未列出的认证与资质需通过商务确认,具体以合同为准,所以企业不应把它理解为已经取得这些认证。
7.6 需要采购与长期支持:企业方案
团队把 AI 调用接入产品或内部流程后,需求会从“能调通”转为“能采购、能对账、能追责”。灵眸企业方案分为企业标准版和企业旗舰版两档,覆盖 Anthropic(Claude)和 OpenAI(GPT)两个平台,旗舰版的并发起点高于标准版。文档列出所有企业档共有的能力:多源路由与自动故障转移、99.5% 可用性目标与月度报告、使用明细 API、不持久化请求内容、采购合同与增值税发票。
文档同时说明了服务范围的限制:涉及违法违规内容的调用不在服务范围内,也不提供任何规避模型提供方使用条款的方案。价格、周期和并发等规格会变化,本文不列出,请以官方价格页和商务对接结果为准。
7.7 已知的限制:文档里写明的四条边界
前面讲的都是能力,评估时同样需要看边界。下面四条都来自官方文档自己的表述。
✗ 可调用的模型由密钥分组决定,一把密钥不等于覆盖全部模型 —— 实际范围以后台「可用模型」页为准,Claude Max 分组只能走 Anthropic 协议
✗ 请求内容会经过海外通道 —— 文档建议不发送国家秘密、商业秘密、身份证号等高敏感数据;有此类要求的企业需要与商务讨论私有化网关
✗ 99.5% 是目标,不是保证 —— 经济档为尽力而为,口径排除用户侧网络问题、参数错误、上游内容拒绝和 60 秒以内的故障
✗ 故障转移不是零延迟无感 —— 文档写明会引入毫秒级到秒级的额外延迟,流式续传也只对支持的协议尝试
还有一句更重要的:这类服务建议先小额充值,把协议、可用模型范围和账单字段核对一遍,再决定投入多少。 这条对任何一家网关或中转服务都适用,包括灵眸 AI。
7.8 哪些团队适合评估,哪些问题要自行验证
按文档披露的能力,下列几类团队可以把灵眸作为评估对象之一:
- **软件开发团队:**同时使用 Claude Code、Codex CLI、Cursor 等多种工具,希望用一套密钥和配置教程完成接入,并通过额度和模型白名单控制各项目的用量。
- **生物制药企业:**需要核对数据留存、备案、合同和 DPA。这类团队应重点评估跨境通道对数据分级的影响,以及是否需要私有化网关。
- **高校实验室:**多人共用经费有限,更关心每个成员或课题的额度上限、用量明细和密钥泄漏防护。
上述对应关系是依据文档功能做出的场景推断,并非客户案例,也不代表任何机构已采用。无论哪类团队,都建议在正式引入前用真实业务负载验证以下几点:目标模型是否在所属分组的可用范围内;端到端延迟和失败率是否满足要求;99.5% 的 SLA 口径与自身业务的容忍度是否匹配;敏感数据是否允许经过海外通道;合同中的赔付、日志留存和数据处理条款是否满足内部要求。
相关阅读
- 接入协议 —— 三种入站协议的 Base URL、端点、鉴权方式与排错速查
- Key 安全 —— IP 白名单与黑名单的配置方法和常见场景
- 稳定性架构 —— 多源路由、故障转移、SLA 口径与不承诺事项
- 数据与隐私 —— 留存规则、跨境数据流转与企业合规支持
- 错误码速查 —— 401、403、429、5xx 等状态码的含义与处理方式
参考资料
以下资料于 2026 年 11 月 2 日核验,具体能力以对应产品文档、版本及合同为准。
- OpenAI:API Overview、Chat Completions Overview
- Anthropic:Create a Message
- Google:Gemini API — Generating content
- Kong:Get started with Kong Gateway、AI Models、AI Gateway architecture
- Cloudflare AI Gateway:Analytics
- LiteLLM:Virtual Keys、Health Checks、Fallbacks
- LiteLLM:GitHub 官方仓库
- AWS:Timeouts, retries, and backoff with jitter
- 灵眸 AI 官方文档(文档首页):接入协议、如何使用 Token、Key 安全、用量导出 API、稳定性架构、数据与隐私、合规与备案、企业方案、模型广场
灵眸 AI 的产品信息引自灵眸官方文档(docs.lmuai.com),核实于 2026 年 11 月 2 日;三个协议入口的 401 探测为当日实测,其余产品能力未实测。第三方网关与协议内容引自各家官方文档,见下方参考资料。产品能力随版本变化,引入前请核对当前文档与合同。