LLMHub 企业级大模型 API 聚合网关

产品概述  

        企业在接入大模型时往往面临多服务商协议不一、密钥分散、额度难控、成本难算、内容安全风险难管等问题。LLMHub 是一个企业级大模型 API 聚合网关:将多家上游模型服务商统一接入,对内提供一套 OpenAI 兼容的调用入口,对外统一管理用户、密钥、额度与计费,并内置内容审核与敏感信息脱敏能力。无论是管理员还是普通用户,都能通过一个平台完成大模型接入、调度、观测与治理。

产品功能

多服务商聚合与统一协议:接入 OpenAI Responses / Chat Completions、Anthropic Messages、Gemini 等主流协议,统一管理上游服务商的 Base URL、API Key、模型列表、分组与权重,支持健康度检测与连通性测试。

统一密钥(KEY)管理:为每个用户签发 sk- 格式 API Key,支持设置额度上限、有效期、模型权限,Key 仅创建时完整展示一次,应用侧只需替换 base_url 与 api_key 即可兼容 OpenAI SDK 生态。

计费与额度管理:按 Token 用量计费,维护各模型输入 / 输出单价(每百万 Token);支持用户余额、充值、兑换码发放,管理员可按币种(USD / CNY)生成兑换码并设置有效期。

模型映射、定价与模型库:对外模型名可映射到多个服务商的同名或别名模型,实现多渠道冗余与分流;模型库汇总全部可用模型,支持按服务商筛选与按需启用,当前已接入数百个模型。

请求可观测与下钻:记录每一次 API 调用的模型、协议、服务商、Token(输入 / 输出 / 缓存)、首 Token 延迟、费用、审核结果等,支持多维度组合筛选与单次请求全链路详情下钻,用于排障与对账。

内容治理:审核与脱敏:配置关键词 / 正则审核规则,命中请求可拦截、放行或标记;自动识别并替换请求 / 响应中的手机号、身份证号、密钥等敏感信息,防止数据外泄到上游。

代理通道与调度策略:支持 SOCKS5 / HTTP 代理配置,将指定服务商绑定到指定代理实现分线路调度与容灾;系统设置中可配置重试、故障转移、负载权重等调度策略。

管理端 / 用户端分离:管理员侧管理服务商、用户、额度、模型、日志、治理与系统设置;普通用户侧自助管理 API Key、查看可用模型与定价、使用在线问答 Playground、查看自己的请求与费用明细。

 

产品核心价值

 

统一入口,零改造接入

应用侧只需把 base_url 指向 LLMHub、api_key 替换为平台签发的 sk- Key,即可兼容 OpenAI SDK 生态,无需为每家服务商单独适配协议。

成本透明,额度可控

按 Token 计费、按用户 / 部门 / 项目分配额度,支持余额、充值、兑换码等多种方式,费用明细逐条可查,满足成本分摊与预算管控需求。

多服务商冗余与智能路由

通过模型映射、权重配置、健康度监控与故障转移,实现多家服务商之间的负载均衡与容灾切换,降低单一渠道波动对业务的影响。

内容安全与合规审计

内置请求审核、敏感信息脱敏、全量请求日志与管理操作审计,帮助企业在使用大模型的同时守住数据安全与合规底线。