零改造接入
任何 OpenAI SDK / 兼容协议改 base_url 即用,业务代码零改动;另备私有分级语义面(档位 / 任务 / 思考开关)。
123Router 是装进企业集团机房 / 私有云 / 阿里云 VPC 的大模型路由与治理网关。 让 N 个业务系统 × M 家模型供应商的接入、路由、成本与安全治理, 从 N×M 份重复劳动 收敛为 N+M 的一套软件。
多团队、多供应商、多套 Key,半年后往往是一笔算不清、断不起、审不过的糊涂账。
密钥散落在代码、配置、Excel 里,交接全靠口口相传。
几十张供应商发票,没人说得清钱花在哪个项目。
旗舰模型被拿去做分类,没人拦也没人看得见。
某供应商限流 / 宕机,直接用它的业务跟着停。
数据经第三方中转、无调用留痕,安全审计一问三不知。
N×M 份对接、重试、计费、监控,每份都得人维护。
一款网关,覆盖大模型接入到治理的全生命周期。
任何 OpenAI SDK / 兼容协议改 base_url 即用,业务代码零改动;另备私有分级语义面(档位 / 任务 / 思考开关)。
L3 旗舰 / L2 商用 / L1 高性价比 / L0 本地兜底,一个 auto 即自动选型;内置 46 类任务路由表,人工主选优先。
Redis 共享熔断 + 多 Key 池自动轮换 + 跨档降级链,供应商抖动业务不感知;无状态多实例,扩容只是加机器。
输入 / 输出 / 缓存三价、高峰平峰分时计价、append-only 幂等账本、租户多维分账、max_cost 预算帽。
上游密钥 Fernet 加密、应用密钥仅存哈希、JWT+RBAC 三级权限、调用与操作全审计、TLS + 自动证书续期。
管理台多页中文运营面:应用 / 密钥 / 通道 / 模型 / 计费 / 用量 / 告警 / 审计 / 定价监控,一屏看清。
线上主流供应商与自部署开源模型进同一目录,同一套 Key 池、同一条计费链、同一个健康面板。
精确哈希 + 向量相似双层缓存(可选开启),高频问答 / 批处理场景,命中率直接等于省下的账单。
P50 / P90 / P95 分位、吞吐、模型健康分实时回写,选路更聪明,排障有据可依。
自动抓取各厂商价目并核价,支持"官方定价页截图 → 本地模型读数比对"的一次性核价。
价格表就是厂商价镜像,网关不做中间商加价,成本维度天然透明、可对齐供应商账单。
FastAPI + PostgreSQL + Redis + React 成熟组合,Docker Compose 一键起,已在真实业务长期运行。
对企业集团而言,"租用接口"和"买断一套装在自己环境里的软件"是两种完全不同的风险与资产归属。
各子公司 / 业务线不再各自采购对接,统一接入、统一治理、统一出账。
合规敏感行业私有化部署,数据不出边界,密钥本地加密,审计全程留痕。
智能路由 + 分时计价 + 语义缓存,把每一分算力花在刀刃上。
单供应商限流 / 宕机 / 涨价时自动降级换 Key,业务不中断。
敏感任务走本地模型,复杂任务走云端旗舰,一个目录统一调度。
按部门 / 项目 / 租户分账,为集团成本核算提供可信数据源。
已用 OpenAI 协议的系统,只需改 base_url 与密钥,即刻享受统一路由、降级与计费;无需理解底层有多少家供应商。
hub_ 密钥base_url 指向你的 123Router 实例from openai import OpenAI client = OpenAI( base_url="https://<你的123Router实例>/openapi/v1", api_key="hub_xxx", # 集团统一签发 ) resp = client.chat.completions.create( model="auto", # L0-L3 档位 / 模型名直选 messages=[{"role": "user", "content": "总结这份合同的风险点"}], ) print(resp.choices[0].message.content)