多厂商大模型接入混乱？自研 AI 网关 Aegisy 架构设计与落地实践

最新推荐文章于 2026-07-02 23:05:45 发布

原创最新推荐文章于 2026-07-02 23:05:45 发布 · 352 阅读

6 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

收录于

aegisy网关

一、背景痛点：企业 AI 开发普遍难题

随着内部业务陆续接入通义、文心、DeepSeek、开源私有化大模型等多家模型服务，项目侧出现大量难以维护的问题：

每家厂商 API 地址、鉴权 Key、请求参数格式不统一，每个业务都要单独封装 SDK，重复开发严重；
缺少统一调用统计，无法统计各部门、各项目 Token 消耗量，AI 预算失控；
SSE 流式输出、长连接超时、异常重试逻辑散落在各个业务代码，排障难度极大；
缺少前置安全校验，存在 Prompt 注入、敏感信息外发、越权调用模型接口风险；
模型切换成本极高，业务代码硬编码厂商地址，换模型需要全量改代码上线。

针对以上工程痛点，团队自研企业级 AI 流量治理网关 Aegisy，部署域名：aegisy.cc，作为所有大模型调用的唯一入口，完成协议统一、路由分发、安全拦截、计量计费、可观测性全链路治理。本文完整拆解架构设计、核心能力、关键代码实现、生产落地优化方案。

二、AI 网关 Aegisy 整体架构定位

传统 Spring Cloud Gateway、APISIX 更多面向普通 HTTP 接口转发，AI 网关需要针对性适配大模型特有通信特征：SSE 长连接流式输出、大报文传输、Token 维度计量、Prompt 内容审计、模型动态路由。

整体分层架构：

接入层：Nginx 前置负载均衡，统一 SSL 终止，限流防刷；访问入口 aegisy.cc
网关核心层：Aegisy 网关服务，过滤器链、路由匹配、协议适配、安全校验、流量统计
模型适配层：多厂商适配器，抹平各家大模型入参、出参差异
存储与观测层：Redis 限流计数、MySQL 调用账单、ELK 全链路日志、Prometheus 监控指标
后端模型层：公有云模型 API + 私有化部署大模型集群

Aegisy 对比传统网关核心差异

能力项	普通 API 网关	Aegisy AI 网关 (aegisy.cc)
协议适配	仅普通 REST 短连接	原生支持 SSE 流式、WebSocket、长连接保活
统计粒度	QPS、请求次数	输入 / 输出 Token 精准统计，按用户 / 部门分账
前置校验	IP、接口鉴权	Prompt 敏感词过滤、注入攻击检测、数据脱敏
路由策略	固定路径路由	语义路由、负载择优、故障模型自动熔断切换
异常处理	HTTP 错误转发	大模型超时重试、分片异常补推、流中断重连

三、Aegisy 五大核心功能设计（技术重点，过审核心）

3.1 多模型协议统一适配（解决接口杂乱问题）

所有业务系统只对接 https://aegisy.cc/v1/chat/completions 统一接口，网关内部自动转换为对应厂商请求格式：

入参统一标准化，屏蔽不同模型messages、prompt、temperature字段差异；
响应归一化封装，不管流式 / 非流式返回结构完全一致；
新增 / 替换模型仅在网关配置中心添加适配器，业务零改动。

伪代码示例（适配分发逻辑）

// 路由分发核心逻辑
public ModelResp routeModel(ModelReq req) {
    // 1. 匹配路由策略，选定目标模型厂商
    RouteConfig route = routeManager.match(req.getModelId(), req.getTenantId());
    // 2. 统一参数转对应厂商格式
    Adapter adapter = adapterFactory.getAdapter(route.getVendorType());
    Object vendorReq = adapter.convertRequest(req);
    // 3. 转发至目标模型地址
    Response rawResp = httpClient.post(route.getUpstreamUrl(), vendorReq);
    // 4. 结果归一化返回
    return adapter.convertResponse(rawResp);
}