ai-api-union项目,适配各AI厂商api

简介: 本项目旨在实现兼容各大模型厂商API的流式对话和同步对话接口,现已支持智谱、豆包、通义、通义版DeepSeek。项目地址:[https://gitee.com/alpbeta/ai-api-union](https://gitee.com/alpbeta/ai-api-union)。通过`ChatController`类暴露两个接口,入参为`ChatRequest`,包含会话ID、大模型标识符和聊天消息列表。流式对话返回`Flux<String>`,同步调用返回`String`

项目地址:https://gitee.com/alpbeta/ai-api-union

需求:实现兼容各大模型厂商api的流式对话和同步对话接口,本项目现兼容智谱、豆包、通义、通义版deepseek

设计

一个ChatController类对外暴露这两个接口,入参都为ChatRequest请求类,属性有会话id,大模型标识符和聊天消息列表,其中消息是一个实体类包含,消息id,关联会话id,发送者角色,消息内容,创建时间。

流式对话返回的是响应式变成中的Flux<String>类型,同步调用返回的是Sring类型。

一个ModelService接口,包含流式调用和同步调用两个方法,入参为String字符串,出参与上述一致。

四个大模型api接口分别实现这个接口创建对应的实现类。

简单工厂模式

创建一个工厂类,基于传入的参数创建对应的大模型接口实现类。

工厂方法模式

创建一个工厂抽象类,继承该接口创建各个大模型工厂类,各个大模型工厂类实现大模型接口实现类。

创建一个获取工厂类,基于传入的参数创建对应的大模型工厂,再创建对应大模型接口实现类

示意图

实施

创建项目

通过 Spring Initializr 网站快速生成一个包含 Spring Boot 依赖的项目骨架,修改对应的partent版本,创建application.yml 激活dev环境,设置profiels.active:dev,创建application-dev.yml,修改端口为8090,server.port:8090(也可以不修改,默认.properties,偏向于yml)

创建测试controller

项目中如果没有controller类,访问8080端口时会报错,找不到路径;

创建一个ChatController类,增加@RestController @RequestMapping("api/chat")注解

创建testChat方法,方法前添加注解 @GetMapping("/testChat"), 入参为空,出参为String,方法内输入return "test chat";

启动项目,访问http:localhost:8090/api/chat/testChat,页面显示上述方法返回的内容 test chat

创建dto包

创建Message实体类,ChatRequest请求类;

ChatRequest请求类,属性有会话id,大模型标识符和聊天消息列表,其中消息是一个实体类包含,消息id,关联会话id,发送者角色,消息内容,创建时间。基于这些内容创建对应的私有属性,数据类型有Integer,String, TimeStamp, List,在类前加@Data注解,需先引入lombok依赖,引入该注解后,可以自动生成样板代码,如getter, setter, toString, equals, 无参构造函数,不需要显示编写这些方法,提高开发效率。

如需生成清晰的API文档,需引入swagger依赖,或knif4j,再补充对应的配置文件,之后在实体类的类名和属性前通过@Schema(description="xx")备注类和属性名对应的含义。之后通过访问http://项目ip:端口号/doc.html,可以访问对应的接口文档,如果接口的入参和出参有用到@Scheme注解的实体类,会显示对应的备注内容。

创建项目实现接口类

在ChatController类增加syncChat和streamChat方法

两个方法前增加PostMapping注解,路径分别是("/syncChat")和("/stramChat")。入参增加@RequestBody注解,类型为ChatRequest。 出参分别是String和Flux<String>

增加IModelService接口,包含synChat和stramChat方法,入参都为String,出参与上述保持一致

增加各大模型厂商api实现类

智谱接口实现类 ChatGLMServiceImpl,豆包接口实现类 ArkServiceImpl,通义接口实现类DashScopeServeceImpl,通义-deepseek实现类 DeepSeekServiceImple,都实现IModelService接口

引入各模型依赖,并在application.yml中配置api-key和modelname

分别在各模型接口类中实现同步调用和异步调用方法

实现豆包接口示例

在类前增加@Service注解表示为服务类bean容器,通过@Value注解,从配置文件中获取api-key和modelName的值映射到该类对应属性中。豆包大模型的火山引擎提供的ArkService服务类声明为一个私有属性,后续会使用该服务的方法。

该实现类除接口在的两个方法,还增加了初始化和后处理方法,分别通过@PostConstruct和@PreDestory注解,在接口实现类Bean初始化完成后执行ArkService服务类的实例化,在Bean销毁之前关闭ArkService的所有资源。

syncChat同步方法,使用该模型依赖提供的ChatMeaasge类创建消息列表对象,调用对应的add,role,content,build方法完成消息参数构建,再通过ChatCompletionRequest构建请求参数对象,通过arkService.creatChatCompletion方法输入请求参数,获取模型返回结果

stramChat异步调用方法,消息对象和请求对象构建方式与同步调用方式一致,通过arkService.streamChatCompletion方法获取流式响应结果。返回类型为Flowable<ChatCompletionChunk>,需将其转换成Flux<String>,通过Flux.from(.map(response ->{return response...})).filter(content->!content.isEmpty())获取返回结果

其他大模型实现类通过类似方法进行实现,通义与通义deepseek异步和同步返回的方法不一样,前者通过result.getOutput().getText();获取返回结果,后者方法调用更长一些

创建简单工厂实现类

ModelSimpleFactory,基于传入的参数返回不同的模型接口实现类,实现一个createModelService的方法。实现类用到@value注解从配置文件中获取变量值,不能通过new的方式创建模型类,需通过反射机制,通过上下文的getbean方法创建:applicationContext.getBean。

在ChatController类补充syncChat和streamChat方法逻辑

获取请求对象中的模型标识,消息列表。基于标识创建模型服务对象,将消息传入模型服务返回响应的结果

相关文章
|
3月前
|
人工智能 安全 架构师
告别旅行规划的"需求文档地狱"!这个AI提示词库,让你像调API一样定制完美旅程
作为开发者,旅行规划如同“需求地狱”:信息碎片、需求多变、缺乏测试。本文提出一套“企业级”AI提示词库,将模糊需求转化为结构化“API请求”,实现标准化输入输出,让AI成为你的专属旅行架构师,30分钟生成专业定制方案,提升决策质量,降低90%时间成本。
573 129
|
3月前
|
存储 人工智能 Java
AI 超级智能体全栈项目阶段二:Prompt 优化技巧与学术分析 AI 应用开发实现上下文联系多轮对话
本文讲解 Prompt 基本概念与 10 个优化技巧,结合学术分析 AI 应用的需求分析、设计方案,介绍 Spring AI 中 ChatClient 及 Advisors 的使用。
1521 133
AI 超级智能体全栈项目阶段二:Prompt 优化技巧与学术分析 AI 应用开发实现上下文联系多轮对话
|
3月前
|
存储 人工智能 Java
AI 超级智能体全栈项目阶段三:自定义 Advisor 与结构化输出实现以及对话记忆持久化开发
本文介绍如何在Spring AI中自定义Advisor实现日志记录、结构化输出、对话记忆持久化及多模态开发,结合阿里云灵积模型Qwen-Plus,提升AI应用的可维护性与功能性。
871 125
AI 超级智能体全栈项目阶段三:自定义 Advisor 与结构化输出实现以及对话记忆持久化开发
|
3月前
|
人工智能 Java API
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
本文介绍AI大模型的核心概念、分类及开发者学习路径,重点讲解如何选择与接入大模型。项目基于Spring Boot,使用阿里云灵积模型(Qwen-Plus),对比SDK、HTTP、Spring AI和LangChain4j四种接入方式,助力开发者高效构建AI应用。
1767 122
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
|
2月前
|
人工智能 API 开发工具
构建AI智能体:一、初识AI大模型与API调用
本文介绍大模型基础知识及API调用方法,涵盖阿里云百炼平台密钥申请、DashScope SDK使用、Python调用示例(如文本情感分析、图像文字识别),助力开发者快速上手大模型应用开发。
1388 16
构建AI智能体:一、初识AI大模型与API调用
|
3月前
|
人工智能 Java 机器人
基于Spring AI Alibaba + Spring Boot + Ollama搭建本地AI对话机器人API
Spring AI Alibaba集成Ollama,基于Java构建本地大模型应用,支持流式对话、knife4j接口可视化,实现高隐私、免API密钥的离线AI服务。
3202 2
基于Spring AI Alibaba + Spring Boot + Ollama搭建本地AI对话机器人API
|
3月前
|
人工智能 关系型数据库 数据库
公募REITs专属AI多智能体查询分析项目
公募REITs专属AI多智能体查询分析项目。本项目是基于 OpenAI Agent 框架的多智能体项目,提供二级市场数据查询分析、招募说明书内容检索、公告信息检索、政策检索等多板块查询服务。支持图标绘制、文件生成。
公募REITs专属AI多智能体查询分析项目
|
3月前
|
人工智能 数据可视化 测试技术
AI 时代 API 自动化测试实战:Postman 断言的核心技巧与实战应用
AI 时代 API 自动化测试实战:Postman 断言的核心技巧与实战应用
544 11
|
2月前
|
人工智能 小程序 搜索推荐
【一步步开发AI运动APP】十二、自定义扩展新运动项目2
本文介绍如何基于uni-app运动识别插件实现“双手并举”自定义扩展运动,涵盖动作拆解、姿态检测规则构建及运动分析器代码实现,助力开发者打造个性化AI运动APP。
|
2月前
|
消息中间件 人工智能 安全
云原生进化论:加速构建 AI 应用
本文将和大家分享过去一年在支持企业构建 AI 应用过程的一些实践和思考。
660 43