自定义模型指的是需要自行部署或配置的 LLM。本文将以 Xinference 模型为例,演示如何在模型插件内接入自定义模型。
自定义模型默认包含模型类型和模型名称两个参数,无需在供应商 yaml 文件定义。
供应商配置文件无需实现 validate_provider_credential。Runtime 会根据用户选择的模型类型或模型名称,自动调用对应模型层的 validate_credentials 方法进行验证。
接入自定义模型插件
接入自定义模型分为以下步骤:
-
创建模型供应商文件
明确自定义模型中所包含的模型类型。
-
根据模型类型创建代码文件
根据模型的类型(如
llm或

订阅专栏 解锁全文
479

被折叠的 条评论
为什么被折叠?



