tensorflow serving多模型部署

最新推荐文章于 2026-04-28 12:49:38 发布

原创

最新推荐文章于 2026-04-28 12:49:38 发布 · 733 阅读

标签

#tensorflow #docker #深度学习

收录于

本文档详细介绍了如何使用TensorFlow Serving进行多模型部署，包括从Docker镜像下载、模型格式转换、配置文件编写到服务启动的全过程。重点讲解了kashgari框架如何生成可供TensorFlow Serving读取的pb模型，并提供了CPU和GPU版本的启动命令。

基本流程

docker pull tensorflow serving官方镜像
生成tensorflow serving可直接读取的模型格式
编写配置文件
启动tensorflow serving镜像

1、docker下载

CPU版本

docker pull tensorflow/serving:latest

GPU版本

docker pull tensorflow/serving:latest-gpu

2、模型格式转换

tensorflow serving支持pb模型，部署多模型所需的相关模型结构目录如下：

在这里插入图片描述

我用的是kashgari框架，其提供直接保存pb模型的方法kashgari.utils.convert_to_saved_model

-----model.save:保存在reberate_classification_13文件夹下的h5模型

-----convert_to_saved

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

修行小仙女

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

TensorFlow部署：使用TF Serving为TensorFlow模型提供服务

新华编程特战队

01-01

2485

部署新模型或更新现有模型时，请确保模型服务器配置为提供正确版本的模型。要使用 TensorFlow Serving 部署模型，我们需要将其保存为 SavedModel 格式，这是模型的序列化版本，包含模型架构及其训练权重。考虑减小模型的大小，将 TensorFlow Lite 用于移动应用程序，或将 TensorFlow.js 用于基于浏览器的应用程序。设置完 TensorFlow Serving 后，让我们继续讨论使用 TensorFlow Serving 提供 TensorFlow 模型的步骤。

tensorflow serving入门笔记

niemingming的专栏

07-09

2750

tensorflow serving入门 1. 部署网上关于tensorflow serving的详细讲解很多。本人不是专门做机器学习的，所以讲不好，就不班门弄斧了。直接说自己的使用过程。多说一句，个人理解tensorflow serving是tensorflow官方版本的模型部署工具包。提供了模型加载、解析、接口封装暴露功能。其中暴露了restful API和GRPC两种模式。进入正题，tensorflow serving有三种模式。建议采用docker方式，因为最简单，而且容器化已经基本确定了其主流

参与评论您还未登录，请先登录后发表或查看评论

AI 模型部署：TensorFlow Serving 使用

最新发布

dmnvqh_554的博客

04-28

例如，可以通过目录结构 `model/1/` 和 `model/2/` 区分版本，服务自动检测并加载新模型。通过设置 `--enable_batching` 和 `--batching_parameters`，服务将合并多个请求，利用 GPU 并行计算。TensorFlow Serving 是谷歌推出的高性能服务系统，专为 TensorFlow 模型设计，支持多模型版本管理、动态加载和低延迟推理。TensorFlow Serving 是模型部署的高效工具，涵盖从导出到监控的全流程。

tensorflow Serving架构详解和代码示例

qq_25864747的博客

07-26

1662

1、参数个性化 CTR 模型 - PPNet 　　2019 年之前，快手 App 主要以双列的瀑布流玩法为主，用户同视频的交互与点击，观看双阶段来区分。在这种形式下， CTR 预估模型变得尤为关键，因为它将直接决定用户是否愿意点击展示给他们的视频。彼时业界主流的推荐模型还是以 DNN、DeepFM 等简单的全连接深度学习模型为主。但考虑到某用户个体和视频的共建语义模式在全局用户的共建语义模式基础上会有个性化的偏差，如何在 DNN 网络参数上为不同用户学习一个独有的个性化偏差成为了快手推荐团队优化的方向。在.

关于TensorFlow Serving的简单介绍

weixin_44324036的博客

12-02

5163

一、简介 TensorFlow Serving专为生产环境而设计，是一个适用于机器学习模型的灵活、高性能应用系统。TensorFlow Serving提供与 TensorFlow模型的开箱即用型集成，但也可以轻松扩展以应用其他类型的模型和数据，同时保留相同的服务器架构和API。

tensorflow serving介绍及代码实践

永胜的博客

05-26

1391

第一步安装docker 1.安装docker yum install docker 2.查看docker版本 docker -v 3.启动docker service docker start 4.设置开机启动docker systemctl enable docker 5.停止docker systemctl stop docker 6.查看docker镜像 docker images 7.删除镜像 docker rmi 镜像id 8.查看docker容器状态&ID

Docker + Tensorflow serving 多模型在线部署

u012433049的博客

04-30

3320

前面介绍的Tensorflow serving启动服务时，会将我们的模型服务放到服务器端口，那么如果我们需要将多个模型同时放到该端口该怎么做呢？例如我们需要将dog-cat分类模型、目标检测模型同时放到端口上，用户可以根据具体地址来访问端口的不同模型，这时候就需要多模型部署了。 多模型部署与前面的模型部署步骤大致相同，就是多了一个多模型配置文件，这里用我的模型...

使用tensorflow serving Docker进行多模型部署并调用

rasiel_2019的博客

02-02

1940

硬件：华为云服务器，最便宜的那档，反正是练习用的操作系统：Linux 16.04 使用工具：Tensorflow-serving Docker 模型文件：Tensorflow生成的PB格式模型参数文件前言：官方文档仅提供了基于Linux的设置教程，Windows下没有官方教程，但是Youtube上有人提供了Windows版本，但是我进行设置后会返回Error 52: server no response的错误，因此只能选择linux，如果有大佬知道这个错误的原因的话烦请不吝告知。 1.安装Docker

tensorflow serving安装、部署、调用、多模型版本管理教程

chenguangchun1993的博客

03-19

6202

1. 准备模型使用tf.keras训练一个简单的线性回归模型，保存为protobuf文件。 import tensorflow as tf from tensorflow.keras import models,layers,optimizers ## 样本数量 n = 800 ## 生成测试用数据集 X = tf.random.uniform([n,2],minval=-10,maxval...

Tensorflow Serving 2.0多模型部署Centos

码王吴彦祖的博客

07-27

669

Tensorflow Serving 2.0多模型部署Centos

【学习笔记】tensorflow-serving模型部署

z240626191s的博客

02-16

2630

使用tensorflow-serving在docker在虚拟机上【服务器】拉取镜像的方式进行YOLOv3模型部署,并将检测结果在windows系统下【客户端】显示，现将过程整理记录下来。参考代码：https://github.com/George-2019/tensorflow-serving-yolov3； https://github.com/Byronnar/tensorflow-serving-yolov3 目录 demo展示：权重转化图像预测模型部署转化成可部署的sa

基于TensorFlow Serving的深度学习在线预估

hellozhxy的博客

10-30

1477

一、前言随着深度学习在图像、语言、广告点击率预估等各个领域不断发展，很多团队开始探索深度学习技术在业务层面的实践与应用。而在广告CTR预估方面，新模型也是层出不穷： Wide and Deep[1]、DeepCross Network[2]、DeepFM[3]、xDeepFM[4]，美团很多篇深度学习博客也做了详细的介绍。但是，当离线模型需要上线时，就会遇见各种新的问题：离线模型性能能否满足...

Tensorflow2.0+部署（tensorflow/serving）过程备忘记录Windows+Linux

hpu_lx

03-05

2089

1.先拿官方例子测试一下，先下载一下tensorflow/serving2.6.0，然后在该目录结构下，找到 saved_model_half_plus_two_gpu例子，整体拷贝到想要放置的位置。下面的绝对路径表示模型存放的实际路径，最后一个参数项需要指定运行的容器和版本，里面的其他参数照猫画虎吧，很好理解，具体参数项也比较复杂。直接右键运行，得到结果，表示该程序检测出了9个目标，概率值+标签+目标框像素位置如下，通过解析json，可以得到目标检测结果。yolo_eval_2表示标签值；

TensorFlow Serving: 高性能机器学习模型部署利器

2401_87458718的博客

10-12

965

TensorFlow Serving是一个专为生产环境设计的灵活、高性能机器学习模型服务系统。它主要处理机器学习的推理(inference)阶段，负责管理训练后模型的生命周期，并通过高性能的引用计数查找表为客户端提供版本化访问。虽然TensorFlow Serving原生支持TensorFlow模型，但它的设计足够灵活，可以轻松扩展以服务其他类型的模型和数据。TensorFlow Serving作为一个强大、灵活的机器学习模型服务系统，为生产环境中的模型部署提供了一个理想的解决方案。

深度学习部署实践：用 TensorFlow Serving 构建高效模型预测服务

一名热衷于技术的全栈开发者，专注于前端与后端的全面技术探索。在这里，我将分享我在技术领域的学习与成长，助力更多开发者的进步。

03-03

1089

模型保存：将训练好的 TensorFlow 模型保存为 SavedModel 格式。服务部署：使用 TensorFlow Serving 部署模型，并利用 Docker 构建镜像。API 调用：通过 RESTful API 接口，实现模型预测请求和结果返回。本文详细介绍了如何构建一个端到端的 OCR 系统，利用 TensorFlow Serving 部署深度学习模型，并通过 Python 客户端实现实时预测。

服务化部署架构：TensorFlow Serving的线程模型与请求调度

weixin_69882801的博客

02-14

830

通过梯度下降求解最优。

Tensorflow Serving 部署自己的模型

酒酿小圆子呀～

10-29

3651

文章目录1. saved_model 模型保存与载入2. 部署自己的模型2.1 将固化后的模型文件放入Tensorflow Serving指定目录2.2 模型发布2.3 查看模型情况2.3.1 查看模型概况2.3.2 查看模型metadata 数据情况:3. 调用API接口进行测试3.1 通过curl命令进行预测3.2 通过 postman 等接口调用软件进行预测 1. saved_model 模型保存与载入 # 基于GRU的预测 inputX = tf.placeholder(tf.float32, sh

TensorFlow Serving模型转换与部署

tianyunzqs的专栏

01-05

3668

文章目录1. TensorFlow Serving安装1.1. 拉取镜像1.2. 下载官方代码1.3. 运行TF Serving1.4. 客户端验证2. 将ckpt模型转换为pb模型3. 模型部署4. 多模型部署4.1 多(单)用户单模型4.2 多(单)用户多模型4.3. 接口请求5. 新增模型6. 可能出现的错误错误1：错误2：错误3：错误4：错误5：错误6：错误7：错误8 TensorFlow...

Tensorflow Serving部署推荐模型

u013250861的博客

12-19

819

ADD：有两个参数，前一个参数指的是当前机器上的文件夹名称，后一个参数指的是创建出来的容器的文件夹名称。此处的命令意思是将当前机器上的gat（相对路径）文件夹下的所有东西，都复制到docker创建出来的容器中的/models/gat/1/文件夹下。此处的命令意思为创建文件夹models，并在models下创建。110、111、112、119、127是最近5次模型指标最高的5次记录，可以根据自己需要选择最高的记录，也可以在。在模型的输入和输出的地方，尽量自行定义name，这样在之后的部署的时候会方便很多！

Tensorflow Serving部署tensorflow、keras模型详解