本文深入探讨Triton推理服务器（原TensorRT），一种高效GPU模型部署框架，支持多模型并发、动态显存管理和图优化，实现模型加速。涵盖硬件T4 GPU应用，软件TensorRT 2020改名后的特性，以及模型控制配置等内容。
本文概念存在偏差，混淆了几个概念
有点误人子弟，多谢评论区提醒
我花点时间再学些后再重新更新本文。打扰了
模型部署架构Triton Inference Server（TensorRT）
模型训练只是DeepLearning的一小部分，如《Hidden Technical Debt in Machine Learning Systems》NIPS2015机器学习系统的技术债
书中所说。
现有几种搭建框架
Python：TF+Flask+Funicorn+Nginx
FrameWork：TF serving，TorchServe，ONNX Runtime
Intel：OpenVINO，NVNN，QNNPACK（FB的）
NVIDIA：TensorRT Inference Server（Triton），DeepStream
主要说现阶段比较主流的
TensorRT
硬件T4的GPU（也可嵌入端等NVIDIA设备）
软件TensorRT （Triton）2020年TensorRT改名为Triton
T4上，相对CPU ResNet-50jiasu 快27倍
输入可以是TF，MXNet，Pytorch等
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
