onnxruntime CPU和GPU推理测试

最新推荐文章于 2026-04-20 09:32:29 发布
原创 最新推荐文章于 2026-04-20 09:32:29 发布 · 1.3w 阅读 · 5 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
博主在进行移动端模型移植工作时，将模型转换为onnx中间格式，用onnxruntime加载模型推理。为对比CPU与GPU推理时间需分别测试，百度无果后询问同事得知，测试CPU推理时间要在Python环境安装onnxruntime，测试GPU则需卸载CPU版本并安装onnxruntime - gpu。

最近在做移动端模型移植的工作，在转换为onnx中间模型格式的时候，利用onnxruntime加载onnx模型进行推理，为了对比CPU与GPU的推理时间，需要分别进行测试。
onnxruntime的CPU和GPU测试的方式，百度了一下没有找到合适的解决方式，后来问了其他同事，大概知道了。如果要测试CPU的推理时间，Python环境需要安装onnxruntime，如果测试GPU的推理时间，Python环境就需要卸载CPU版本，安装onnxruntime-gpu，然后进行推理时间测试。

2.66s-mac 2.505s-Linux CPU

142.8ms-Linux GPU

onnxruntime推理CPU GPU切换
juluwangriyue的博客
12-22 6189
onnxruntime推理CPU GPU切换1、切换CPU与GPU 1、切换CPU与GPU 在anaconda环境下安装了onnxruntime和onnxruntime-gpu，在使用时总是默认调用gpu版本的库。 有时需要对比CPU和GPU的性能，有时因为显存不够只能使用CPU版本的库，但是系统默认调用GPU的库，网上看到一些说法，为了测试CPU只能把GPU的库卸载了，这种说法我不赞成。 其实只要细心，跳转到onnxruntime的InferenceSession定义据可以知道，办法是有的，就是多设置一个
onnx和pytorch，tensorrt 推理速度对比GPU CPU
hllyzms的博客
08-09 8093
通常我们在训练模型时可以使用很多不同的框架，比如有的同学喜欢用Pytorch，有的同学喜欢使用TensorFLow，也有的喜欢MXNet，以及深度学习最开始流行的Caffe等等，这样不同的训练框架就导致了产生不同的模型结果包，，而且同一个框架比如tensorflow不同的版本之间的差异较大， 为了解决这个混乱问题，这个组织联合 Facebook, MicroSoft等公司制定了，这个标准叫做，所有其他框架产生的模型包 (.pth,.pb) 都可以转换成这个标准格式，转换成这个标准格式后，就可以。......
别再傻傻分不清了！一文讲透onnx、onnxruntime、onnxruntime-gpu在Windows上的区别与安装选择
最新发布
weixin_26765363的博客
04-20 439
本文详细解析了ONNX、onnxruntime和onnxruntime-gpu在Windows环境下的区别与安装选择，帮助开发者高效部署深度学习模型。通过对比CPU与GPU版本的性能差异，提供针对不同硬件环境的安装策略和实战示例，特别适合需要在Windows上进行AI模型部署的开发者。
解决yolov5使用onnxruntime推理时耗时问题（cpu环境）
athrunsunny的博客
11-10 1万+
yolov5将训练好的模型转换成onnx格式，在使用转换后的onnx格式的权重进行推理时作者使用如下语句： # Inference if pt: visualize = increment_path(save_dir / Path(path).stem, mkdir=True) if visualize else False pred = model(img, augment=augment, visualize=visua...
onnx 模型转换及推理时间对比
guopeiAI
04-29 5435
1. 环境准备 对比时间，和模型训练的环境相同，可能额外要安装的包是onnxruntime. pip install onnxruntime # for cpu pip install onnxruntime-gpu # for gpu 2. 测试过程 直接上代码吧，代码就是最好的解释。 import cv2 import time import torch import numpy as np from torch.nn import DataParalle...
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）
热门推荐
JLGao的博客
04-11 6万+
onnx模型部署环境创建
【YOLOv5最新6.1在OpenCV DNN、OpenVINO、ONNXRUNTIME上推理对比】
2d3d图像算法 halcon\opencv\c++\pcl\vtk\coluldcompare工具 程序员 学习者
05-15 4040
文章目录引言YOLOv5推理速度比较代码实现与说明 引言 我把YOLOv5最新版本的模型分别用OpenCV DNN（Python、C++）部署、OpenVINO（Python、C++）部署、ONNXRUNTIME-GPU（Python、C++）部署，然后还测试了CPU/GPU不同平台上的运行速度比较。 软件版本与硬件规格 测试用的硬件与软件信息： GPU 1050Ti CPU i7八代 OS：Win10 64位 OpenVINO2021.4 ONNXRUNTIME：1.4 OpenCV4.5.4 Pyt
onnxruntime推理
qq_40856253的博客
09-07 796
onnx模型推理
安装onnxruntime 推理加速
qianbo042311的博客
05-23 3701
1、临时更改源 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple onnxruntime 如果是默认的源位置会很慢，更改以下为好 2、测试 cmd下键入python python>>> import onnxruntime python>>> onnxruntime.get_device() 'CPU' python>>> onnxruntime.get_available_pro
pytorch 测量模型运行时间，GPU时间和CPU时间，model.eval()介绍
tony365的博客
05-15 1万+
我们知道，在pytorch中，模型有两种模式可以设置，一个是train模式、另一个是eval模式。model.train()的作用是启用 Batch Normalization 和 Dropout。在train模式，Dropout层会按照设定的参数p设置保留激活单元的概率，如keep_prob=0.8，Batch Normalization层会继续计算数据的mean和var并进行更新。model.eval()的作用是不启用 Batch Normalization 和 Dropout。
YOLOv5在C++中通过Onnxruntime在window平台上的cpu与gpu推理
p3116002589的博客
02-22 5494
YOLOv5在C++中通过Onnxruntime在window平台上的cpu与gpu推理
yolov8目标检测onnx推理及后处理实现
jameschen9051的博客
06-06 2万+
YOLOv8输出shape跟yolo之前系列模型（YOLOv5输出为[25200,85]），有较大差异，查找一番后，发现yolov8在两个方面做了调整，一是取消了anchor（因为每个anchor对应3个bbox），因此总的bbox数降低三倍；编写推理脚本前可以通过netron工具查看模型输入输出，可以看到yolov8输入为[1,3,640,640]，输入为[1,84,8400]。YOLOv8n预训练模型为pytorch的pt格式，大小为6.2M，下载完成后，通过pytorch转换为onnx。
onnxruntime实现模型推理
u013344192的博客
10-23 2252
训练模式保存为onnx格式文件； 根据平台环境，下载第三方库onnxruntime； 首先根据部署需要，配置环境： 获取如下安装指令： 比如使用visual studio 2019，可以直接在”程序包管理器控制台“输入如下指令进行安装： Install-Package Microsoft.ML.OnnxRuntime -Version 1.9.0 使用onnxruntime，C++实现onnx模型调用： #include <assert.h> #include <ve..
极限性能优化：用PyTorch和ONNX实现模型推理加速
Ared
04-18 1650
在终端性能压力下，如何利用PyTorch和ONNX技术优化深度学习模型的推理性能？从模型量化、图优化到跨框架部署，深入探讨如何将推理时间从500ms降至50ms，同时保持模型精度。
深度学习模型部署——基于Onnx Runtime的深度学习模型CPU与GPU部署（C++实现）
知来者逆的博客
05-18 2万+
以上就是在win 10下使用Onnx Runtime用CPU与GPU来对onnx模型进行推理部署的对比，可以明显的看出来，使用GPU之后的推理速度，但在正式的大型项目中，在win下使用GPU部署模型是不建议，一般都会选择Linux,那样对GPU的利用率会高出不少，毕竟蚊腿肉也是肉。
onnxruntime加载onnx格式目标检测模型（SSD，YOLOv3-tiny）
ouening的博客
10-23 8034
onnx官方提供了onnx格式的模型，下载地址：https://github.com/onnx/models/tree/master/vision/object_detection_segmentation/ssd 下载后使用netron查看该模型，如下图所示： 程序 import numpy as np # we're going to use numpy to process input and output data import onnxruntime # to inference O
使用ONNXRuntime部署阿里达摩院开源DAMO-YOLO目标检测，一共包含27个onnx模型(代码开源)...
gzq0723的博客
12-11 344
2022点击蓝字 关注我们关注并星标从此不迷路计算机视觉研究院学习群｜扫码在主页获取加入方式获取代码｜关注并回复“onnx部署”01概述ONNXRuntime是微软推出的一款推理框架，用户可以非常便利的用其运行一个onnx模型。ONNXRuntime支持多种运行后端包括CPU，GPU，TensorRT，DML等。可以说ONNXRuntime是对ONNX模型最原生的支持。虽然大家用ONNX时更多的是...
onnxruntime-gpu 使用和配置
WGS.
12-16 1733
onnxruntime-gpu 使用和配置
阿里云容器化GPU共享服务已开放！性能无损失，对你的环境无侵入，真正实现AI降本增效...
量子位
09-10 745
杨净 发自 凹非寺量子位 报道 | 公众号 QbitAI随着GPU算力越来越强，其成本也越来越高昂。但有时，执行一个深度学习任务，并不需要占用一整张GPU。就相当于，你不仅多花了钱，还...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值