机器人视觉项目：视觉检测识别+机器人跟随（1）

最新推荐文章于 2026-04-10 10:35:54 发布
原创 最新推荐文章于 2026-04-10 10:35:54 发布 · 1.1w 阅读 · 91
本文记录了一个暑假期间进行的机器人视觉检测跟随项目的进展，主要涉及TX2上的人体检测和跟踪算法。项目利用Kinect、ROS、深度学习（如Darknet的Yolov3-tiny）、OpenCV的SVM和各种滤波算法。内容包括在TX2上刷机、安装CUDA、Multimedia API、OpenCV、MXNet、TensorFlow和TensorRT，并分享了安装过程中的注意事项和测试步骤。

更新一波暑假做的机器人视觉检测跟随的项目，有一些笔记都放在博客中，有需要的可以交流~

项目的目的是在机器人上搭建视觉检测系统，Kinect+ros+深度学习目标检测+行人识别（opencv的SVM行人检测以及Darknet神经网络Yolov3-tiny）+目标跟踪算法（主要是滤波算法）

下面开始更新啦...

目标：在TX2上运行人体检测和跟踪算法

1. 刷机（安装jetpack）

2. 测试

测试cuda

/home/ubuntu/NVIDIA_CUDA-<version>_Samples/bin/armv7l/linux/release/oceanFFT

测试Multimedia API

nvidia@tegra-ubuntu:~/tegra_multimedia_api/samples/backend$ ./backend 1 ../../data/Video/sample_outdoor_car_1080p_10fps.h264 H264 --trt-deployfile ../../

标签
#机器人 #视觉识别 #dl #ros
最低0.47元/天 解锁文章
目标跟踪简介
weixin_30536513的博客
03-06 4032
视觉目标跟踪是计算机视觉中的一个重要研究方向，有着广泛的应用，如：视频监控，人机交互，无人驾驶等。过去二三十年视觉目标跟踪技术取得了长足的进步，特别是最近两年利用深度学习的目标跟踪方法取得了令人满意的效果，使目标跟踪技术获得了突破性的进展。本文旨在简要介绍：目标跟踪的基本流程与框架，目标跟踪存在的挑战，目标跟踪相关方法，以及目标跟踪最新的进展等，希望通过这篇...
视觉跟踪算法—deeplearning
u010545732的专栏
01-08 5110
视觉跟踪，就是依据目标在第一帧的位置，对后续帧中目标的位置进行判定的过程。其主要困难是如何适应目标在运动过程中受内外部因素的影响而引起的外观变化。主要分为生成模型方法和判别模型方法。所谓生成模型，就是依据历史帧，生成模型，用以检测当前帧中候选目标的重构误差，重构误差最小的即为跟踪结果。判别模型，是将跟踪视为二分类分别，当前区域是由背景及目标组成。通过在当前帧采集正负样本，实现对分类器参数的更新。同
机器人视觉介绍，给机器人装上“眼睛”
Forrest's Space
02-09 4223
随着科技水平的提高，越来越多的机器人将被运用到安防系统、工业加工、航空航天等其他领域，众多的应用场景都要求机器人具有确定目标、定位目标和跟踪目标的能力。机器视觉概述 使机器具有像人一样的视觉功能，从而实现各种检测、判断、识别、测量等功能。一个典型的机器视觉系统组成包括：图像采集单元（光源、镜头、相机、采集卡、机械平台），图像处理分析单元（工控主机、图像处理分析软件、图形交互界面），执行单元（电传单
机器人跟随算法
最新发布
具身小站
04-10 403
REF：基于多机器人路径规划与编队控制的优化研究。
机器视觉动态跟随功能
xioayanran123的博客
11-24 1046
根据这些特征，系统能够识别并定位目标物体，从而实现对目标物体的动态跟踪。4. 在实际应用中，还需要考虑目标物体的速度、方向、形状、大小等变化因素，以及光照、遮挡等干扰因素，确保系统的稳定性和鲁棒性。总之，机器视觉动态跟随功能是现代工业自动化和智能制造中的重要技术之一，它为实现高效、精准、智能化的生产提供了有力支持。机器视觉动态跟随功能是一种重要的技术，它基于机器视觉系统，实现对移动物体的实时追踪和跟随。2. 需要采用高精度的传感器和视觉系统，以确保对目标物体的准确识别和定位。
机器人视觉项目：视觉检测识别+机器人跟随（9）
Synioe的博客
09-20 900
1。讨论行人检测标定过程时实施方案，这边的技术细节已经基本确定，写成一个类或者cpp文件，有tracker.cpp调用函数，获得标定信号 using kinect do hand recognition and then give the true or false signal 2。行人检测着一块，用svm做检测现在的问题是运行出现段错误内存转出，沟通后现在需要调试看怎么解决 @tld_t...
机器人视觉项目：视觉检测识别+机器人跟随（17）
Synioe的博客
09-25 2952
参考一个实例行人检测 在ubuntu+ros环境下，利用RGBD采集数据给小车，实现行人跟随。 原作者开源的例子是出现一个窗口，用鼠标选择一个区域做kcf跟随，选择的物体不受限制，物体移动后，机器人随即跟随。 博主实现的是用opencv行人检测的demo，替换原作者的例子。该demo在opencv-2.4.13/samples/cpp/peopledetect.cpp下。 先认识一下原作者的例...
机器人视觉项目：视觉检测识别+机器人跟随（20）
Synioe的博客
09-25 4278
1.尝试用tx2外接kinectv1深度相机获取RGBD图像信息，传入到我们的行人检测代码框架中，调试基于深度相机的行人检测与跟踪算法的效果。 首先安装kinect对应Arm处理器的ubuntu驱动程序， libfreenect v2.0 OpenNI V2.2.0.33 Nite V2.0.0 安装libfreenect sudo apt-get install git g++ cmake li...
机器人视觉项目：视觉检测识别+机器人跟随（22）
Synioe的博客
10-09 2181
机器人调试 ros turtle_floower人体跟随 #include &lt;ros/ros.h&gt; #include &lt;pluginlib/class_list_macros.h&gt; #include &lt;nodelet/nodelet.h&gt; #include &lt;geometry_msgs/Twist.h&gt; #include &lt;sensor_...
视觉检测类项目如何开展测试
weixin_56819992的博客
11-04 2502
视觉检测是指通过机器视觉产品（即图像摄取装置，分 CMOS 和CCD 两种）
机器人视觉项目：视觉检测识别+机器人跟随（4）
Synioe的博客
09-20 2578
1. 将手动画框给小强机器人行人跟踪的代码用opencv行人检测的demo替换，实现自动检测。在网上下载了一个XML训练模型，并修改了代码， 在catkin_make这个工作空间时出现问题，一直报错： xiaoqiang@xiaoqiang-desktop:~/catkin_tra $ catkin_make Base path: /home/xiaoqiang/catkin_tra Source...
机器人视觉项目：视觉检测识别+机器人跟随（6）
Synioe的博客
09-20 1273
opencv的行人检测demo中的get_support_vector在之前返回的值一直是1,也就是支持向量个数一直是1,这样在 for(int i=0; i&lt;supportVectorNum; i++)         {             const float * pSVData = svm.get_support_vector(i);//返回所有支持向量的指针       ...
机器人视觉项目：视觉检测识别+机器人跟随（13）
Synioe的博客
09-25 792
收获巨大啊 总结一下编译成功的路线，不容易啊，要哭了。 今天上午也是没有很大的成效，一直到下午睡醒（论好的睡眠的重要性），在一篇帖子中看到一种新的写法，opencv3将IplImage转换为Mat格式的写法，在我们的代码中采用这种方式，改到哪里哪里的问题就消失了，这种感觉非常爽！ 写完整一点，记录准确以后参考。 我在机器人视觉检测中将kinect采集到的视频数据流进行特征提取和匹配，用的是...
C++工业机器人视觉检测与自动化测试实践
2501_94187798的博客
11-10 1141
本文探讨了C++在工业机器人视觉检测系统中的应用与优化策略。系统由图像采集、处理识别、机器人控制和监控安全等模块组成，面临高实时性、多传感器融合和复杂场景等测试挑战。研究提出分层测试方法（单元测试、集成测试等）、数据驱动验证和性能优化措施，通过并行计算、内存优化提升系统响应。测试结果显示缺陷识别准确率达96%，机器人延迟降低25%。研究表明C++高性能特性保障了系统稳定运行，未来可结合AI算法进一步提升智能化水平，推动工业4.0发展。
机器人视觉项目：视觉检测识别+机器人跟随（7）
Synioe的博客
09-20 941
1.kinect人体骨架追踪中有tf树变换，了解tf树的广播和订阅原理，尝试通过订阅在人体骨架跟踪中tf变换广播的骨架关节点位置坐标信息，获取跟踪目标的位置。 $ cd %TOP_DIR_YOUR_CATKIN_WS%/src $ catkin_create_pkg robot_setup_tf roscpp tf geometry_msgs src/tf_broadcaster.cpp ...
机器人视觉项目：视觉检测识别+机器人跟随（5）
Synioe的博客
09-20 1118
kinect_tf.cpp #include &lt;ros/ros.h&gt; #include &lt;tf/transform_listener.h&gt; #include &lt;geometry_msgs/Twist.h&gt; //#include &lt;sound_play/sound_play.h&gt;//播放音频 #include &lt;unistd.h&gt; #in...
机器人视觉项目：视觉检测识别+机器人跟随（12）
Synioe的博客
09-25 936
任务完成情况 opencv的数据格式转换，这次碰上了，主要就是cvMat,IplImage,cv::Mat,InputArray之间的格式转换，现在想要将提取的图像特征时，用一张灰度图传给surf特征检测器，计算出特征点，在这之前需要将图像的数据格式进行转换: cv::xfeatures2d::SURF::detectAndCOmpute(InputArray image, InputArr...
机器人视觉项目：视觉检测识别+机器人跟随（11）
Synioe的博客
09-25 884
任务完成情况 参考这篇博客 OpenCV3特征提取和暴力匹配方法 "surf特征提取+匹配" 这篇博客是在opencv3版本上做特征提取的，3.0版本后的surf使用方法和2.0版本有了不同，所以需要做修改，这里参考了其使用的方法重新写了特征匹配的代码。 修改后的tracking_node代码： /*********************************************...
机器人视觉项目：视觉检测识别+机器人跟随（16）
Synioe的博客
09-25 901
跟踪丢失后再检测时加上目标特征匹配，是将第一帧检测到的目标框中的特征提取出来，具体可以采用尺度不变特征SIFT，SURF特征提取， 提取出来的特征，能否以向量的形式保存在变量中，再检测时搜索图像帧中的待确定目标区域（可能有数个这样的roi）， 可以通过计算欧式距离的方式与第一帧图像中的特征进行匹配，快速排除欧氏距离相差较大的检测对象（非跟踪的行人对象）， 当匹配度达到一定值后，即检测到第一帧跟踪的...
fanuc机器人与视觉通信_视觉检测（FANUC）与OFFSET补偿方式分类
weixin_39974958的博客
11-12 2244
视觉检测(FANUC)与OFFSET补偿方式分类 现在视觉软件根据现场应用需求机器人公司一般开发了很多版本，不同版本的功能有所区别，一般分为三类检测方式可以满足实际应用，主要有三个类别2D视觉检测，2.5D视觉检测以及和D视觉检测。在应用选型时需要自己选择合适的功能版本。(1)2D 只用于检测平面移动的目标 (XY 轴位移、Z 轴旋转角度 R)。如图(左一)(2)2.5D...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值