72、基于计算机视觉的桥梁船舶航行监测系统解析

基于计算机视觉的桥梁船舶航行监测系统解析

1. 系统背景与意义

在桥梁保护方面，传统的防撞墩虽能起到一定保护作用，但需频繁维修以维持保护能力，水下施工不仅成本高、可靠性低，还可能干扰航行。鉴于桥梁在历史、社会和旅游等方面的重要价值，构建防撞系统十分必要。防撞墩作为被动防御措施，无法减少碰撞事件的发生，每次碰撞后都需维修甚至重建，耗费大量人力物力，还会导致航道堵塞数小时甚至数天。

基于计算机视觉的系统是一种主动措施，通过监测驶来的船舶并主动发出警报，将被动防御转变为主动防御。一方面，减少碰撞事件可更好地保护桥梁；另一方面，减少船主因疏忽导致的事故，船主可避免罚款。此外，该系统的开发和实施经验可为其他桥梁防撞行动提供参考。

2. 桥梁船舶防撞系统构成

基于计算机视觉的桥梁船舶防撞系统主要由监测跟踪系统、风险评估与预警系统以及事后记录系统组成，其工作流程如下：

graph LR
    A[航行船舶] --> B[船舶监测跟踪系统]
    B --> C[桥梁碰撞风险评估与预警系统]
    C --> D[声学、光学和电气预警]
    C --> E[向海事部门发送预警信息]
    B --> F[事后记录系统]

系统的设计目标包括：
1. 对桥梁上游一定范围内的航行船舶进行 24 小时连续监测，涵盖通航和非通航区域。
2. 识别监测范围内船舶的大小、位置、速度、方向、轨迹和数量，并根据识别结果进行桥梁船舶防撞预警。
3. 预警事件发生后，通过声音、灯光、通信等方式与船舶进行沟通和报警。
4. 用户界面简单易用、友好。
5. 积累一定数据后，进行船舶瞬态预测预警和主动预警。
6. 向海事部门提供预警信息，并配合海事部门处理违规航行船舶。

3. 监测跟踪系统

该系统的理论核心是船舶跟踪方法，包括图像预处理和目标跟踪方法。

3.1 图像预处理方法

主要步骤包括图像灰度化、图像增强、图像二值化和图像滤波：
1. 对输入图像进行灰度化，便于后续图像处理。
2. 通过灰度拉伸增强图像对比度。
3. 对图像进行二值化处理，分割背景和物体。
4. 应用中值滤波消除图像干扰和噪声。

3.2 目标跟踪方法

由帧差法和背景学习算法组成。

• 帧差法 ：基本原理是在图像预处理后，获取相邻时间步的两幅图像对应像素的灰度值。在连续跟踪运动目标时，通过帧差法获取运动目标连续图像的灰度值动态变化，从而实现运动目标的跟踪。
  设连续时间段内采集的图像序列为$f_1,f_2,\cdots,f_t$，相邻三帧图像为$f_k(x,y),f_{k + 1}(x,y),f_{k + 2}(x,y)$（$1\leq k + 2\leq t$），$(x,y)$为对应帧图像的坐标。以第$k$帧为背景图像，分别计算第$k$帧与第$k + 1$帧、第$k + 2$帧的差值图像，并标记其中心为$M_1$和$M_2$。通过帧差法不断获取连续差值图像和其质心，实现运动目标的连续跟踪。质心点$M_1,M_2$坐标$(X,Y)$的计算公式为：
  $X = \frac{\sum_{x}\sum_{y} \cdot X \cdot f(x,y)}{\sum_{x}\sum_{y} \cdot f(x,y)}$
  $Y = \frac{\sum_{x}\sum_{y} \cdot Y \cdot f(x,y)}{\sum_{x}\sum_{y} \cdot f(x,y)}$

• 背景学习算法 ：基本思想是对图像背景进行建模。建立背景模型后，将当前图像与背景模型进行比较，根据比较结果检测运动目标。本系统使用的背景模型是单高斯背景模型。
  单高斯背景模型的基本思想是：将图像中每个像素的灰度值视为一个随机过程，像素灰度值服从高斯分布。设$I(x,y,t)$表示像素点$(x,y,t)$在时间$t$的像素灰度值，则：
  $P (I (x, y, t)) = \frac{1}{\sqrt{2\pi\sigma_t}}e^{-\frac{(x - \mu_t)^2}{2\sigma_t^2}}$
  其中，$\mu_t$和$\sigma_t$分别是时间$t$时像素灰度值高斯分布的期望值和标准差。每个像素的背景模型由期望值$\mu_t$和偏差$\sigma_t$组成。

通过背景学习算法和设置合适的阈值，可实现对航行船舶的实时跟踪。例如，以河流场景图像作为背景图像，系统能在存在云、山等影响因素的情况下，依然检测到驶来的船舶。

4. 风险评估与预警系统

4.1 预警区域划分

综合考虑桥梁状况、航道条件、船舶类型、船舶速度和计算机视觉系统硬件等因素，桥梁的监测区域为两侧各 250 米。根据潜在碰撞风险和航道情况，将监测区域分为四个部分：交通区、危险区、预警区和跟踪区。
|区域名称|区域描述|
| ---- | ---- |
|交通区|以航道中心线为中心，宽度为 12.8 米的区域|
|危险区|距离桥梁 50 米以内，距离拱圈边缘 0.5 米的区域|
|预警区|在危险区外 150 米，距离拱圈 1.5 米的区域|
|跟踪区|除上述区域外的监测区域|

对于进入不同区域的船舶，系统有不同的处理方式：
- 进入跟踪区的船舶，跟踪系统自动跟踪其动态航行轨迹。风险评估与预警系统根据测量数据（如距离、速度、航向、最近会遇点和最近会遇时间）进行评估。同时，跟踪系统监测船舶是否存在超速、偏航等危险现象，发现违规操作时主动发出提醒。
- 进入预警区的船舶，系统实时评估船舶碰撞风险。船舶碰撞风险模型由最小安全会遇距离和最短操纵时间组成，这两个参数由船舶速度、类型、吨位、规模和周围环境条件决定。系统根据跟踪系统提供的数据，不断计算最小安全会遇距离和达到最小安全的时间，实时动态判断是否存在船舶碰撞危险。
- 进入危险区且有碰撞危险的船舶，系统主动发出船舶碰撞警报，并通知船舶采取避让措施，尽量避免碰撞事故。船舶违规提醒或碰撞警报通过对讲机或喇叭发出。若碰撞事故不可避免，系统自动发出警报，尽力减少桥上和桥下人员的伤亡。

4.2 系统预警触发方法

• 瞬态预测预警 ：船舶进入预警区时，系统自动启动。基于船舶当前的航行状态和过去短时间的轨迹，预测船舶在短时间内的行为状态和运动位置，并根据预测结果决定是否提高当前预警级别，以获得更多警报响应时间。
• 主动预测预警 ：基于监测区域内船舶的航行轨迹、速度、航向等信息，提取船舶的航行特征，主动预测船舶碰撞概率并提供预警。

4.3 预警事件风险评估

桥梁船舶碰撞预警需考虑碰撞的可能性和危险性。碰撞可能性通过船舶与桥梁的相对位置来考虑，碰撞风险与船舶重量、速度和撞击方向有关。由于通过视觉监测难以获得船舶重量的准确数据，因此用船舶长度代替重量来评估船舶碰撞风险。

当预警事件发生时，系统根据预警事件的位置、船舶大小、速度、航向等信息获得相应的风险评估分数，然后进行加权求和计算预警分数，并在短时间内确定预警级别。具体公式为：
$Q = \sum_{i = 1}^{4}A_i \cdot \omega_i$
其中，$Q$为预警分数，$A_i$为预警事件行为的特征风险分数，$\omega_i$为预警事件行为的特征权重。相关分数和权重如下表所示：
|危险情况|风险分数|预警分数校准|
| ---- | ---- | ---- |
|监测区域（$A_1$）|1（一级区域）
0.5（二级区域）
0.25（三级区域）| - |
|船舶大小（$A_2$）|1（大型：>1000t，>61m）
0.5（中型：500t - 1000t，47 - 61m）
0.25（小型：>50t - <500t，20 - 47m）
0（非常小型：<5t，<20m）| - |
|航行速度（$A_3$）|1（快速：≥5km）
0.5（慢速：<5km）| - |
|船舶航行方向（$A_4$）|1（靠近桥梁：±71.5°）
0.5（远离桥梁或其他方向）| - |

根据船舶预警分数，确定桥梁船舶碰撞的预警级别并采取相应的预警措施：
|序号|预警分数区间|警报级别|
| ---- | ---- | ---- |
|1|[0, 0.7]|无预警|
|2|(0.7, 0.8]|一级预警|
|3|(0.8, 0.9]|中级预警|
|4|(0.9, 1]|紧急预警|

5. 事后记录系统

事后记录系统与智能视频监控系统相结合，帮助记录潜在碰撞事件。桥梁上安装了摄像机，当跟踪系统检测到异常轨迹时，触发记录系统记录现场情况，为事后处理保留证据。

对记录系统的硬件有以下要求：
1. 硬盘容量足够大，能够存储约 2 周的视频。
2. 摄像机分辨率约为 1920×1080 像素，以便在发生碰撞事件时清晰显示船舶和桥梁的细节。
3. 采用具有以太网端口的摄像机，确保传输速度快。
4. 摄像机要足够坚固，能够承受温度变化，工作温度范围为 -20°C 至 +65°C。

6. 现场测试

由于拱宸桥周边景区保护法律严格，在实施该系统之前，先在另一个区域进行了现场测试。测试桥梁位于中国台州船舶进出口主航道上，该区域潮汐急、船舶流量大、船舶类型复杂，有许多码头和泊位，航行环境复杂。桥梁区域宽 1700 米，主航道宽 900 米，根据海事部门测量的交通流量，该区域每天有 272 艘船舶通过。这种复杂的航行环境能够更好地验证主动船舶防撞系统的有效性。

6.1 系统概述

该系统是基于计算机视觉技术和 IPTs 的桥梁船舶防撞智能视频监控系统。硬件平台由视频监控技术构建，主要包括多个工业摄像机、变焦镜头和一台计算机。采用先进的数字 IPTs 作为视频信号分析理论的核心。该系统旨在实现静态和动态识别、实时数据显示、轨迹描述、数据库保存和多级智能报警系统等主要目标。

6.2 监测界面

跟踪系统是多级主动防撞系统的一部分，其系统软件具有以下功能：
1. 实时船舶监测
2. 船舶航行描绘
3. 监测数据显示
4. 预警信息显示
5. 数据存储
6. 报告生成
7. 即时帮助
8. 系统参数配置

三个摄像机的监测图像可以实时同时显示，画面中可以显示由黄色和红色线条分隔的三个监测区域级别。如果识别到船舶，静态和动态船舶可以用矩形框实时锁定。此外，三个监测画面窗口可以缩放。三个摄像机可以实时显示船舶的航行轨迹，轨迹图的背景颜色也显示三个监测区域级别。轨迹图还具有坐标显示功能，坐标值范围可以根据实际值进行校准和输入。

6.3 预警系统

根据三个摄像机监测到的船舶大小、速度、方向和监测区域，通过加权求和获得预警分数，并实时显示。预警分数分为三个级别（一级预警、中级预警和紧急预警），通过相应的阈值分别点亮不同颜色的灯光。紧急预警时，自动触发警报铃声。此外，可以在三个摄像机的监测屏幕上人为定义限制区域，当监测船舶进入限制区域时，自动点亮红色并直接触发警报声。

综上所述，基于计算机视觉的桥梁船舶航行监测系统通过多个子系统的协同工作，能够有效地监测船舶航行情况，评估碰撞风险并及时预警，为桥梁和船舶的安全提供了有力保障。现场测试也表明，该系统在复杂的航行环境中具有较好的有效性。

基于计算机视觉的桥梁船舶航行监测系统解析

7. 系统优势总结

基于计算机视觉的桥梁船舶航行监测系统具有多方面显著优势，具体如下：
- 主动防御能力强 ：区别于传统的被动防撞墩，该系统能够主动监测驶来船舶，提前发现潜在危险并发出警报，将被动防御转变为主动防御，大大降低了船舶与桥梁碰撞的概率。
- 实时监测与精准识别 ：通过先进的图像预处理和目标跟踪方法，系统可以对船舶的大小、位置、速度、方向、轨迹等信息进行实时监测和精准识别，为风险评估和预警提供准确的数据支持。
- 智能风险评估与预警 ：系统根据船舶的各种参数和所处区域，运用科学的风险评估模型，实时计算碰撞风险，并根据预警分数确定预警级别，及时采取相应的预警措施，保障桥梁和船舶的安全。
- 数据记录与分析 ：事后记录系统能够记录潜在碰撞事件，为事故调查和分析提供有力证据。同时，积累的数据也有助于进一步优化系统的性能和风险评估模型。
- 适应复杂环境 ：在现场测试中，系统在潮汐急、船舶流量大、船舶类型复杂的环境下依然能够有效工作，证明了其对复杂航行环境的适应性和可靠性。

8. 实际应用场景拓展

除了上述提到的桥梁船舶防撞场景，该系统还可以在以下实际应用场景中发挥重要作用：
- 港口船舶管理 ：在港口区域，系统可以实时监测船舶的进出港情况、航行轨迹和停泊位置，帮助港口管理人员更好地进行船舶调度和管理，提高港口的运营效率和安全性。
- 内河航运监管 ：对于内河航道，系统可以监测船舶的航行状态，及时发现违规航行行为，如超速、偏航等，并发出预警，保障内河航运的安全和秩序。
- 海洋工程保护 ：在海洋工程设施，如海上石油平台、风力发电场等周围，系统可以监测过往船舶的动态，防止船舶碰撞对海洋工程设施造成损坏，保护海洋资源和环境。

9. 未来发展趋势

随着科技的不断进步和应用需求的增加，基于计算机视觉的桥梁船舶航行监测系统未来可能会朝着以下方向发展：
- 更高的精度和可靠性 ：通过不断改进图像识别算法和硬件设备，提高系统对船舶信息的识别精度和监测的可靠性，减少误报和漏报的情况。
- 多传感器融合 ：结合雷达、激光雷达等其他传感器技术，实现多传感器数据的融合，进一步提高系统对复杂环境的感知能力和对船舶的跟踪精度。
- 人工智能与深度学习应用 ：引入人工智能和深度学习技术，使系统能够自动学习和适应不同的航行环境和船舶行为模式，实现更加智能化的风险评估和预警。
- 远程监控与管理 ：利用物联网和云计算技术，实现系统的远程监控和管理，方便管理人员随时随地获取船舶监测信息和进行系统配置和维护。
- 与其他系统的集成 ：将该系统与船舶自动识别系统（AIS）、交通管理系统等其他相关系统进行集成，实现信息共享和协同工作，提高整个航运领域的管理效率和安全性。

10. 实施建议

如果要实施基于计算机视觉的桥梁船舶航行监测系统，可以参考以下建议：
- 需求分析与规划 ：在实施前，充分了解桥梁的具体情况、航道条件、船舶类型和流量等信息，明确系统的功能需求和性能指标，制定合理的实施规划。
- 硬件选型与安装 ：选择合适的工业摄像机、变焦镜头等硬件设备，确保其具备高分辨率、高稳定性和适应恶劣环境的能力。同时，合理安排硬件设备的安装位置，保证监测范围和效果。
- 软件系统开发与调试 ：根据系统的功能需求，开发相应的软件系统，包括图像预处理、目标跟踪、风险评估、预警等模块。在开发过程中，进行充分的测试和调试，确保系统的稳定性和准确性。
- 人员培训与管理 ：对系统的操作人员进行专业培训，使其熟悉系统的操作流程和功能使用。同时，建立完善的管理制度，确保系统的正常运行和数据的安全。
- 持续优化与改进 ：在系统运行过程中，不断收集和分析数据，根据实际情况对系统进行优化和改进，提高系统的性能和适应性。

11. 总结与展望

基于计算机视觉的桥梁船舶航行监测系统是一种先进的技术解决方案，通过多个子系统的协同工作，能够有效地监测船舶航行情况，评估碰撞风险并及时预警，为桥梁和船舶的安全提供了有力保障。现场测试表明，该系统在复杂的航行环境中具有较好的有效性和可靠性。

未来，随着科技的不断发展和应用需求的增加，该系统有望在更多领域得到广泛应用，并不断提升其性能和功能。同时，我们也期待该系统能够与其他相关技术和系统进行深度融合，为整个航运领域的安全和管理带来更大的变革和提升。

以下是系统工作流程的再次梳理，以 mermaid 流程图呈现：

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px
    classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px

    A([航行船舶]):::startend --> B(船舶监测跟踪系统):::process
    B --> C(桥梁碰撞风险评估与预警系统):::process
    C --> D{是否有碰撞危险?}:::decision
    D -->|是| E(发出警报并通知避让):::process
    D -->|否| F(继续监测):::process
    B --> G(事后记录系统):::process
    E --> G
    F --> B

通过以上的分析和介绍，我们可以看到基于计算机视觉的桥梁船舶航行监测系统在保障桥梁和船舶安全方面具有重要的意义和价值。希望更多的相关部门和企业能够关注和应用这一技术，共同推动航运领域的安全发展。

为了更清晰地展示系统的预警级别和对应措施，再次列出表格：
|序号|预警分数区间|警报级别|对应措施|
| ---- | ---- | ---- | ---- |
|1|[0, 0.7]|无预警|继续正常监测|
|2|(0.7, 0.8]|一级预警|发出轻微提醒，密切关注船舶动态|
|3|(0.8, 0.9]|中级预警|加强警报，通知相关人员关注|
|4|(0.9, 1]|紧急预警|自动触发警报铃声，通知船舶采取紧急避让措施|

同时，系统跟踪系统软件的功能列表再次呈现如下：
1. 实时船舶监测
2. 船舶航行描绘
3. 监测数据显示
4. 预警信息显示
5. 数据存储
6. 报告生成
7. 即时帮助
8. 系统参数配置

这些内容有助于我们更全面地理解和应用基于计算机视觉的桥梁船舶航行监测系统。