【C#使用AI深度学习的方式利用海康摄像头进行库位是否有货的识别】

前言

本文就介绍了C#使用AI深度学习的方式利用海康摄像头进行库位是否有货的识别。

提示：以下是本篇文章正文内容，下面案例可供参考

一、准备工作

1、使用Python完成图片分类模型的训练，并导出ONNX模型文件：
a、安装torch库；
b、安装onnx库；
2、C#环境：NuGet，下载安装
a、OpenCvSharp4
b、Microsoft.ML.OnnxRuntime

二、Python部分

1.Python引入库部分代码

import os
import numpy as np
import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import Dataset, DataLoader
from sklearn.model_selection import train_test_split
from PIL import Image
import torchvision.transforms as transforms
import torchvision.models as models
from tqdm import tqdm
import matplotlib.pyplot as plt
import glob
import onnx
import onnxruntime as ort

2.Python图片分类模型训练主程序代码

def main():
    print("=" * 60)
    print("           🚚 无货物检测系统 (支持ONNX导出)")
    print("=" * 60)
    
    # 创建目录
    os.makedirs('./cargo_dataset/no_cargo', exist_ok=True)
    os.makedirs('./cargo_dataset/has_cargo', exist_ok=True)
    os.makedirs('./models', exist_ok=True)
    
    # 检查数据
    image_extensions = ['jpg', 'jpeg', 'png', 'bmp']
    no_cargo_imgs = []
    has_cargo_imgs = []
    
    for ext in image_extensions:
        no_cargo_imgs.extend(glob.glob(f'./cargo_dataset/no_cargo/*.{ext}'))
        no_cargo_imgs.extend(glob.glob(f'./cargo_dataset/no_cargo/*.{ext.upper()}'))
        has_cargo_imgs.extend(glob.glob(f'./cargo_dataset/has_cargo/*.{ext}'))
        has_cargo_imgs.extend(glob.glob(f'./cargo_dataset/has_cargo/*.{ext.upper()}'))
    
    print("📁 目录结构:")
    print("cargo_dataset/")
    print("  ├── no_cargo/     (存放无货物的图片)")
    print("  └── has_cargo/    (存放有货物的图片)")
    print(f"📊 当前数据统计:")
    print(f"   ✅ 无货物图片: {len(no_cargo_imgs)} 张")
    print(f"   ❌ 有货物图片: {len(has_cargo_imgs)} 张")
    
    if len(no_cargo_imgs) == 0:
        print("\n❌ 请在有货物目录中放入一些图片！")
        print("💡 提示: 在 cargo_dataset/no_cargo/ 目录中放入无货物的图片")
        print("💡 提示: 在 cargo_dataset/has_cargo/ 目录中放入有货物的图片")
        return
    
    # 选择操作
    print("\n请选择操作:")
    print("1. 🏋️  训练新模型并导出ONNX")
    print("2. 🔍 使用PyTorch模型预测")
    print("3. 🚀 使用ONNX模型预测")
    print("4. 📤 转换现有PyTorch模型为ONNX")
    
    choice = input("请输入选择 (1, 2, 3 或 4): ").strip()
    
    if choice == "1":
        train_and_export_onnx()
    elif choice == "2":
        predict_with_pytorch()
    elif choice == "3":
        predict_with_onnx()
    elif choice == "4":
        convert_pytorch_to_onnx()
    else:
        print("❌ 无效选择")

三、C#部分

1.连接海康相机、球机需先到达预置点，抓图

    这部分可以到海康官网下载SDK及Demo：[海康开放平台](https://open.hikvision.com/download/5cda567cf47ae80dd41a54b3?type=10)

2.图片的预处理，使用OpencvSharp,进行各库位区域截取并处理为模型所需的格式。

3.导入onnx模型，并进行模型推理

  private static float[] RunInference(float[] inputTensorData)
  {
      Console.WriteLine("开始模型推理...");

      // 创建推理会话（支持CPU/GPU）
      using var sessionOptions = new SessionOptions();
      // 如需GPU加速，取消下面注释（需安装 Microsoft.ML.OnnxRuntime.Gpu 包）
      // sessionOptions.AppendExecutionProvider_CUDA(0);

      using var session = new InferenceSession(_modelPath, sessionOptions);

      // 构建输入张量（形状：(1,3,224,224)，与 Python 一致）
      var inputTensor = new DenseTensor<float>(inputTensorData, new[] { 1, 3, _inputHeight, _inputWidth });

      // 准备输入容器
      var inputContainer = new List<NamedOnnxValue>
      {
          NamedOnnxValue.CreateFromTensor(_inputName, inputTensor)
      };

      // 执行推理
      using IDisposableReadOnlyCollection<DisposableNamedOnnxValue> results = session.Run(inputContainer);

      // 提取输出结果（模型是 Sigmoid 输出，形状 (1,1)）
      DisposableNamedOnnxValue output = results.FirstOrDefault(r => r.Name == _outputName);
      if (output == null)
      {
          throw new Exception($"未找到输出节点 '{_outputName}'，请检查 ONNX 模型导出配置");
      }

      Tensor<float> outputTensor = output.AsTensor<float>();
      float[] outputScores = outputTensor.ToArray();

      Console.WriteLine("模型推理完成");
      return outputScores;
  }

交流加QQ61537290