【YoloDeployCsharp】基于.NET Framework的YOLO深度学习模型部署测试平台 ...

1. 项目介绍

     基于.NET Framework 4.8 开发的深度学习模型部署测试平台，提供了YOLO框架的主流系列模型，包括YOLOv8~v9，以及其系列下的Det、Seg、Pose、Obb、Cls等应用场景，同时支持图像与视频检测。模型部署引擎使用的是OpenVINO™、TensorRT、ONNX runtime以及OpenCV DNN，支持CPU、IGPU以及GPU多种装备推理。
     此中，OpenVINO™以及TensorRT的C#接口均为自行开发，项目链接为：
OpenVINO™ C# API ：

1. https://github.com/guojin-yan/OpenVINO-CSharp-API.git

复制代码

TensorRT C# API ：

1. https://github.com/guojin-yan/TensorRT-CSharp-API.git

复制代码

     演示视频：

• 微信：C#模型部署平台：基于YOLOv8目的检测模型的视频检测
  
• 哔哩哔哩：C#模型部署平台：基于YOLOv8目的检测模型的视频检测_哔哩哔哩_bilibili
  

     C#&YOLO系列深度学习模型部署平台页面主要包括四个区域，分别为：模型选择和加载区域、推理区域、输入图像展示区域以及输出结果图像展示区域。如下图所示：

     如下图所示，演示的是使用YOLOv5 Det模型的推理情况，

     同样的方式，我们可以实现多种模型在不同平台的上的推理，如下图所示：

2. 支持模型

     项目在开发时，同时开发了YOLOv5~v9以及YOLO World等YOLO系列模型，模型部署工具使用的是OpenVINO 、TensorRT 、ONNX runtime、OpenCV DNN，但有一些模型部署工具对模型的算子存在不支持情况，因此，对该项目中所使用的所有模型举行了测试，如下表所示：
ModelOpenVINO CPUOpenVINO GPUTensorRT GPUONNX runtime CPUONNX runtime GPUOpenCV DNNYOLOv5 Det✅✅✅✅✅✅YOLOv5 Seg✅✅✅✅✅✅YOLOv5 Cls✅✅✅✅✅YOLOv6 Det✅✅✅✅✅✅YOLOv7 Det✅✅✅✅YOLOv8 Det✅✅✅✅✅✅YOLOv8 Seg✅✅✅✅✅✅YOLOv8 Pose✅✅✅✅✅✅YOLOv8 Obb✅✅✅✅✅✅YOLOv8 Cls✅✅✅✅✅✅YOLOv9 Det✅✅✅✅✅YOLOv9 Seg✅✅✅✅✅✅YOLO World✅✅✅✅3. 时间测试

     在开发的模型部署平台上举行时间测试，当前的测试环境为：

• CPU：11th Intel Core i7-1165G7 2.8GHz
  
• IGPU：Intel Iris Xe Graphics
  
• GPU：NVIDIA GeForce RTX 2060
  

在同一环境下，对此中一些模型举行了测试，如下表所示：
ModelOpenVINO CPUOpenVINO IGPUTensorRT GPUONNX runtime CPUONNX runtime GPUOpenCV DNNYOLOv5s Det53.78 ms28.84 ms22.95 ms95.68 ms29.22 ms178.53 msYOLOv5s Seg119.53 ms43.49 ms31.17 ms144.68 ms42.27 ms500.26 msYOLOv6s Det98.66 ms43.50 ms19.93 ms147.14 ms25.90 msd155.20 msYOLOv8s Det77.06 ms37.54 ms20.04 ms134.05 ms25.82 ms191.34 msYOLOv8s Seg105.55 ms48.45 ms25.91 ms200.01 ms37.24 ms532.16 ms     通过测试结果可以看出：

• 在GPU上：使用独立显卡加速的TensorRT在推理速度上表现是十分优秀的，但使用集成显卡加速的OpenVINO其推理速度也不容小觑，如果上到英特尔的独立显卡，其推理速度应该还会有很大水平上的提升，而ONNX runtime使用独立显卡加速，其推理性能上与TensorRT相比稍逊色；
  
• 在CPU上，OpenVINO 的表现时十分突出的，在使用少少的CPU占用上，其推理速度已经有了很大的提升，而ONNX runtime以及OpenCV DNN占用CPU很大的情况下，其推理速度远不如OpenVINO。
  

4. 总结

     项目源码目前已经在GitHub上开源，项目链接为：

1. https://github.com/guojin-yan/YoloDeployCsharp.git

复制代码

     各位开发者可以根据自己情况加逆行下载，并举行项目配置，此中一些内容的配置可以参考一下文章：

• 最新发布！TensorRT C# API ：基于C#与TensorRT部署深度学习模型
  
• 在 Windows 上使用 OpenVINO™ C# API 部署 Yolov8-obb 实现恣意方向的目的检测 | 开发者实战
  

     最后如果各位开发者在使用中有任何标题，欢迎大家与我联系。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。