UE5.4.2中使用NCNN库及时pose捕获视频的方法示例

本文中使用的是ue5.4.2中官方自带的Opencv4.55，官方ncnn-20240410-windows-vs2022-shared库，ncnn-assets-master的模子库，举行及时pose捕获，并将关键点显示在UI中。
必要创建ue c++ 项目，新建空白插件NCNNPlugin，复制bin,include,lib到插件目次下的Source\NCNNPlugin中,在NCNNPlugin.Build.cs中加载include、lib、dll,将dll复制到插件目次下的Plugins\NCNNPlugin\Binaries\Win64中（Plugins就是插件目次），再复制一份到项目目次下的XXX\Binaries\Win64中（XXX就是项目目次），其他都不消管，在项目的build.cs中开启插件NCNNPlugin，到这里就完成了插件的创建，NCNN库的加载。
NCNNPlugin.Build.cs

1. // Copyright Epic Games, Inc. All Rights Reserved.
3. using System;
4. using UnrealBuildTool;
5. using System.IO;
7. public class NCNNPlugin : ModuleRules
8. {
9.         public NCNNPlugin(ReadOnlyTargetRules Target) : base(Target)
10.         {
11.                 PCHUsage = ModuleRules.PCHUsageMode.UseExplicitOrSharedPCHs;
12.                 string NCNNPath = Path.Combine(ModuleDirectory, "");
13.                
14.                 Console.WriteLine("ModuleDirectory::::::" + ModuleDirectory);
15.                
16.                 PublicIncludePaths.AddRange(
17.                         new string[] {
18.                                 Path.Combine(ModuleDirectory,"include")
19.                         }
20.                         );
21.                
22.                 PublicAdditionalLibraries.AddRange(new string[]
23.                 {
24.                         Path.Combine(ModuleDirectory,"lib","ncnn.lib"),
25.                 });
26.                
27.                 if (Target.Platform == UnrealTargetPlatform.Win64)
28.                 {
29.                         string DLLPath = Path.Combine(ModuleDirectory, "bin", "ncnn.dll");
30.                         RuntimeDependencies.Add(DLLPath);
31.                         Console.WriteLine("DLLPath::::::" + DLLPath);
32.                        
33.                         PublicDelayLoadDLLs.Add("ncnn.dll");
34.                        
35.                         // 将 DLL 文件复制到项目的二进制目录
36.                         string ProjectBinariesDir = Path.Combine(Target.RelativeEnginePath, "Binaries", Target.Platform.ToString());
37.                         RuntimeDependencies.Add(Path.Combine(ProjectBinariesDir, "ncnn.dll"), StagedFileType.NonUFS);
39.             PublicDefinitions.Add("__ARM_NEON=0");
40.             PublicDefinitions.Add("__SSE2__=0");
41.             PublicDefinitions.Add("__ANDROID_API__=0");
42.             PublicDefinitions.Add("__mips_msa=0");
43.             PublicDefinitions.Add("__loongarch_sx=0");
44.             PublicDefinitions.Add("__riscv_vector=0");
45.             
46.                 }
48.         PrivateIncludePaths.AddRange(
49.                         new string[] {
50.                                 // ... add other private include paths required here ...
51.                         }
52.                         );
53.                        
54.                
55.                 PublicDependencyModuleNames.AddRange(
56.                         new string[]
57.                         {
58.                                 "Core",
59.                                 // ... add other public dependencies that you statically link with here ...
60.                         }
61.                         );
62.                        
63.                
64.                 PrivateDependencyModuleNames.AddRange(
65.                         new string[]
66.                         {
67.                                 "CoreUObject",
68.                                 "Engine",
69.                                 "Slate",
70.                                 "SlateCore",
71.                                 // ... add private dependencies that you statically link with here ...       
72.                         }
73.                         );
74.                
75.                
76.                 DynamicallyLoadedModuleNames.AddRange(
77.                         new string[]
78.                         {
79.                                 // ... add any modules that your module loads dynamically here ...
80.                         }
81.                         );
82.         }
83. }

复制代码

项目的build.cs

1. // Copyright Epic Games, Inc. All Rights Reserved.
3. using UnrealBuildTool;
5. public class NCNN_Thiredparty : ModuleRules
6. {
7.         public NCNN_Thiredparty(ReadOnlyTargetRules Target) : base(Target)
8.         {
9.                 PCHUsage = PCHUsageMode.UseExplicitOrSharedPCHs;
10.        
11.                 PublicDependencyModuleNames.AddRange(new string[]
12.                 {
13.                         "Core",
14.                         "CoreUObject",
15.                         "Engine",
16.                         "InputCore",
17.                         "EnhancedInput",
18.                         "OpenCV",
19.                         "OpenCVHelper",
20.                         "UMG",
21.                         "Slate",
22.                         "SlateCore",
23.                         "ImageWrapper",
24.                         "NCNNPlugin"
25.         });
27.                 PrivateDependencyModuleNames.AddRange(new string[] {  });
29.                 // Uncomment if you are using Slate UI
30.                 // PrivateDependencyModuleNames.AddRange(new string[] { "Slate", "SlateCore" });
31.                
32.                 // Uncomment if you are using online features
33.                 // PrivateDependencyModuleNames.Add("OnlineSubsystem");
35.                 // To include OnlineSubsystemSteam, add it to the plugins section in your uproject file with the Enabled attribute set to true
36.         }
37. }

复制代码

NCNN库的使用
创建Object类NcnnDataClass类，ActorComponent类NCNNTrackComponent，UserWidget类MyCPPWidget类（必要编辑器内创建），BP_UserWidget类（内添加image小部件CVImage）
NcnnDataClass.h(NcnnDataClass.cpp中不消修改)

1. // Fill out your copyright notice in the Description page of Project Settings.
3. #pragma once
5. #include "CoreMinimal.h"
6. #include "UObject/Object.h"
8. #if WITH_OPENCV
9. #include "PreOpenCVHeaders.h"
10. #include "opencv2/opencv.hpp"
11. #include "PostOpenCVHeaders.h"
12. #endif
14. #include "NcnnDataClass.generated.h"
16. struct KeyPoint {
17.         cv::Point2f p;
18.         float prob;
19. };
21. UCLASS()
22. class NCNN_THIREDPARTY_API UNcnnDataClass : public UObject
23. {
24.         GENERATED_BODY()
25. };

复制代码

MyCPPWidget.h(MyCPPWidget.cpp中不消修改)

1. // Fill out your copyright notice in the Description page of Project Settings.
3. #pragma once
5. #include "CoreMinimal.h"
6. #include "Blueprint/UserWidget.h"
7. #include "Components/Image.h"
8. #include "MyCPPWidget.generated.h"
10. /**
11. *
12. */
13. UCLASS()
14. class NCNN_THIREDPARTY_API UMyCPPWidget : public UUserWidget
15. {
16.         GENERATED_BODY()
17. public:
18.         virtual void NativeConstruct() override;
20.     //绑定BP_userwidget中的小部件
21.         UPROPERTY(BlueprintReadWrite,meta = (BindWidget))
22.         UImage* CVImage;
23. };

复制代码

NCNNTrackComponent.h

1. // Fill out your copyright notice in the Description page of Project Settings.
3. #pragma once
4. #include "CoreMinimal.h"
5. #include "Components/ActorComponent.h"
6. #include "ncnn/net.h"
8. #if WITH_OPENCV
9. #include "PreOpenCVHeaders.h"
10. #include "opencv2/opencv.hpp"
11. #include "PostOpenCVHeaders.h"
12. #endif
14. #include "NcnnDataClass.h"
16. #include "NCNNTrackComponent.generated.h"
18. UCLASS(ClassGroup=(Custom), meta=(BlueprintSpawnableComponent))
19. class NCNN_THIREDPARTY_API UNCNNTrackComponent : public UActorComponent
20. {
21.         GENERATED_BODY()
23. public:
24.         // Sets default values for this component's properties
25.         UNCNNTrackComponent();
27. protected:
28.         // Called when the game starts
29.         virtual void BeginPlay() override;
30.         virtual void EndPlay(const EEndPlayReason::Type EndPlayReason) override;
31.        
32. public:
33.         // Called every frame
34.         virtual void TickComponent(float DeltaTime, ELevelTick TickType,
35.                                    FActorComponentTickFunction* ThisTickFunction) override;
36.        
37.         //NCNN
38.         ncnn::Net posenet;
39.         static int detect_posenet(const cv::Mat& bgr, std::vector<KeyPoint>& keypoints, ncnn::Net& posenet);
40.         static void draw_pose(cv::Mat& image, const std::vector<KeyPoint>& keypoints, int radius = 3, const cv::Scalar& color = cv::Scalar(0, 255, 0));
41.        
42.         //UI
43.     //这里需要在创建一个ACtor并添加NCNNTrack组件后在编辑器内指认BP_widget,目的是将该widget->AddToViewport();
45.         UPROPERTY(EditAnywhere,BlueprintReadWrite)
46.         TSubclassOf<UUserWidget> BP_widget;
48.         UPROPERTY(BlueprintReadOnly)
49.         UTexture2D* CVLoadImage;
51.         // OpenCV VideoCapture
52.         cv::VideoCapture VideoCapture;
53.         float FrameTime;
54.         bool bIsVideoPlaying = false;
55.         float AccumulatedTime = 0.0f;
56.         cv::Mat Frame;
57.         cv::Mat FrameBGRA;
58. };

复制代码

NCNNTrackComponent.cpp

1. #include "NCNNTrackComponent.h"
3. #include "MyCPPWidget.h"
4. // 取消冲突宏定义
5. #undef UpdateResource
7. // Sets default values for this component's properties
8. UNCNNTrackComponent::UNCNNTrackComponent()
9. {
10.     PrimaryComponentTick.bCanEverTick = true;
11.     posenet.opt.use_vulkan_compute = true;
12.     posenet.load_param("D:/ue_temp/NCNN_Thiredparty/pose.param");
13.     posenet.load_model("D:/ue_temp/NCNN_Thiredparty/pose.bin");
14. }
16. // Called when the game starts
17. void UNCNNTrackComponent::BeginPlay()
18. {
19.     Super::BeginPlay();
20.    
21.     //加载视频
22.     FString filepath = TEXT("d:/dance.mp4");
23.     UE_LOG(LogTemp, Warning, TEXT("尝试加载视频文件: %s"), *filepath);
25.     // 使用 OpenCV 读取视频
26.     VideoCapture.open(TCHAR_TO_UTF8(*filepath));
27.     if (!VideoCapture.isOpened())
28.     {
29.         UE_LOG(LogTemp, Warning, TEXT("无法加载视频文件: %s"), *filepath);
30.         return;
31.     }
32.     UE_LOG(LogTemp, Warning, TEXT("成功加载视频文件: %s"), *filepath);
34.     // 从视频文件中获取帧速率
35.     double FPS = VideoCapture.get(cv::CAP_PROP_FPS);
36.     if (FPS <= 0)
37.     {
38.         UE_LOG(LogTemp, Warning, TEXT("无法获取帧速率，默认设置为30 FPS"));
39.         FPS = 30.0; // 如果获取失败，默认设置为30 FPS
40.     }
41.     FrameTime = 1.0f / FPS;
42.     bIsVideoPlaying = true;
43.     UE_LOG(LogTemp, Warning, TEXT("视频帧速率: %f FPS"), FPS);
45.     // 初始化纹理
46.     int width = static_cast<int>(VideoCapture.get(cv::CAP_PROP_FRAME_WIDTH));
47.     int height = static_cast<int>(VideoCapture.get(cv::CAP_PROP_FRAME_HEIGHT));
49.     UTexture2D* Texture2D = UTexture2D::CreateTransient(width, height, PF_B8G8R8A8);
50.     if (!Texture2D)
51.     {
52.         UE_LOG(LogTemp, Warning, TEXT("纹理创建失败"));
53.         return;
54.     }
56.     CVLoadImage = Texture2D;
58.     // 创建并设置 UI 小部件
59.     UUserWidget* bpwidget = CreateWidget<UUserWidget>(GetWorld(), BP_widget);
60.     UMyCPPWidget* CPPWidget = Cast<UMyCPPWidget>(bpwidget);
61.     if (CPPWidget && CPPWidget->CVImage)
62.     {
63.         CPPWidget->CVImage->SetBrushFromTexture(CVLoadImage);
64.         CPPWidget->CVImage->Brush.ImageSize = FVector2D(CVLoadImage->GetSizeX(), CVLoadImage->GetSizeY());
65.     }
67.     bpwidget->AddToViewport();
68. }
70. void UNCNNTrackComponent::EndPlay(const EEndPlayReason::Type EndPlayReason)
71. {
72.     Super::EndPlay(EndPlayReason);
73.     if (VideoCapture.isOpened())
74.     {
75.         VideoCapture.release();
76.         UE_LOG(LogTemp, Warning, TEXT("VideoCapture released successfully"));
77.     }
79.     bIsVideoPlaying = false;
80. }
82. void UNCNNTrackComponent::TickComponent(float DeltaTime, ELevelTick TickType,
83.                                         FActorComponentTickFunction* ThisTickFunction)
84. {
85.     Super::TickComponent(DeltaTime, TickType, ThisTickFunction);
86.    
87.     if (!VideoCapture.isOpened() || !bIsVideoPlaying)
88.     {
89.         return;
90.     }
92.     // 累积时间
93.     AccumulatedTime += DeltaTime;
95.     if (AccumulatedTime >= FrameTime)
96.     {
97.         if (VideoCapture.read(Frame))
98.         {
99.             // 调整帧大小至 256x512,这里需要注意视频尺寸需要与模型要求尺寸保持一致关键点才能在正确位置
100.             cv::resize(Frame, Frame, cv::Size(256, 512));
101.             std::vector<KeyPoint> keypoints;
102.             detect_posenet(Frame, keypoints, posenet);
104.             // 如果 FrameBGRA 为空或尺寸不匹配，则初始化
105.             if (FrameBGRA.empty() || FrameBGRA.size() != Frame.size())
106.             {
107.                 FrameBGRA = cv::Mat(Frame.size(), CV_8UC4);
108.             }
110.             // 转换 BGR 图像为 BGRA 格式，并在 FrameBGRA 中保存
111.             cv::cvtColor(Frame, FrameBGRA, cv::COLOR_BGR2BGRA);
112.             draw_pose(FrameBGRA, keypoints);
114.             // 更新纹理
115.             FTexture2DMipMap& MipMap = CVLoadImage->GetPlatformData()->Mips[0];
116.             void* TextureData = MipMap.BulkData.Lock(LOCK_READ_WRITE);
117.             int32 SrcPitch = FrameBGRA.cols * FrameBGRA.elemSize();
118.             int32 DstPitch = MipMap.SizeX * 4;
120.             for (int32 Row = 0; Row < FrameBGRA.rows; ++Row)
121.             {
122.                 FMemory::Memcpy(static_cast<uint8*>(TextureData) + Row * DstPitch, FrameBGRA.ptr(Row), SrcPitch);
123.             }
125.             MipMap.BulkData.Unlock();
126.             CVLoadImage->UpdateResource();
127.         }
129.         // 重置累积时间
130.         AccumulatedTime -= FrameTime;
131.     }
132. }
134. int UNCNNTrackComponent::detect_posenet(const cv::Mat& bgr, std::vector<KeyPoint>& keypoints, ncnn::Net& posenet)
135. {
136.     int w = bgr.cols;
137.     int h = bgr.rows;
139.     // 使用原始尺寸创建输入张量
140.     ncnn::Mat in = ncnn::Mat::from_pixels(bgr.data, ncnn::Mat::PIXEL_BGR2RGB, w, h);
142.     // 数据预处理：减去均值和归一化
143.     const float mean_vals[3] = { 0.485f * 255.f, 0.456f * 255.f, 0.406f * 255.f };
144.     const float norm_vals[3] = { 1 / 0.229f / 255.f, 1 / 0.224f / 255.f, 1 / 0.225f / 255.f };
145.     in.substract_mean_normalize(mean_vals, norm_vals);
147.     ncnn::Extractor ex = posenet.create_extractor();
148.     ex.input("data", in);
150.     ncnn::Mat out;
151.     ex.extract("conv3_fwd", out);
153.     // 解析heatmap以获取关键点
154.     keypoints.clear();
155.     for (int p = 0; p < out.c; p++) {
156.         const ncnn::Mat m = out.channel(p);
158.         float max_prob = 0.f;
159.         int max_x = 0;
160.         int max_y = 0;
161.         for (int y = 0; y < m.h; y++) {
162.             const float* ptr = m.row(y);
163.             for (int x = 0; x < m.w; x++) {
164.                 float prob = ptr[x];
165.                 if (prob > max_prob) {
166.                     max_prob = prob;
167.                     max_x = x;
168.                     max_y = y;
169.                 }
170.             }
171.         }
173.         KeyPoint keypoint;
174.         keypoint.p = cv::Point2f(max_x * w / (float)m.w, max_y * h / (float)m.h);  // 按照原始图像尺寸调整关键点位置
175.         keypoint.prob = max_prob;
177.         keypoints.push_back(keypoint);
178.     }
180.     return 0;
181. }
183. void UNCNNTrackComponent::draw_pose(cv::Mat& image, const std::vector<KeyPoint>& keypoints, int radius,
184.     const cv::Scalar& color)
185. {
186.     // draw joint
187.     for (size_t i = 0; i < keypoints.size(); i++) {
188.         const KeyPoint& keypoint = keypoints[i];
190.         fprintf(stderr, "%.2f %.2f = %.5f\n", keypoint.p.x, keypoint.p.y, keypoint.prob);
192.         if (keypoint.prob < 0.5f)
193.             continue;
195.         // 使用自定义半径和颜色绘制关键点
196.         cv::circle(image, keypoint.p, radius, color, -1);
197.     }
198. }

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。