【iOS ARKit】人形提取

      为办理人形分离和深度估计问题，ARKit 新增长了 Segmentation Buffer（人体分隔缓冲区）和Estimated Depth Data Buffer（深度估计缓冲区）两个缓冲区。人体分隔缓冲区作用雷同于图形渲染管线中的 Stencil Buffer（模板缓冲区），用于区分人形区域与配景区域，它是一个像素级的缓冲区，用于准确地描述人形区域。
     人体分隔缓冲区用于标识人形区域，所以可以使用非常简单的结构，如使用1标识该像素是人形区域，而用。标识该像素为配景区。人体分隔缓冲区每帧都更新，所以可以动态地追踪摄像头采集的人形变化。
     既然人体分隔缓冲区标识了人形区域，我们也就可以使用该缓冲区提取出场景中的人形以便后续应用，如将人形图像通过网络传输到其他AR装备中，实现雷同虚拟会议的效果；或者将人形图像放入虚拟世界中，营造更绚酷的体验；或者对提取的人形图像进行模糊和打马赛克等处理，实现以往只能使用绿幕才华实现的及时人形捕捉效果。
     为简单起见，本节我们直接获取人体分隔缓冲区数据并将其生存为图像，关键代码如代码如下所示。

1. //
2. //  HumanExtraction.swift
3. //  ARKitDeamo
4. //
5. //  Created by zhaoquan du on 2024/2/4.
6. //
8. import SwiftUI
9. import ARKit
10. import RealityKit
11. import Combine
12. import VideoToolbox
13. import AVFoundation
15. struct HumanExtraction: View {
16.    
17.     var viewModel = HumanExtractionViewModel()
18.    
19.     var arView: ARView {
20.         let arView = ARView(frame: .zero)
21.         
22.         return arView
23.     }
24.    
25.     var body: some View {
26.         HumanExtractionContainer(viewModel: viewModel)
27.             .overlay(
28.             VStack{
29.                 Spacer()
30.                 Button(action:{viewModel.catchHuman()}) {
31.                     Text("截取人形")
32.                         .frame(width:120,height:40)
33.                         .font(.body)
34.                         .foregroundColor(.black)
35.                         .background(Color.white)
36.                         .opacity(0.6)
37.                 }
38.                 .offset(y:-30)
39.                 .padding(.bottom, 30)
40.             }
41.     )
42.         .edgesIgnoringSafeArea(.all)
43.     }
44. }
46. struct HumanExtractionContainer : UIViewRepresentable{
47.    
48.     var viewModel: HumanExtractionViewModel
49.    
50.    
51.     func makeUIView(context: Context) -> some ARView {
52.         let arView = ARView(frame: .zero)
53.         
54.       
55.         
56.         return arView
57.     }
58.    
59.     func updateUIView(_ uiView: UIViewType, context: Context) {
60.         guard ARWorldTrackingConfiguration.supportsFrameSemantics(.personSegmentation) else {
61.             return
62.         }
63.         
64.         let config = ARWorldTrackingConfiguration()
65.         config.frameSemantics = .personSegmentation
66.         uiView.session.delegate = viewModel
67.         uiView.session.run(config)
68.     }
69.    
70.    
71.    
72. }
74. class HumanExtractionViewModel: NSObject,ARSessionDelegate {
75.     var arFrame: ARFrame? = nil
76.     func session(_ session: ARSession, didUpdate frame: ARFrame) {
77.         arFrame = frame
78.     }
79.     func catchHuman(){
80.         if let segmentationBuffer = arFrame?.segmentationBuffer {
81.             
82.             if let uiImage = UIImage(pixelBuffer: segmentationBuffer)?.rotate(radians: .pi / 2) {
83.                 UIImageWriteToSavedPhotosAlbum(uiImage, self, #selector(imageSaveHandler(image:didFinishSavingWithError:contextInfo:)), nil)
84.             }
85.         }
86.     }
87.     @objc func imageSaveHandler(image:UIImage,didFinishSavingWithError error:NSError?,contextInfo:AnyObject) {
88.         if error != nil {
89.             print("保存图片出错")
90.         } else {
91.             print("保存图片成功")
92.         }
93.     }
94.    
95. }
99. extension UIImage {
100.     public convenience init?(pixelBuffer:CVPixelBuffer) {
101.         var cgimage: CGImage?
102.         
103.         VTCreateCGImageFromCVPixelBuffer(pixelBuffer, options: nil, imageOut: &cgimage)
104.         
105.         if let cgimage = cgimage{
106.             
107.             self.init(cgImage: cgimage)
108.             
109.         }else{
110.             return nil
111.         }
112.     }
113.    
114.     func rotate(radians: CGFloat) -> UIImage {
115.         let rotatedSize = CGRect(origin: .zero, size: size).applying(CGAffineTransform(rotationAngle: CGFloat(radians))).integral.size
116.         UIGraphicsBeginImageContext(rotatedSize)
117.         if let context = UIGraphicsGetCurrentContext() {
118.             let origin = CGPoint(x: rotatedSize.width / 2.0, y: rotatedSize.height / 2.0)
119.             context.translateBy(x: origin.x, y: origin.y)
120.             context.rotate(by: radians)
121.             
122.             draw(in: CGRect(x: -origin.y, y: -origin.x, width: size.width, height: size.height))
123.             
124.             let rotateImage = UIGraphicsGetImageFromCurrentImageContext()
125.             UIGraphicsEndImageContext()
126.             
127.             return rotateImage ?? self
128.             
129.         }
130.         
131.         return self
132.     }
133. }

复制代码

     在代码 中，人体分隔缓冲区数据每帧都会更新，所以我们需要从 ARFrame 中及时获取值，然后将缓冲区中的数据转换成图像，由于缓冲区中的数据是直接对应硬件摄像头采集的图像数据，为与屏幕表现保持一致，需要对图像进行90°旋转，生存的图像如下右图所示。

     进行人形提取时，只是提取屏幕空间中的人形图像，无须使用深度信息，因此无须使用personSegmentation WithDepth 语义，只使用 personSegmentation 语义有助于提高应用性能。
具体代码地点：GitHub - duzhaoquan/ARkitDemo

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。