IOS 关于ARKi利用

ARSCNView利用

1. var sceneView: ARSCNView = ARSCNView(frame: UIScreen.main.bounds)
2. let configuartion = ARWorldTrackingConfiguration()
3.     //会话session ARSessionDelegate 会话状态更新相关代理方法
4.         sceneView.session.delegate = self
5.         //ARSCNViewDelegate 节点场景管理相关代理方法
6.         sceneView.delegate = self
7.         
8.         // 自动对焦开启
9.         configuartion.isAutoFocusEnabled = true
10.         //平面检测方向
11.         configuartion.planeDetection = .horizontal
12.         //光线估计
13.         configuartion.isLightEstimationEnabled = true
14.         /*
15.          使用提供的配置运行会话，
16.          resetTracking 移动到新环境重新扫描追踪
17.          */
18.         sceneView.session.run(configuartion, options: [.resetTracking,.removeExistingAnchors])
19.          //调试参数
20.         sceneView.debugOptions = [SCNDebugOptions.showFeaturePoints]

复制代码

1 加载立体模型
3d模型网站
https://sketchfab.com/3d-models/coin-d41feb2c10ed4c06ad4b8134ccaba516 自己上去找模型

加载这个模型到场景中

1. sceneView.scene = SCNScene(named: "ship.scn", inDirectory: "models.scnassets/ship") ?? SCNScene()

复制代码

2 识别图片

1.      var images :[UIImage] = []
2.         for i in 1...19{
3.             let image = UIImage(named: "AR\(i)")
4.             images.append(image!)
5.         }
6.         configuartion.detectionImages = loadedImagesFromDirectoryContents(images)
7.   
8.   
9.   //其实可以直接加载图片文件的，这样图片直接转ARSet更直接一点
10.    func loadedImagesFromDirectoryContents(_ images: [UIImage]) -> Set<ARReferenceImage>{
12.         var index = 0
13.         var customReferenceSet = Set<ARReferenceImage>()
15.         images.forEach { (downloadedImage) in
17.             //1. Convert The UIImage To A CGImage
18.             guard let cgImage = downloadedImage.cgImage else { return }
20.             //2. Get The Width Of The Image
21.             let imageWidth = CGFloat(cgImage.width)
23.             //3. Create A Custom AR Reference Image With A Unique Name
24.             let customARReferenceImage = ARReferenceImage(cgImage, orientation: CGImagePropertyOrientation.up, physicalWidth: imageWidth)
25.             customARReferenceImage.name = "MyCustomARImage\(index)"
27.             //4. Insert The Reference Image Into Our Set
28.             customReferenceSet.insert(customARReferenceImage)
30.             print("ARReference Image == \(customARReferenceImage)")
32.             index += 1
35.         }
38.         //5. Return The Set
39.         return customReferenceSet
41.     }
42.    
43.    
44.    
45.     //在ARSCNViewDelegate方法里
46.    
47.      func renderer(_ renderer: any SCNSceneRenderer, didAdd node: SCNNode, for anchor: ARAnchor) {
48.      
49.         if let imageAnchor = anchor as? ARImageAnchor{
50.             let image = imageAnchor.referenceImage
52.             if let imagename = image.name, imagename.hasPrefix("AR"){
53.                print("识别出来图片")
54.             }
55.         }
56.         
57.         //加载3d数据识别出来立体物体，具体如下
58.          if let objectAnchor = anchor as? ARObjectAnchor {
59.               print("Detected object: \(objectAnchor.referenceObject.name ?? "Unknown")")
60.               
61.              }
62.      }      
63.         

复制代码

视觉算法 Vision识别

1. //获取当前会话帧数据
2.     func getCurrentFrameImage(from session: ARSession) -> UIImage? {
3.         guard let currentFrame = session.currentFrame else {
4.             print("当前没有 ARFrame")
5.             return nil
6.         }
7.         let pixelBuffer = currentFrame.capturedImage
8.         let ciImage = CIImage(cvPixelBuffer: pixelBuffer)
9.         let context = CIContext()
10.         guard let cgImage = context.createCGImage(ciImage, from: ciImage.extent) else {
11.             return nil
12.         }
13.         return UIImage(cgImage: cgImage)
14.     }
15.    
16.    
17.      func matchImages(image1: UIImage, image2: UIImage, completion: @escaping (Bool) -> Void) {
18.         guard let cgImage1 = image1.cgImage, let cgImage2 = image2.cgImage else {
19.             completion(false)
20.             return
21.         }
22.         let request1 = VNGenerateImageFeaturePrintRequest()
23.         let request2 = VNGenerateImageFeaturePrintRequest()
24.         
25.         let request3 = VNDetectRectanglesRequest()
26.             request3.minimumConfidence = 0.8
27.             request3.minimumAspectRatio = 0.1
28.             request3.maximumAspectRatio = 1.0
29.             request3.quadratureTolerance = 10
30.         
31.         let handler1 = VNImageRequestHandler(cgImage: cgImage1, options: [:])
32.         let handler2 = VNImageRequestHandler(cgImage: cgImage2, options: [:])
33.         let handler3 = VNImageRequestHandler(cgImage: cgImage1, options: [:])
35.         do {
36.             try handler1.perform([request1])
37.             try handler2.perform([request2])
38.             try handler3.perform([request3])
40.             guard let featurePrint1 = request1.results?.first as? VNFeaturePrintObservation,
41.                   let featurePrint2 = request2.results?.first as? VNFeaturePrintObservation else {
42.                 completion(false)
43.                 return
44.             }
45.             
46.             if let observations = request3.results as? [VNRectangleObservation], !observations.isEmpty{
47.                 // 假设目标区域是第一个匹配的矩形
48.                 let boundingBox = observations.first?.boundingBox
49.                 print("boundRext: \(boundingBox)")
50.             }
52.             var distance: Float = 0
53.             try featurePrint1.computeDistance(&distance, to: featurePrint2)
54.             print("匹配值 \(distance)")
55.             completion(distance < 0.8) // 设定相似度阈值
56.         } catch {
57.             print("匹配失败：\(error)")
58.             completion(false)
59.         }
60.     }
61.    
62.     //当前数据和所有图片集对比
63.     func handleFrame(session: ARSession,frame: ARFrame){
64.         let i = frame.timestamp - (self.currentFrmae?.timestamp ?? 0)
65. //        print("time i\(i)")
66.         if i < 1{
67.             return
68.         }
69.         self.currentFrmae = frame
70.         guard let frameImg = getCurrentFrameImage(from: session) else{return}
71.         var isMatched:Bool = false
72.         for img in self.images{
73. //            if compareImages(image1: frameImg, image2: img) == 1{
74. //                isMatched = true
75. //                break
76. //            }
77.             let im1 = frameImg
78.             let im2 = img
79.             matchImages(image1: frameImg, image2: img) { [weak self]isok in
80.                 if isok{
81.                     DispatchQueue.main.async {
82.                         self?.showToast()
83.                     }
84.                 }
85.             }
86.         }
87.     }

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。