【iOS ARKit】3D 视频

      在AR 中播放视频也是一种常见的需求，如在一个展厅中放置的假造电视上播放宣传视频，大概在游戏中为营造氛围而设置的假造电视视频播放，大概在识别的2D个人名片上播放自我先容视频，因视频具有静态图像无法比拟的综合信息展示能力，接纳视频比单纯使用图像表达上更充实，本节我们将学习怎样在AR场景中播放视频。
      在 AR场景中播放视频与在普通应用中播放视频有许多雷同之处，但也有许多不一样的地方，在RealityKit 中播放视频，也同样使用 AVFoundation 流媒体框架，但需要将视频作为动态的纹理映射到假造物体表面，基本流程如图 11-4所示。
    使用 AVFoundation 流媒体框架播放视频使用到两个最基本的对象：AVPlayeritem 和AVPlayer。其中 AVPlayerItem 为流媒体资源管理对象，它负责管理视频的基本信息和状态，如视频长度、当前状态、缓存进度等，每一个 AVPlayerItem 对象对应一个视频资源；AVPlayer 为视频播放控制操尴尬刁难象，控制视频的播放、停息、还原等。
     在明白 RealityKit 播放视频的原理与流程后，就可以编写出视频播放代码，为更好地构造代码，新建一个 VideoPlayController 类管理视频播放相干代码，如下代码所示。

1. //
2. //  VideoPlayController.swift
3. //  ARKitDeamo
4. //
5. //  Created by zhaoquan du on 2024/3/22.
6. //
8. import AVFoundation
9. import Foundation
10. import RealityKit
12. public class VideoPlayController {
14.     private var playing = false
15.     private var avPlayer: AVPlayer?
16.     private var avPlayerItem: AVPlayerItem?
17.     private var avPlayerLooper: AVPlayerLooper?
18.     private var videoMaterial: VideoMaterial?
19.     public var material: Material? { videoMaterial }
21.     private func createAVPlayer(_ named: String, withExtension ext: String) -> AVPlayer? {
22.         guard let url = Bundle.main.url(forResource: named, withExtension: ext) else {
23.             return nil
24.         }
26.         let avPlayer = AVPlayer(url: url)
27.         return avPlayer
28.     }
30.     private func createVideoPlayerItem(_ named: String, withExtension ext: String) -> AVPlayerItem? {
31.         guard let url = Bundle.main.url(forResource: named, withExtension: ext) else {
32.             return nil
33.         }
35.         let avPlayerItem = AVPlayerItem(asset: AVAsset(url: url))
36.         return avPlayerItem
37.     }
39.    
40.     init?(_ named: String, withExtension ext: String, useLooper: Bool = false) {
41.         playing = false
42.         let player: AVPlayer?
43.         if useLooper {
44.             let playerItem = createVideoPlayerItem(named, withExtension: ext)
45.             guard let avPlayerItem = playerItem else { return nil }
46.             let queuePlayer = AVQueuePlayer()
47.             avPlayerLooper = AVPlayerLooper(player: queuePlayer, templateItem: avPlayerItem)
48.             self.avPlayerItem = avPlayerItem
49.             player = queuePlayer
50.         } else {
51.             player = createAVPlayer(named, withExtension: ext)
52.         }
53.         avPlayer = player
54.         guard let avPlayer = player else { return nil }
55.         avPlayer.actionAtItemEnd = .pause
56.         avPlayer.pause()
57.         videoMaterial = VideoMaterial(avPlayer: avPlayer)
58.         videoMaterial?.controller.audioInputMode = .spatial
59.         //if(avPlayerItem?.status == AVPlayerItem.Status.readyToPlay){}
60.         NotificationCenter.default.addObserver(self, selector: #selector(VideoDidReachEndNotificationHandler(_:)), name: NSNotification.Name.AVPlayerItemDidPlayToEndTime, object: avPlayer.currentItem)
61.     }
63.     public func reset() {
64.         guard let avPlayer = self.avPlayer else { return }
65.         avPlayer.pause()
66.         avPlayer.seek(to: .zero)
67.         playing = false
68.     }
70.     public func sceneUpdate() {
71.         guard playing, let avPlayer = avPlayer else { return }
72.         if avPlayer.timeControlStatus == .paused {
73.             avPlayer.seek(to: .zero)
74.             avPlayer.play()
75.         }
76.     }
78.     public func enablePlayPause(_ enable: Bool) {
79.         playing = enable
80.         guard let avPlayer = self.avPlayer else { return }
81.         if playing, avPlayer.timeControlStatus == .paused {
82.             avPlayer.play()
83.         } else if !playing, avPlayer.timeControlStatus != .paused {
84.             avPlayer.pause()
85.         }
86.     }
87.    
88.     @objc func VideoDidReachEndNotificationHandler(_ notification:NSNotification){
89.         print("播放完了")
90.     }
92.     deinit {
93.         NotificationCenter.default.removeObserver(self)
94.     }
95.    
96. }

复制代码

     在代码中，起首根据是否需要循环播放可在构造函数中分别使用 AVPlayer 大概AVPlayerLooper 构建视频播放控制器，然后设置视频播放完毕后的状态，最后使用视频资源作为材质创建VideoMaterial 对象。除此之外，在代码中还新建了几个控制视频播放的方法以便调用。
    代码中设置了视频播放时音频的播放方式，RealityKit 在播放视频时允许其音频以几种不同的方式播放，音频播放方式由 AudioResource. InputMode 枚举形貌，详细如下表所示。

枚举值	形貌
nonSpatial	不考虑声源位置与方向，以配景音乐方式播放音频
spatial	3D音效，考虑声源的位置与方向
ambient	只考虑声源的方向，不考虑声源位置，声音音量不会出现随距离变化的特性

     在代码中，我们也对视频播放完毕事件举行了处置惩罚，需要留意的是，播放视频时的事件处置惩罚方式与 RealityKit 中其他事件处置惩罚方式有些不一样，播放视频的事件使用了 AVFoundation 中更一般的事件机制，详细支持事件及一般处置惩罚方法可参阅AVFoundation 相干资料。
留意⚠️视频播放完毕事件只有在视频以不循环播放类型播放时才会触发，另外，添加的事件监听应当在不需要时移除，如本例中在析构函数中移除。
     除了可以播放当地视频资源，AVFoundation 也支持通过 HTTP 大概 HTTPS播放网络流媒体资源，但需要留意的是，网络视频资源加载受网速、网络连接等因素影响，具有不确定性，在视频播放之前，务必先查抄当前视频资源的可用性，如代码清单11-4中第49行的注释一样，以防止出现不可预知的题目（播放网络视频资源通常应当先缓冲，确保资源在播放前可用）。
     视频加载并转换成视频材质之后，就可以像普通材质一样使用，示例代码如下所示。

1. //
2. //  Video3DView.swift
3. //  ARKitDeamo
4. //
5. //  Created by zhaoquan du on 2024/3/26.
6. //
8. import SwiftUI
9. import ARKit
10. import RealityKit
11. import Combine
13. struct Video3DView: View {
14.     static var arView:ARView!
15.     var body: some View {
16.         Video3DViewContainer().overlay(
17.             VStack{
18.                 Spacer()
19.                 HStack{
20.                     Button(action:{Video3DView.arView.playOrPause()}) {
21.                         Text("播放/暂停")
22.                             .frame(width:120,height:40)
23.                             .font(.body)
24.                             .foregroundColor(.black)
25.                             .background(Color.white)
26.                             .opacity(0.6)
27.                     }
28.                     .offset(y:-30)
29.                     .padding(.bottom, 30)
30.                     Button(action: {Video3DView.arView.reset()}) {
31.                         Text("重播")
32.                             .frame(width:120,height:40)
33.                             .font(.body)
34.                             .foregroundColor(.black)
35.                             .background(Color.white)
36.                             .opacity(0.6)
37.                     }
38.                     .offset(y:-30)
39.                     .padding(.bottom, 30)
40.                 }
41.                 Spacer().frame(height: 40)
42.             }
43.     ).navigationTitle("3D视频").edgesIgnoringSafeArea(.all)
44.     }
45. }
46. var videoPlayController : VideoPlayController!
47. struct Video3DViewContainer:UIViewRepresentable {
48.    
49.     func makeUIView(context: Context) -> some ARView {
50.         let arView = ARView(frame: .zero)
51.         let config = ARWorldTrackingConfiguration()
52.         config.planeDetection = .horizontal
53.         Video3DView.arView = arView
54.         
55.         arView.session.run(config)
56.         arView.createVideoPlane()
57.         return arView
58.     }
59.    
60.     func updateUIView(_ uiView: UIViewType, context: Context) {
61.         
62.     }
63.    
64. }
66. var play = false;
67. extension ARView{
68.     func createVideoPlane(isLoop: Bool = false){
69.         videoPlayController  = VideoPlayController("video2", withExtension: "mp4", useLooper:false)
70.         guard let vPlayController = videoPlayController,
71.               let planeMaterial = videoPlayController.material else {return}
72.         let planeAnchor = AnchorEntity(plane:.horizontal)
73.         let boxMesh = MeshResource.generatePlane(width: 0.2, height: 0.4, cornerRadius: 0)
74.         let boxEntity = ModelEntity(mesh: boxMesh,materials: [planeMaterial])
75.         boxEntity.generateCollisionShapes(recursive: false)
76.         planeAnchor.addChild(boxEntity)
77.         self.scene.addAnchor(planeAnchor)
78.         self.installGestures(.all,for:boxEntity)
79.     }
80.     func playOrPause(){
81.         play = !play
82.         videoPlayController.enablePlayPause(play)
83.     }
84.     func reset(){
85.         videoPlayController.reset()
86.         videoPlayController.enablePlayPause(true)
87.     }
88.    
90.    
91. }

复制代码

 RealityKit 播放视频的效果如下图所示。

   

图 11-5 在 RealityKit 中播放视频效果图     

     通过本节的学习，我们知道了在 RealityKit 中播放视频实际上是使用了动态纹理映射的方式，VideoMaterial 与其他全部的材质类型一样，可以使用到任何物体表面、平面、曲面上，由于现在 RealityKit并不支持Shader，所以我们可以使用视频材质作为替换方案实现诸如发光、闪耀、描边等特效，更简单地使用 VideoMaterial的代码如下所示。

1. let planeAnchor = AnchorEntity(plane:. horizontal)
2. let planeMesh = MeshResource. generatePlane(width: 0. 3, height: 0.2, cornerRadius:0)
3. let asset = AVURIAsset (url: Bundle. main. url (forResource: "video",withExtension: "mp4")! )
4. let playerItem = AVPlayerIten(asset:asset)
5. let player = AVPlayer ( )
6. let planeEntity = ModelEntity(mesh: planeMesh, materials: [VideoMaterial (aPlayer:player) ])
7. player. replaceCurrentItem(with: playerItem)
8. player. play()
9. planeEntity. generateCollisionShapes(recursive: false)
10. planeAnchor. addChild(planeEntity)
11. self. scene. addAnchor (planeAnchor)

复制代码

        在举行 AR 体验共享时，视频材质与其他材质一样，可以自动举行同步及播放，无须开发人员举行额外处置惩罚，在可播放视频格式类型方面，AVFoundation 支持的视频格式其都支持。
详细代码地址：GitHub - duzhaoquan/ARkitDemo

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。