qidao123.com ToB IT社区-企服评测·应用市场

标题: iOS - 音频: Core Audio - 播放 [打印本页]

---

作者: 拉不拉稀肚拉稀    时间: 2025-9-19 09:44
标题: iOS - 音频: Core Audio - 播放
情况

   iOS 18
  Xcode 16.3
  swift-driver version: 1.120.5 Apple Swift version 6.1 (swiftlang-6.1.0.110.21 clang-1700.0.13.3)
Target: x86_64-apple-macosx15.0
  Core Audio 的架构

声音数据的形貌

sample: 一个声道采样的值,采样率界说了每秒从连续信号中提取并组成离散信号的采样个数，它用赫兹（Hz）来表示。

frame: 一个时间常量内的sample的聚集
packet: 一个或多个连续的帧
AudioStreamBasicDescription

1. // CoreAudioBaseTypes.h
2. // 音频的格式信息
3. struct AudioStreamBasicDescription
4. {
5.     Float64             mSampleRate;  // 采样率
6.     AudioFormatID       mFormatID;    // 采样格式类型
7.     AudioFormatFlags    mFormatFlags; // 采样格式标志位
8.     UInt32              mBytesPerPacket;   // 每个packet的字节数
9.     // 每个packet的frame数，在未压缩的音频中 mFramesPerPacket == 1
10.     UInt32              mFramesPerPacket;
11.     UInt32              mBytesPerFrame;    // 每个frame的字节数
12.     UInt32              mChannelsPerFrame; // 每个frame的声道数
13.     UInt32              mBitsPerChannel;   // 每个通道的比特数
14.     UInt32              mReserved;         // 保留
15. };
16. typedef struct AudioStreamBasicDescription  AudioStreamBasicDescription;

复制代码

1. CF_ENUM(AudioFormatID)
2. {
3.     kAudioFormatLinearPCM               = 'lpcm',
4.     kAudioFormatAC3                     = 'ac-3',
5.     kAudioFormat60958AC3                = 'cac3',
6.     kAudioFormatAppleIMA4               = 'ima4',
7.     kAudioFormatMPEG4AAC                = 'aac',
8.     kAudioFormatMPEG4CELP               = 'celp',
9.     kAudioFormatMPEG4HVXC               = 'hvxc',
10.     kAudioFormatMPEG4TwinVQ             = 'twvq',
11.     kAudioFormatMACE3                   = 'MAC3',
12.     kAudioFormatMACE6                   = 'MAC6',
13.     kAudioFormatULaw                    = 'ulaw',
14.     kAudioFormatALaw                    = 'alaw',
15.     kAudioFormatQDesign                 = 'QDMC',
16.     kAudioFormatQDesign2                = 'QDM2',
17.     kAudioFormatQUALCOMM                = 'Qclp',
18.     kAudioFormatMPEGLayer1              = '.mp1',
19.     kAudioFormatMPEGLayer2              = '.mp2',
20.     kAudioFormatMPEGLayer3              = '.mp3',
21.     kAudioFormatTimeCode                = 'time',
22.     kAudioFormatMIDIStream              = 'midi',
23.     kAudioFormatParameterValueStream    = 'apvs',
24.     kAudioFormatAppleLossless           = 'alac',
25.     kAudioFormatMPEG4AAC_HE             = 'aach',
26.     kAudioFormatMPEG4AAC_LD             = 'aacl',
27.     kAudioFormatMPEG4AAC_ELD            = 'aace',
28.     kAudioFormatMPEG4AAC_ELD_SBR        = 'aacf',
29.     kAudioFormatMPEG4AAC_ELD_V2         = 'aacg',
30.     kAudioFormatMPEG4AAC_HE_V2          = 'aacp',
31.     kAudioFormatMPEG4AAC_Spatial        = 'aacs',
32.     kAudioFormatMPEGD_USAC              = 'usac',
33.     kAudioFormatAMR                     = 'samr',
34.     kAudioFormatAMR_WB                  = 'sawb',
35.     kAudioFormatAudible                 = 'AUDB',
36.     kAudioFormatiLBC                    = 'ilbc',
37.     kAudioFormatDVIIntelIMA             = 0x6D730011,
38.     kAudioFormatMicrosoftGSM            = 0x6D730031,
39.     kAudioFormatAES3                    = 'aes3',
40.     kAudioFormatEnhancedAC3             = 'ec-3',
41.     kAudioFormatFLAC                    = 'flac',
42.     kAudioFormatOpus                    = 'opus',
43.     kAudioFormatAPAC                    = 'apac',
44. };

复制代码

1. CF_ENUM(AudioFormatFlags)
2. {
3.     kAudioFormatFlagIsFloat                     = (1U << 0),     // 0x1
4.     kAudioFormatFlagIsBigEndian                 = (1U << 1),     // 0x2
5.     kAudioFormatFlagIsSignedInteger             = (1U << 2),     // 0x4
6.     kAudioFormatFlagIsPacked                    = (1U << 3),     // 0x8
7.     kAudioFormatFlagIsAlignedHigh               = (1U << 4),     // 0x10
8.     kAudioFormatFlagIsNonInterleaved            = (1U << 5),     // 0x20
9.     kAudioFormatFlagIsNonMixable                = (1U << 6),     // 0x40
10.     kAudioFormatFlagsAreAllClear                = 0x80000000,
11.        
12.     kLinearPCMFormatFlagIsFloat                 = kAudioFormatFlagIsFloat,
13.     kLinearPCMFormatFlagIsBigEndian             = kAudioFormatFlagIsBigEndian,
14.     kLinearPCMFormatFlagIsSignedInteger         = kAudioFormatFlagIsSignedInteger,
15.     kLinearPCMFormatFlagIsPacked                = kAudioFormatFlagIsPacked,
16.     kLinearPCMFormatFlagIsAlignedHigh           = kAudioFormatFlagIsAlignedHigh,
17.     kLinearPCMFormatFlagIsNonInterleaved        = kAudioFormatFlagIsNonInterleaved,
18.     kLinearPCMFormatFlagIsNonMixable            = kAudioFormatFlagIsNonMixable,
19.     kLinearPCMFormatFlagsSampleFractionShift    = 7,
20.     kLinearPCMFormatFlagsSampleFractionMask     = (0x3F << kLinearPCMFormatFlagsSampleFractionShift),
21.     kLinearPCMFormatFlagsAreAllClear            = kAudioFormatFlagsAreAllClear,
22.        
23.     kAppleLosslessFormatFlag_16BitSourceData    = 1,
24.     kAppleLosslessFormatFlag_20BitSourceData    = 2,
25.     kAppleLosslessFormatFlag_24BitSourceData    = 3,
26.     kAppleLosslessFormatFlag_32BitSourceData    = 4
27. };

复制代码

  About the name: Although this data type has “stream” in its name, you use it in every instance where you need to represent an audio data format in Core Audio—including in non-streamed, standard files. You could think of it as the “audio format basic description” data type. The “stream” in the name refers to the fact that audio formats come into play whenever you need to move (that is, stream) audio data around in hardware or software.
  范例中的stream只是表示播放的概念,这里界说的就是iOS音频格式的形貌
获取声音的格式信息

1. public func audioFormat() -> AudioStreamBasicDescription? {
2.         var size: UInt32 = 0
3.         var audioFile: AudioFileID? // 使用可选类型
4.         var status = AudioFileOpenURL(self.path as CFURL, .readPermission, 0, &audioFile)
5.         guard status == noErr else {
6.             print("*** Error *** filePath: \(self.path) -- code: \(status)")
7.             return nil
8.         }
9.         
10.         // 获取音频数据格式
11.         var dataFormat = AudioStreamBasicDescription()
12.         size = UInt32(MemoryLayout<AudioStreamBasicDescription>.size)
13.         
14.         status = AudioFileGetProperty(
15.             audioFile!,
16.             kAudioFilePropertyDataFormat,
17.             &size,
18.             &dataFormat
19.         )
20.         
21.         // 可选：检查属性获取是否成功
22.         guard status == noErr else {
23.             print("Failed to get data format: \(status)")
24.             AudioFileClose(audioFile!) // 关闭文件防止泄漏
25.             return nil
26.         }
27.         
28.         return dataFormat
29. }

复制代码

我加载的是一个44.1kHz,双声道的mp3文件
778924083 = 0x2E6D7033 => “.mp3”
AudioStreamPacketDescription

1. // CoreAudioBaseTypes.h
2. // 表示每个音频packet的数据
3. struct  AudioStreamPacketDescription {
4.     // For example, if the data buffer contains 5 bytes of data, with one byte per packet, then the start offset for the last packet is 4. There are 4 bytes in the buffer before the start of the last packet.
5.     // 偏移量
6.     // 比如缓冲区有5字节的数据,当每个packet包含1个字节,那最后一个包的这个值就是4
7.     SInt64  mStartOffset;
8.     UInt32  mVariableFramesInPacket; // frame的个数,如果是格式是CBR按常量编码的,这个值设置为0
9.     UInt32  mDataByteSize; // 字节数
10. };
11. typedef struct AudioStreamPacketDescription AudioStreamPacketDescription;

复制代码

Proxy Objects,Properties, Scopes, Elements

名称说明Proxy Objects音频文件,流的代码抽象Properties管理对象的状态或活动Scopes作用域:输入/输出Elements详细的装备,比如蓝牙,有线…Properties的key一样平常是个常量值，比如 kAudioFilePropertyFileFormat大概kAudioQueueDeviceProperty_NumberChannels.
回调函数: 与Core Audio交互

Core Audio接口通过回调函数与应用交互，一样平常有下面几种场景

• 音频数据传送到应用步调（比方用于录制;然后通过回调将新数据写入磁盘）
  
• 从应用步调哀求音频数据（比方用于播放;回调从磁盘/内存读取并提供数据）。
  
• 通知应用步调音频对象已更改状态（回调会实验适当利用，比如更新界面）。
  

回调函数实现分两步: 注册 && 回调
干系框架

名称说明AVFoundation提供AVAudioPlayer类,这是一个用于音频播放的简化的原生接口，还提供AVAudioEngine类,用于更复杂的音频处置惩罚AudioToolbox为Core Audio中的高级服务提供接口，包罗Audio Session服务，用于在iOS管理应用步调的音频活动，允许应用步调利用音频插件，包罗音频单位和编解码器OpenAL提供了与OpenAL共同利用的接口CoreAudioTypes提供Core Audio利用的数据范例以及低级服务的接口。

示例

播放音乐

利用AudioToolbox.framework

1. func play() {
2.         var format = self.audioFormat()
3.         guard format != nil else {
4.             return;
5.         }
6.         
7.         // 打开音频文件
8.         var status = AudioFileOpenURL(path as CFURL, .readPermission, 0, &audioFile)
9.         guard status == noErr else {
10.             return
11.         }
12.         
13.         let context = UnsafeMutableRawPointer(Unmanaged.passUnretained(self).toOpaque())
14.         /**
15.         Audio Queue（音频队列）是 iOS 或 Mac OS X 中用来 录音 或 播放音频 的软件对象。它由 AudioQueueRef 数据类型表示，在 AudioQueue.h 中声明
16.         音频队列的工作是:
18.         * 连接音频硬件
19.         * 管理内存
20.         * 根据需要，为压缩音频格式使用编解码器
21.         * 调解录音或回放
22.         */
23.         // 创建输出队列,注册回调函数
24.         status = AudioQueueNewOutput(&format!, playbackCallback, context, nil, nil, 0, &queue)
25.         guard status == noErr else {
26.             print("Create new output queue error")
27.             return
28.         }
29.         
30.         status = AudioFileGetProperty(audioFile!, kAudioFilePropertyPacketSizeUpperBound, &size, &maxPacketSize)
31.         guard status == noErr else {
32.             print("Get maxPacketSize property error")
33.             return
34.         }
35.         
36.         // 计算缓冲区大小
37.         // For uncompressed audio, the value is 1. For variable bit-rate formats, the value is a larger fixed number, such as 1024 for AAC. For formats with a variable number of frames per packet, such as Ogg Vorbis, set this field to 0.
38.         // MP3的值是1152
39.         if format!.mFramesPerPacket != 0 {
40.             // 每秒的包的数量 = 采样率/每个包的帧数
41.             // 比如MP3每秒采样44100次,每个包有1152帧,两者相除就是每秒的包数量
42.             let numPacketsPerSecond = format!.mSampleRate / Double(format!.mFramesPerPacket)
43.             // 每秒的包的数量 * 包大小的理论峰值, 即1s内占用内存的峰值
44.             outBufferSize = UInt32(numPacketsPerSecond * Double(maxPacketSize))
45.         } else {
46.             outBufferSize = max(maxBufferSize, maxPacketSize)
47.         }
48.         
49.         // 调整缓冲区大小
50.         if outBufferSize > maxBufferSize && outBufferSize > maxPacketSize {
51.             outBufferSize = maxBufferSize
52.         } else if outBufferSize < minBufferSize {
53.             outBufferSize = minBufferSize
54.         }
55.         
56.         // 计算包数量并分配包描述数组
57.         // 每次读取的包的数量 = 缓冲区大小 / 包大小的理论峰值
58.         numPacketsToRead = outBufferSize / maxPacketSize
59.         packetDescs = UnsafeMutablePointer<AudioStreamPacketDescription>.allocate(capacity: Int(numPacketsToRead))
60.         packetDescs?.initialize(repeating: AudioStreamPacketDescription(), count: Int(numPacketsToRead))
61.         
62.         // 分配3个缓冲区
63.         for i in 0..<maxBufferNum {
64.             var buffer: AudioQueueBufferRef?
65.             /**
66.              Once allocated, the pointer to the buffer and the buffer's size are fixed and cannot be
67.              changed. The mAudioDataByteSize field in the audio queue buffer structure,
68.              AudioQueueBuffer, is initially set to 0.
69.             
70.              @param      inAQ
71.              // 分配缓冲区的音频队列
72.              The audio queue you want to allocate a buffer.
73.              @param      inBufferByteSize
74.              // 缓冲区大小
75.              The desired size of the new buffer, in bytes. An appropriate buffer size depends on the
76.              processing you will perform on the data as well as on the audio data format.
77.              @param      outBuffer
78.              // 指向新创建的缓冲区
79.              On return, points to the newly created audio buffer. The mAudioDataByteSize field in the
80.              audio queue buffer structure, AudioQueueBuffer, is initially set to 0.
81.              @result     An OSStatus result code.
82.              */
83.             AudioQueueAllocateBuffer(queue!, outBufferSize, &buffer)
84.             buffers[i] = buffer
85.             // 预先读maxBufferNum个缓冲区
86.             audioQueueOutput(audioQueue: queue!, queueBuffer: buffer!)
87.         }
88.         
89.         // 启动队列
90.         AudioQueueStart(queue!, nil)
91.     }

复制代码

在回调方法中读取音频文件并将数据入队供体系的队列播放

1. private let playbackCallback: AudioQueueOutputCallback = {
2.         inUserData,          // UnsafeMutableRawPointer?
3.         inAQ,                // AudioQueueRef
4.         buffer               // AudioQueueBufferRef
5.         in
6.         
7.         // 1. 保护
8.         guard let inUserData = inUserData else { return }
9.         
10.         // 2. 将指针转换为对象实例
11.         let player:AudioToolboxTest = Unmanaged<AudioToolboxTest>.fromOpaque(inUserData).takeUnretainedValue()
12.         
13.         // 3. 实际处理逻辑
14.         // 处理音频缓冲区
15.         player.audioQueueOutput(audioQueue: inAQ, queueBuffer: buffer)
16.     }

复制代码

1. public func audioQueueOutput(audioQueue: AudioQueueRef, queueBuffer audioQueueBuffer: AudioQueueBufferRef) {
2.         var ioNumBytes = outBufferSize
3.         var ioNumPackets = numPacketsToRead
4.         
5.         // 读取音频文件
6.         let status = AudioFileReadPacketData(
7.             audioFile!,  // 音频文件
8.             false, // 是否缓存
9.             // on input the size of outBuffer in bytes.
10.             // on output, the number of bytes actually returned.
11.             // 输入场景等于缓存大小
12.             // 输出场景:比如播放根据文件的实际情况
13.             &ioNumBytes, // 包的长度
14.             packetDescs, // 音频包信息
15.             packetIndex, // 索引值
16.             &ioNumPackets, // 包的个数
17.             audioQueueBuffer.pointee.mAudioData // 读取到的数据
18.         )
19.         
20.         guard status == noErr else {
21.             print("Error reading packet data: \(status)")
22.             return
23.         }
24.         
25.         if ioNumPackets > 0 {
26.             // 设置音频缓冲区数据大小
27.             audioQueueBuffer.pointee.mAudioDataByteSize = ioNumBytes
28.             
29.             // 将音频数据入队列让系统去播放
30.             AudioQueueEnqueueBuffer(
31.                 audioQueue,
32.                 audioQueueBuffer,
33.                 ioNumPackets,
34.                 packetDescs
35.             )
36.             
37.             // 更新包的索引值
38.             self.packetIndex += Int64(ioNumPackets)
39.         }
40.     }

复制代码

示例工程
参考

• Apple Core Audio Doc
  
• AudioFileOpenURL(:::😃
  
• iOS音频(1)——AudioToolbox
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 qidao123.com ToB IT社区-企服评测·应用市场 (https://dis.qidao123.com/)

Powered by Discuz! X3.5