RK3588 Android12音频驱动分析全网最全

最近没有搞音频相关的了，在搞BMS, 把之前的经验总结一下。

一、先看一下Android 12音频总架构

从这张图可以看到音频数据流一共经过了3个用户空间层的进程，然后才流到kernel驱动层。Android版本越高，通用性越高，耦合性越低，但是带来的资源开销也越大，延时也越大。本文重要介绍驱动层相关的知识。详细流程可以参考：Android12 AudioFlinger 读写PCM数据-CSDN博客； Android12 Native C++ 层AudioRecord录音AudioTrack播放_android c++ 录制音频-CSDN博客
Android 12 AudioFlinger 分析（RK3588）-CSDN博客
二、ASoC音频驱动框架

2.1 ASoC简介：

ASoC的由来
     ASoC全程ALSA System on Chip ，是基于标准ALSA驱动层封装而来，可以更好地支持嵌入式处理器和移动设备中音频驱动功能。简朴的明白就是ASoC把alsa根据硬件抽象成三个独立的驱动模块。通过snd_soc_dai_link 布局体来毗连到一起构成一个声卡card暴露给用户空间。
ASoc音频系统可以被划分为：板载硬件（Machine）、Soc（Platform）、Codec三大部分，如下图所示：

经典常用DAI(digital audio interface)接口有I2S，PDM，TDM， SPDIF，UART，USB。 控制接口大部分是I2C，SPI。
Platform的作用：
Platform端包含I2S等数字接口驱动，和dma pcm驱动这个是直接调用linux dma功能api，具体dma驱动是别的一套驱动框架。重要作用是按软件设定的格式收发pcm数据。soc传输pcm数据软件层流程（更详细可参考tinyalsa播放录音调用流程-CSDN博客）：

在platform驱动初始化时会申请dma通道设置相关参数如，源地址，目标地址，数据位宽，burst size，传输方向等。I2S IP一样平常会有32个sample的FIFO，I2S驱动会设置一个空闲阀值如15，当I2S IP空闲值大于等于15就会通过Req发信号给DMA IP，DMA收到信号后从指定memory地址(软件层的Ring_Buffer)搬运数据到I2S的FIFO，然后返回Ack信号给I2S IP。DMA搬运数据到达一定值就会产生一个中断给CPU，从而运行DMA中断处理函数更新读写指针等相关参数。录音流程则是返过来。
从上面两个图可以看出，对于满负荷运行场景出现断续卡顿问题除了CPU软件层发生XRUN外，芯片各个模块都高负荷运行内部AXI APB AHB总线带宽可能不够，导致DMA不能实时搬运数据，也就是I2S和DMA硬件也会发生XRUN。这种情况从CPU软件层很难有好的解决方法。
Codec的作用：
数模转换，对于playback是将吸收到的数字信号转换为模仿信号，对于capture是将采集到的模仿信号转换为数字信号发送出去。对于一些高级的codec还提供了多路音源混音，EQ，DRC，AGC，NR降噪等功能。
Machine的作用：
一款PCBA产物可以有很多个codec的音频接口，cpu端的音频接口，Machine驱动的作用就是通过snd_soc_dai_link 布局体把具体的platform，codec链接在一起构成音频通路，注册成一个声卡card暴露给用户空间。
2.2 具体驱动例子：

下面基于RK3588, kernel-5.10平台举个例子：
Platform端(RK3588)，这部分驱动是soc芯片原厂应该做好的:

1. rk3588-evb1-lp4.dtsi：
2. i2s0_8ch: i2s@fe470000 {
3.   compatible = "rockchip,rk3588-i2s-tdm";
4.   reg = <0x0 0xfe470000 0x0 0x1000>;
5.   interrupts = <GIC_SPI 180 IRQ_TYPE_LEVEL_HIGH>;
6.   ......................................
7. };
8. rockchip_i2s_tdm.c：
9. static const struct snd_soc_component_driver rockchip_i2s_tdm_component = {
10.   .name = DRV_NAME,
11. };
12. //这些函数和具体soc有关，操作soc相关寄存器配置i2s，tdm格式
13. static const struct snd_soc_dai_ops rockchip_i2s_tdm_dai_ops = {
14.   .hw_params = rockchip_i2s_tdm_hw_params,//设置bclk，lrclk，采样位宽通道数
15.   .set_sysclk = rockchip_i2s_tdm_set_sysclk,// 设置mclk
16.   .set_fmt = rockchip_i2s_tdm_set_fmt,//设置i2s格式，
17.   .set_tdm_slot = rockchip_dai_tdm_slot,// 设置tdm通道数
18.   .trigger = rockchip_i2s_tdm_trigger,// 启动/停止i2s收发数据
19. };
20. static int rockchip_i2s_tdm_dai_prepare(struct platform_device *pdev,
21.            struct snd_soc_dai_driver **soc_dai)
22. {
23.    struct snd_soc_dai_driver rockchip_i2s_tdm_dai = {
24.     .probe = rockchip_i2s_tdm_dai_probe,
25.     .playback = {
26.       .stream_name = "Playback",
27.       .channels_min = 2,
28.       .channels_max = 16,
29.       .rates = SNDRV_PCM_RATE_8000_192000,
30.       .formats = (SNDRV_PCM_FMTBIT_S8 |....),
31.     },
32.     .capture = {
33.     ...........................
34.     },
35.     .ops = &rockchip_i2s_tdm_dai_ops,
36.   };
37.   *soc_dai = devm_kmemdup(&pdev->dev, &rockchip_i2s_tdm_dai,
38.          sizeof(rockchip_i2s_tdm_dai), GFP_KERNEL);
39.    return 0;
40. }
41. // 解析rk3588-evb1-lp4.dtsi文件 i2s0_8ch节点填充各个参数然后注册一个snd_soc_dai_driver
42. static int rockchip_i2s_tdm_probe(struct platform_device *pdev)
43. {
44.    struct device_node *node = pdev->dev.of_node;
45.    struct device_node *cru_node;
46.    const struct of_device_id *of_id;
47.    struct rk_i2s_tdm_dev *i2s_tdm;
48.    struct snd_soc_dai_driver *soc_dai;
49.    //playback m2d, 地址为i2s的tx fifo
50.    i2s_tdm->playback_dma_data.addr = res->start + I2S_TXDR;
51.    i2s_tdm->playback_dma_data.addr_width = DMA_SLAVE_BUSWIDTH_4_BYTES;
52.    i2s_tdm->playback_dma_data.maxburst = 8;
53.    //capture d2m, 地址为i2s的rx fifo
54.    i2s_tdm->capture_dma_data.addr = res->start + I2S_RXDR;
55.    i2s_tdm->capture_dma_data.addr_width = DMA_SLAVE_BUSWIDTH_4_BYTES;
56.    i2s_tdm->capture_dma_data.maxburst = 8;
57.    dev_set_drvdata(&pdev->dev, i2s_tdm);
58.    // 填充soc_dai各个字段
59.   ret = rockchip_i2s_tdm_dai_prepare(pdev, &soc_dai);
60.    // 注册dai接口
61.   ret = devm_snd_soc_register_component(&pdev->dev,
62.              &rockchip_i2s_tdm_component,
63.               soc_dai, 1);
64.    // 注册dma pcm，会调用到linux dma通用api。
65.   ret = devm_snd_dmaengine_pcm_register(&pdev->dev, NULL, 0);
66. }

复制代码

Codec端驱动是芯片原厂提供，产物开发公司适配调试：

1. rk3588-evb1-lp4.dtsi：
2. &i2c7 {
3.   status = "okay";
4.   es8388: es8388@11 {
5.     status = "okay";
6.     compatible = "everest,es8388", "everest,es8323";
7.     ........................................
8.   };
9. };
10. es8328.c：
11. // 这些函数操作codec寄存器，设置格式等。i2c接口
12. static const struct snd_soc_dai_ops es8328_dai_ops = {
13.   .startup  = es8328_startup,
14.   .hw_params = es8328_hw_params,
15.   .mute_stream  = es8328_mute,
16.   .set_sysclk = es8328_set_sysclk,
17.   .set_fmt  = es8328_set_dai_fmt,
18.   .no_capture_mute = 1,
19. };
20. // dai接口参数
21. static struct snd_soc_dai_driver es8328_dai = {
22.   .name = "es8328-hifi-analog",
23.   .playback = {
24.     .stream_name = "Playback",
25.     .channels_min = 2,
26.     .channels_max = 2,
27.     .rates = ES8328_RATES,
28.     .formats = ES8328_FORMATS,
29.   },
30.   .capture = {
31.   ........................
32.   },
33.   .ops = &es8328_dai_ops,
34.   .symmetric_rates = 1,
35. };
36. // 设置各种控制接口
37. static const struct snd_soc_component_driver es8328_component_driver = {
38. };
39. // 解析rk3588-evb1-lp4.dtsi文件 es8388节点填充各个参数然后注册一个snd_soc_dai_driver
40. int es8328_probe(struct device *dev, struct regmap *regmap)
41. {
42.    return devm_snd_soc_register_component(dev,
43.       &es8328_component_driver, &es8328_dai, 1);
44. }

复制代码

Machine端驱动是产物开发公司实现/调试：

1. rk3588-evb1-lp4.dtsi：
2. es8388_sound: es8388-sound {
3. status = "okay";
4. compatible = "rockchip,multicodecs-card";
5. rockchip,card-name = "rockchip-es8388";
6. rockchip,format = "i2s";
7. rockchip,mclk-fs = <256>;
8. //指定platform端那个dai接口
9. rockchip,cpu = <&i2s0_8ch>;
10. //指定codec端那个dai接口
11. rockchip,codec = <&es8388>;
12. rockchip,audio-routing =
13. "Headphone", "LOUT1",
14. ..............................
15. "RINPUT2", "Headset Mic";
16. };
17. rockchip_multicodecs.c：
18. static int rk_multicodecs_probe(struct platform_device *pdev)
19. {
20.    struct snd_soc_card *card;
21.    struct device_node *np = pdev->dev.of_node;
22.    struct snd_soc_dai_link *link;//该结构体用于绑定platform，codec。
23.   /*一个声卡包含下面三个comment。
24.    */
25.    struct snd_soc_dai_link_component *cpus;
26.    struct snd_soc_dai_link_component *platforms;
27.    struct snd_soc_dai_link_component *codecs;
28.    link = &mc_data->dai_link;
29.    link->name = "dailink-multicodecs";
30.    link->stream_name = link->name;
31.    link->init = rk_dailink_init;
32.    link->ops = &rk_ops; // snd_soc_ops
33.    link->cpus = cpus;
34.    link->platforms = platforms;
35.    link->num_cpus  = 1;
36.    link->num_platforms = 1;
37.    link->ignore_pmdown_time = 1;
38.    card->dai_link = link; //填充
39.    card->num_links = 1;
40.   codecs = devm_kcalloc(&pdev->dev, idx,
41.           sizeof(*codecs), GFP_KERNEL);
42.    link->codecs = codecs;
43.    link->num_codecs = idx;
44.   idx = 0;
45.    for (i = 0; i < count; i++) {
46.      // dts : rockchip,codec = <&es8388>;
47.     node = of_parse_phandle(np, "rockchip,codec", i);
48.      if (!node)
49.        return -ENODEV;
50.      if (!of_device_is_available(node))
51.        continue;
52.     ret = of_parse_phandle_with_fixed_args(np, "rockchip,codec",
53.                 0, i, &args);
54.      if (ret)
55.        return ret;
56.      codecs[idx].of_node = node;
57.     ret = snd_soc_get_dai_name(&args, &codecs[idx].dai_name);
58.      if (ret)
59.        return ret;
60.     idx++;
61.   }
62.    // dts: rockchip,cpu = <&i2s0_8ch>;
63.    link->cpus->of_node = of_parse_phandle(np, "rockchip,cpu", 0);
64.    link->platforms->of_node = link->cpus->of_node;
65.   ret = snd_soc_of_parse_audio_routing(card, "rockchip,audio-routing");
66.    //注册声卡
67.   ret = devm_snd_soc_register_card(&pdev->dev, card);
68. }

复制代码

到此一个声卡就注册成功了，在用户空间可以看到：

1. console:/storage/emulated/0 # cat /proc/asound/cards
2. 0 [rockchipes8388 ]: rockchip-es8388 - rockchip-es8388
3.                       rockchip-es8388

复制代码

2.3 详细声卡驱动注册UML流程图：

2.4 RK 额外提供的Combo DAI :

RK 平台支持恣意 DAI 的组合使用，重组 DAI 生成 Combo DAI，如下图所示：

示例：将 i2s_8ch_2 和 pdm_8ch 组合成 Combo DAI ，如许用户层看到的是一个声卡节点可以同时读写多个i2s，pdm的数据，制止驱动和进程调度导致的动态延时差。

1. &i2s_8ch_2 {
2.      status = "okay";
3.      rockchip,no-dmaengine;
4. };
5. &pdm_8ch {
6.      status = "okay";
7.      rockchip,no-dmaengine;
8. };
9.      &multi-dais {
10.      dais = <&i2s_8ch_2>, <&pdm_8ch>;
11. };

复制代码

三、音频常用协议

3.1 PDM协议（切记固然叫数字麦克风但是tx发送0x55，rx吸收到的并不是0x55）

PDM（Pulse Density Modulation）是一种用数字信号表示模仿信号的调制方法，脉冲的相对密度对应于模仿信号的振幅。同为将模仿量转换为数字量的方法，PCM使用等间隔采样方法，将每次采样的模仿分量幅度表示为N位的数字分量（N = 量化深度），因此PCM方式每次采样的结果都是N bit字长的数据。PDM则使用远高于PCM采样率的时钟采样调制模仿分量，只有1位输出，要么为0，要么为1。因此通过PDM方式表示的数字音频也被称为Oversampled 1-bit Audio。相比PDM一连串的0和1，PCM的量化结果更为直观简朴。
在以PDM方式作为模数转换方法的应用吸收端，需要用到抽取滤波器（Decimation Filter）将密密麻麻的0和1代表的密度分量转换为幅值分量，而PCM方式得到的就已经是幅值相关的数字分量。如下图所示意为通过PDM方式数字化的正弦波。

红色是模仿信号的正玄波，蓝色柱条代表1，白色代表0。可以看到正玄波的peaks蓝色密度最大也就是1最多代表模仿信号幅度最大。正玄波的troughs蓝色最少表示幅度最小。
PCM方式的逻辑更加简朴，但需要用到数据时钟，采样时钟和数据信号三根信号线；PDM方式的逻辑相对复杂，但它只需要两根信号线，即时钟和数据。通过PDM接口方式，传输双声道数据只要用到两根信号线。如下图示为Maxim的Class-D类型功放MAX98358对PDM接口时序的要求，可以看到它在PDM_CLK的上升沿采样左声道数据，在PDM_CLK降落沿采样右声道数据。

PDM MIC sph0690lm4h-1 时序：

3.2 TDM协议

时分复用技术（time-division multiplexing, TDM）是将差别的信号相互交织在差别的时间段内，沿着同一个信道传输；在吸收端再用某种方法，将各个时间段内的信号提取出来还原成原始信号的通讯技术。TDM是在时间大将信道划分在差别的时隙，在差别的时隙上间插差别的脉冲信号，依次来实现时域上多路信号的复用。假设每个输入的数据比特率是9. 6kbit / s ，线路的最大比特率为76. 8 kbit / s ，则可传输8 路信号。这种技术可以在同一个信道上传输多路信号。在音频领域常用于传输多通道pcm数据。

典范TDM格式时序图：

一样平常SOC端每个IP有4跟线，可以设置成I2S，PCM，TDM格式，具体时序检察datasheet为准。
时钟（BCLK）频率的计算：
FSYNC/LRCK的频率等于音频的采样率（例如44.1 kHz，48 kHz等）。Frame每次传输包罗所有声道的数据。PCM采样音频数据量化深度一样平常在16-32bit（最常见为16/24bit）。那么对于8声道，每个声道32bit音频数据，采样率48kHz的系统，TDM的系统时钟速率为：8 × 32 × 48kHz ＝ 12.288 MHz，在一些Datasheet中可以见到TDM128/TDM256/TDM384/TDM512等，数字的含义为单个TDM数据帧包含数据的比特数（即帧长）。如上例8声道（Channels）32bit的音频数据，亦称为TDM256（=8*32）。TDM系统时钟速率就可以简朴地用采样率乘以TDM帧长计算得出。雷同的例子，TDM系统时钟速率：48kHz × 256 ＝ 12.288 MHz。
 
3.3 PCM协议

PCM (Pulse Code Modulation) 脉冲编码调制是将模仿信号数字化的方法。原理是用一个固定的频率对模仿信号进行采样，采样后的信号在波形上看就像一勾通续的幅值不一的脉冲(脉搏似的短暂起伏的电打击)，把这些脉冲的幅值按一定精度进行量化，这些量化后的数值被一连的输出、传输、处理或记录到存储介质中，所有这些构成了数字音频的产生过程(抽样、量化、编码三个过程)。下图为4 bit 采样深度的PCM数据量化示意图。

典范PCM格式时序图：

PCM格式分为长短帧，MODE A, MODE B格式，具体情况看相应datasheet手册。
长帧同步，FSYNC脉冲宽度等于1个Slot的长度。
短帧同步，FSYNC脉冲宽度等于1个BCLK周期长度。
Mode A: 数据在FSYNC有用后，BCLK的第2个上升沿有用(one clock delay)。
Mode B: 数据在FSYNC有用后，BCLK的第1个上升沿有用(no delay)。
3.3 I2S协议
I2S格式是pcm的特例，平常用的最多，用于传输两声道场景。
典范I2S格式时序图：

3.3 总结：
PCM音频接口传输单声道数据常用于通话场景其接口名称为PCM，如蓝牙模块通话时一样平常都是pcm接口，A2DP音频编码数据则是走串口。
常规产物一样平常只需要双声道则使用I2S接口。
对于需要多声道的产物则使用TDM传输多声道的数据。
PDM常用于数字麦(DM),也有用于播放的。
很多芯片带的"i2s"数字音频接口可以支持设置成pcm，i2s，tdm三种格式中的一种用的是同样的物理引脚。
对于一些高级的codec/dsp 一样平常都会有配套上位机和调试板，上位机有ui图形化设置很方便，调试的时间在soc端注册声卡成功后，把codec的i2c接口毗连到调试板上，然后在上位机进行调试，如许可以制止频仍修改驱动代码编译烧录带来的时间斲丧，也不用太过关注datasheet。对于没有上位机的codec，可以在shell命令用i2c-tool工具直接读写修改codec寄存器进行调试。

四、常见问题及调试本事

4.1 播放、录音声音不正常

确定SOC和Codec驱动设置的音频参数如，位宽，采样率，声道数，左右对齐，长短帧，AB格式等是否设置的划一，检察Soc和Codec的datasheet时序图。
使用逻辑分析仪抓数据：
对于播放：应用步伐可以固定写0x1234，0x4567等，用逻辑分析仪抓数据设置对应格式进行解析看看数据是否划一。
对于录音：逻辑分析仪抓数据后设置对应格式解析数据后导出数据到电脑转成bin文件在电脑播放，
同时应用步伐录音文件拷贝到电脑进行播放，对比。清除是codec照旧soc端问题。

4.2 播放、录音断续卡顿

检察cpu loading，应用步伐是否实时收发数据(如APP有其它耗时阻塞操作)，驱动是否发生XRUN，等非常。优化应用步伐，调整进程/线程优先级，调整period_size，period_count值。
示波器抓波形是否有干扰毛刺。
检察I2S，和DMA相关寄存器，Req，Ack是否配对一样，确定芯片内部相关模块是否发生非常XRUN。

4.3 播放、录音有杂音

引起杂音的问题很多，如下枚举常用定位方法：
使用逻辑分析仪和示波器，先确定是硬件问题(模仿电路)照旧软件问题(数字电路)。
确认时钟信号是否准确，查抄 jitter 是否过大，比如，对于 HDA 音频， jitter 小于 0.5 ns。
确认时钟上是否有毛刺，特别是在边沿有用值判断范围电压内，如果出现毛刺，会被芯片辨认为时 钟，导致时序出现问题。
确认 CODEC 电源和地 情况，CODEC 对电源噪声敏感，任何耦合进电源或地的噪声都将导致 CODEC性能降落，底噪增大，出现杂音。
硬件接纳差分电路 克制共模噪声。 查抄硬件 PCB 布局，排查噪声来源。

4.4 播放、录音无声

逻辑分析仪抓波形是否正常，确定是否有数据。
查抄功放，mic是否损坏。示波器查抄codec是否有模仿信号输出。用信号发生器取代mic，或更换mic测试。
通过在软件各层dump数据确定问题在哪一层，如Android12就有权限管理导致应用步伐录音无声问题。
直接使用tinyplay，tinycap，tinymix等调试工具验证。清除hal，framework，app问题。
检察驱动是否有出错日志，DMA是否正常产生中断，检察DAI(I2S PDM)相关状态寄存器是否非常。

4.5 播放POP音

查抄音频链路上电时序。
Mute unmute机制是否公道。
pcm数据是否有突变，软件是否做了fade in，fade out，codec/dsp是否有硬件相关功能参数可以设置。

4.6 Codec常见初始化问题

i2c初始化失败，查抄原理图，地址是否设置对了，datasheet上电时序要求，实验降低i2c速率。
某些功能设置后不生效，可以dump寄存器看看是否和代码写入的划一，设置每个寄存器后加入一定延时。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。