人工智能如何赋能物联网?EDGE AI →
  1. Home
  2. 博客

    使用 LE Audio 与 nRF5340 合成和传输音频

使用 LE Audio 与 nRF5340 合成和传输音频 2023-12-14 Rein G. Bentdal, Nordic Semiconductor

nRF5340 上的 LE Audio 能带来许多令人兴奋的新应用

最近,我对音乐制作和音频设备的创造产生了浓厚的兴趣。学生时代在Nordic工作时,我了解到了通过蓝牙传输音频的知识,这让我很感兴趣。尤其是令人兴奋的蓝牙 LE 音频,据说它能以更低的比特率和更少的延迟获得更好的音频质量。在演奏乐器时,你希望自己的动作和声音响应之间的延迟很小。我想测试一下是否可以利用 nRF5340 通过一个简单的键盘接口控制产生悦耳的声音,并看看延迟是否足以不影响我的演奏。

该应用程序由发声装置、合成器和接收耳机组成。LE Audio 可以同步发送与耳机左右部分相对应的两个音频流。

应用示意图

该应用程序基于 Nordic nrf5340_audio 演示应用程序,但针对合成器用例进行了精简和专门化。应用程序的主要关注点是合成器和键盘输入部分。

系统设计

系统设计

该合成器的结构高度模块化,可以轻松加入或排除不同的模块,并测试不同的音频合成拓扑结构。所提供的设置演示了合成器的不同方面,如复调振荡器、效果和音频同步时间相关性。

合成器模块从按钮模块接收关于播放和停止播放哪个音符的信息。这些音符可以转换成音序器,或者在本例中转换成琶音器。琶音器与时间相关,因此需要一个时间源。我们必须使用与处理后音频的时间感同步的时间源。这就是 tick_provider 的功能,它为处理的每个音频块增加时间。tick 提供者向订阅模块发送 tick。这与 MIDI 同步不同音频源的方法相同,因此可以实现 MIDI 同步。

对于复调合成,我们需要多个振荡器,其数量与一次可以演奏的音符数量相等。 key_assign 会跟踪当前激活的振荡器,并以先激活(激活时间最长的振荡器)的方式将音符分配给振荡器。如果没有不活动的振荡器,它将把新音符分配给第一个活动的(活动时间最长的振荡器)振荡器。默认情况下,应用程序配置有五个振荡器。即使播放的琶音器超过 5 个音符,也很难注意到最后一个处于活动状态的音符被切断。

在 audio_process_start 中,应用程序被配置为单声道音频编码。所有模块也都以单声道构建。修改应用程序以处理立体声音频并不难。例如,可以将回声效果转换为立体声乒乓延时效果。在使用回声效果之前,先将单声道声音分成左右两个声道。然后将这些通道输入回声效果。确保在 sw_codec_encode 中正确设置 pcm_size,以便进行立体声编码。

信号处理

音频以 N 个采样块为单位进行处理,在 audio_process 中启动。定时器确保新块的处理间隔与音频采样率相匹配。这或许应直接与蓝牙连接间隔同步,以便进一步开发。

使用 16 位位深度。DSP 主要使用定点格式的整数。因此,在 interger_math 中定义了fixed16类型和相关操作。由于该应用程序专门针对 nRF5340,因此在某些情况下使用了 SoC 中包含的 DSP 指令,并通过 dsp_instruction 进行了抽象。

下面的代码块(来自 oscillator.c)是一个产生频率由 phase_increment 决定的正弦波的示例。phase_accumulate[24:31] 的高 8 位用于选择要使用的存储样本,而 phase_increment[8:23] 则用于确定这两个样本之间的插值。然后是信号的应用幅度。

for (uint32_t i = 0; i < block_size; i++) {

  /* upper 8 bit as 256-value sample index */

  uint32_t wave_index = osc->phase_accumulate >> 24;

  /* interpolate between the two samples for better audio quality */

  uint32_t interpolate_pos = (osc->phase_accumulate >> 8) & UINT16_MAX;

  block[i] = FIXED_INTERPOLATE_AND_SCALE(sinus_samples[wave_index], sinus_samples[wave_index + 1], interpolate_pos, osc->magnitude);

  /* increment waveform phase */

  osc->phase_accumulate += osc->phase_increment;

}

在 integer_math 中提供了 FIXED_INTERPOLATE_AND_SCALE,以便使用 CPU 上的 DSP 指令高效地执行这一计算。

在当前的应用配置下,当所有振荡器都处于激活状态时,nRF5340 应用内核的使用率约为 80%。当连接两个耳机设备时,约有 40% 的应用内核被使用。其中很大一部分可能是 LC3 编码器。

延迟

低功耗蓝牙的最小连接间隔为 7.5 毫秒。音频处理每 7.5 毫秒启动一次,以匹配连接间隔。因此,处理过程不会增加延迟。LE 音频中的新 LC3 编解码器取代了 SBC 编解码器,应该会大大减少延迟。但在此特定应用中尚未进行测试。输入按钮的消抖时间为 50 毫秒。不过,这并不会造成延迟。这是因为在实现过程中,每当有新的中断触发时,按钮状态就会发生变化。消抖时间结束后,通过读取引脚值来测试这一假设。这将导致偶尔出现错误的按钮状态,但在消抖时间后会再次纠正。这并没有导致测试中出现任何听觉假象。

结果

由此产生的应用程序演示了使用 BLE LE 音频传输合成器音频的功能系统。有关如何测试应用程序的说明,请查看 Github repo。下面是使用的设置图片: 2 个nRF5340 Audio DK 作为耳机,1 个 nRF5340 DK 作为合成器:

设置图片

虽然没有进行定量分析以确定总延迟,但我认为在弹奏键盘并聆听所产生的声音时,延迟并不明显。我相信 nRF5340 上的 LE Audio 能带来许多令人兴奋的新应用。

如需完整指南,请查看项目 README 文件。

订阅Nordic新闻简报

了解最新信息!订阅后即可获取最新Nordic及物联网资讯

立即订阅