当前位置: 首页 > news >正文

Ubuntu实时读取音乐软件的音频流

文章目录

  • 一. 前言
  • 二. 开发环境
  • 三. 具体操作
  • 四. 实际效果

一. 前言

起因是这样的,我需要在Ubuntu中,实时读取正在播放音乐的音频流,然后对音频进行相关的处理。本来打算使用的Pipewire+Helvum的方式实现,好处是可以直接利用Helvum图形化工具对软件输出的音频进行重定向,但是由于使用的是Ubuntu20.04,默认的音频服务器使用的是PulseAudio,替换为Pipewire后,播放的音频会出现卡顿不流畅,最终还是使用原生的PulseAudio+pavucontrol来实现实时播放的音频的处理。

二. 开发环境

Ubuntu: Ubuntu 20.04.6 LTS

虚拟机: VMware Workstation 17 Pro

音频服务器: PluseAudio

音频IO库: Portaudio

音频驱动: Alsa

开发语言: C/C++

三. 具体操作

举个例子,我们需要在Ubuntu中实时获取QQ音乐目前正在播放的音频流,我们需要按如下步骤进行操作:

1. 创建虚拟设备:

pactl load-module module-null-sink sink_name=music sink_properties=device.description="Virtual_Music_Sink"  

终端输入指令,通过加载module-null-sink模块,PulseAudio 创建了一个虚拟的音频输出设备,其名称为 “music”。该虚拟设备不会直接输出声音,但它会自动生成一个监控源,记录所有发送到该虚拟设备的音频数据。

指令部分作用
pactlPulseAudio 控制工具(PulseAudio Control)
load-module加载一个 PulseAudio 模块
module-null-sink加载 Null Sink 模块,创建一个虚拟音频输出设备
sink_name=music指定新创建的虚拟设备名称为 music
sink_properties=device.description=“Virtual_Music_Sink”设置设备的描述信息,在pavucontrol中显示为 “Virtual_Music_Sink”

2. 设置 QQ 音乐的音频输出:


pavucontrol

终端输入指令,pavucontrol打开(PulseAudio 音量控制工具),在 “Playback” 选项卡中将 QQ 音乐的输出设备改为你刚创建的 “music” 虚拟设备。

3. 将虚拟设备输出到扬声器中:

为了保证你能听到音频,还需要把虚拟设备"music" 的音频输出送到物理扬声器。这可以通过加载module-loopback环回模块实现:

pactl load-module module-loopback source=music.monitor sink=alsa_output.pci-0000_02_02.0.analog-stereo
部分作用
pactlPulseAudio 控制工具(PulseAudio Control)
load-module加载一个 PulseAudio 模块
module-loopback加载 Loopback 模块,用于将音频流从一个设备转发到另一个设备
source=music.monitor指定 音频来源 为 music.monitor(虚拟设备 music 的监控源)
sink=alsa_output.pci-0000_02_02.0.analog-stereo指定音频目标为 alsa_output.pci-0000_02_02.0.analog-stereo(物理扬声器)

需要注意的是:sink后面的物理扬声器信息需要根据自己的电脑来定。

4. 在 PortAudio 中捕捉音频:


// PortAudio回调函数
static int paCallback(const void* inputBuffer, void* outputBuffer,
                      unsigned long framesPerBuffer,
                      const PaStreamCallbackTimeInfo* timeInfo,
                      PaStreamCallbackFlags statusFlags,
                      void* userData)
{
    return paContinue;
}

int main()
{
    PaStreamParameters inputParameters;
    inputParameters.device = Pa_GetDefaultInputDevice();

    inputParameters.channelCount = 1;            
    inputParameters.sampleFormat = paFloat32;    
    const PaDeviceInfo* deviceInfo = Pa_GetDeviceInfo(inputParameters.device);
    inputParameters.suggestedLatency = deviceInfo->defaultLowInputLatency;
    inputParameters.hostApiSpecificStreamInfo = nullptr;

    PaStream* stream = nullptr;
    Pa_OpenStream(&stream,
                        &inputParameters,
                        nullptr,              // 不使用输出流
                        SAMPLE_RATE,
                        FRAMES_PER_BUFFER,
                        paNoFlag,
                        paCallback,
                        nullptr);

    Pa_StartStream(stream);

	while(1)
	{}
}

5. pavucontrol修改程序音频入口:


打开pavucontrol后,在Recording中,把启动的应用程序的输入入口修改为Virtual_Music_Sink,这样就把程序的录音入口修改为我们的虚拟设备,由于前面我们使用load-module环回模块,已将QQ音乐中的输出重定向至Virtual_Music_Sink虚拟设备中,那么此时,Portaudio收到的input设备获得的音频流便是QQ音乐输出的音频流。

四. 实际效果

通过上述操作,我们可以采集到的QQ音乐中播放的音频,我们实时去捕捉音频中的节奏点,再通过Implot画出实时的歌曲的音频曲线和节奏信息,效果如下:


如果希望捕获的音频流的延时更低,可以将Ubuntu的内核版本替换为lowlatency低延时版本(默认是Generic Kernel),具体的操作可以参考这篇文章:Ubuntu切换lowlatency内核教程。

相关文章:

  • 网络世界探索之旅:网络编程
  • 深入解析组合模式(Composite Pattern):概念、结构与应用
  • 可视化动态表单动态表单界的天花板--Formily(阿里开源)
  • 阿里云国际站代理商:服务器网页如何应对恶意网络爬虫?
  • ENSP学习day8
  • HAL库中使用空闲中断+DMA接收数据,接收失败的问题
  • 详解简单选择排序
  • css基础-display 常用布局
  • 1.企业级AD活动目录核心解析:架构、组件与集成实践
  • 【漫话机器学习系列】154.岭回归(Ridge Regression)
  • 【MySQL笔记】库操作与表操作
  • LabVIEW发电平台数据采集系统
  • 云计算中的DevOps是什么?为什么它很重要?
  • SmolVLM2: 让视频理解能力触手可及
  • 介绍一个测试boostrap表格插件的好网站!
  • MyBatisSystemException:Parameter ‘item‘ not found.
  • Unity/C# 常用XML读写方式详解(LINQ to XML、XmlReader/Writer)
  • SLAM十四讲【一】基本概念
  • GPT-5 将免费向所有用户开放?
  • 记录flutter编译项目遇到的问题
  • 肖峰读《从塞北到西域》︱拉铁摩尔的骆驼
  • 印巴战火LIVE丨“快速接近战争状态”?印度袭击巴军事基地,巴启动反制军事行动
  • 人民日报钟声:平等对话是解决大国间问题的正确之道
  • 印巴冲突升级,巴基斯坦股市重挫7.29%,创5年来最大单日跌幅
  • 大四本科生已发14篇SCI论文?学校工作人员:已记录汇报
  • 李公明︱一周书记:浪漫主义为什么……仍然重要?