语音识别--声音位置与起始位置检测

⚠申明：未经许可，禁止以任何形式转载，若要引用，请标注链接地址。全文共计3077字，阅读大概需要3分钟
🌈更多学习内容，欢迎👏关注👀【文末】我的个人微信公众号：不懂开发的程序猿
个人网站：https://jerry-jy.co/

❗❗❗知识付费，🈲止白嫖，有需要请后台私信或【文末】个人微信公众号联系我

语音识别--声音位置与起始位置检测

声音位置与起始位置检测
- 一、任务需求
- 二、任务目标
- - - - 1、掌握声音峰值检测方法
      - 2、掌握声音起始位置检测方法
- 三、任务环境
- - - - 1、jupyter开发环境
      - 2、python3.6
      - 3、tensorflow2.4
- 四、任务实施过程
- - 1、声音位置检测
  - 2、声音起始位置检测
- 五、任务小结
说明

声音位置与起始位置检测

一、任务需求

在本实验中，我们将学习如何通过检测声音强度，来确定声音的位置，及起始位置。

声音（起始）位置检测非常重要，例如对声音样本进行剪辑等。

要求：利用librosa识别声音峰值位置和起始位置

二、任务目标

1、掌握声音峰值检测方法

2、掌握声音起始位置检测方法

三、任务环境

1、jupyter开发环境

2、python3.6

3、tensorflow2.4

四、任务实施过程

1、声音位置检测

首先要学习的是函数librosa.onset.onset_detect，它通过在起始强度包络中挑选峰值来定位音符起始事件。

函数参数说明如下：

y:音频时间序列
sr:采样率
onset_envelope:预先计算的起始强度包络（可选参数）
units:编码检测到的起始事件的单位。默认情况下，使用“帧”。
backtrack:是否将检测到的起始事件回溯到最近的先前能量最小值

加载工具和数据

import librosa
import numpy as np

import librosa.display
import matplotlib.pyplot as plt

import IPython.display as ipd

y, sr = librosa.load('/home/jovyan/datas/classic_rock_beat.wav')

ipd.Audio(y,rate=sr)

计算声音位置对应的帧

# 估计开始的帧数
onset_frames = librosa.onset.onset_detect(y, sr=sr)
print(onset_frames)

[ 20  29  38  57  66  75  84  93 103 112 121 131 140 149 158 167 176 185196 204 213 232 241 250 260 269 278 288]

将帧转换为帧所对应的时间

onset_times = librosa.frames_to_time(onset_frames)
print(onset_times)

[0.46439909 0.67337868 0.88235828 1.32353741 1.53251701 1.74149661.95047619 2.15945578 2.39165533 2.60063492 2.80961451 3.041814063.25079365 3.45977324 3.66875283 3.87773243 4.08671202 4.295691614.55111111 4.73687075 4.94585034 5.38702948 5.59600907 5.804988666.03718821 6.2461678  6.45514739 6.68734694]

将声音转换为频谱图，并叠加声音位置

S = librosa.stft(y)
logS = librosa.amplitude_to_db(abs(S))

fig,ax = plt.subplots(nrows=2,sharex=True,figsize=(12,6))
librosa.display.specshow(logS,x_axis='time', y_axis='log',cmap='coolwarm',ax=ax[0])
ax[0].vlines(onset_times, 0, 10000, color='r')
ax[0].set_title('Spectrogram Show')librosa.display.waveplot(y,ax=ax[1])
ax[1].vlines(onset_times, y.min(), y.max(), color='r')
ax[1].set_title('Wave Show')

Text(0.5, 1.0, ‘Wave Show’)

在这里插入图片描述
红色竖线对应了声音位置，无论频谱图还是波形图，声音检测位置都十分准确。

2、声音起始位置检测

接下来我们将使用librosa.onset.onset_backtrack检测声音的起始位置，也称为回溯检测，本质是检测声音位置到最近的能量函数的前一个局部最小值。

该函数接收以下参数：

events: 事件帧（声音位置帧）的索引列表，由onset_detect计算得到
energy: 能量函数

接下来我们通过实验来学习如何寻找声音起始位置。

首先需要使用librosa.onset.onset_strength获取声音的能量函数

然后使用librosa.onset.onset_backtrack获取声音起始位置帧

oenv = librosa.onset.onset_strength(y=y, sr=sr)
onset_bt = librosa.onset.onset_backtrack(onset_frames, oenv)

plt.plot(oenv)

[<matplotlib.lines.Line2D at 0x7ff7cbe44d68>]

在这里插入图片描述

该图显示了声音在不同帧数的能量函数。

对频谱图强度做RMS均方根计算，得到频谱图的强度。

rms = librosa.feature.rms(S=S)
onset_bt_rms = librosa.onset.onset_backtrack(onset_frames, rms[0])

plt.plot(rms.T)

[<matplotlib.lines.Line2D at 0x7ff7cbdc4dd8>]

在这里插入图片描述

通过onset_backtrack函数，我们计算得到音频强度对应的起始位置。

将帧转换为时间位置，方便绘图

onset_bt_rms_time = librosa.frames_to_time(onset_bt_rms)

将检测到的声音起始位置叠加在之前的librosa.onset.onset_detect图上，方便比较二者的区别。

fig,ax = plt.subplots(nrows=2,sharex=True,figsize=(12,6))
librosa.display.specshow(logS,x_axis='time', y_axis='log',cmap='coolwarm',ax=ax[0])
ax[0].vlines(onset_times, 0, 10000, color='r',linestyle='--',linewidth=1,label='onset events')
ax[0].vlines(onset_bt_rms_time, 0, 10000, color='k',label='Backtrack detecte')
ax[0].set_title('Spectrogram Show')
ax[0].legend(bbox_to_anchor=(1.05, 1.0),loc='upper left')librosa.display.waveplot(y,ax=ax[1])
ax[1].vlines(onset_times, y.min(), y.max(), color='r',linestyle='--',linewidth=1)
ax[1].vlines(onset_bt_rms_time, y.min(), y.max(), color='k')
ax[1].set_title('Wave Show')