使用pyannote-audio实现声纹分割聚类

使用pyannote-audio实现声纹分割聚类

1 简单介绍

pyannote.audio是用Python编写的用于声纹分割聚类的开源工具包。在PyTorch机器学习基础上，不仅可以借助性能优越的预训练模型和管道实现声纹分割聚类，还可以进一步微调模型。

它的主要功能有以下几个：

  1. 声纹嵌入：从一段声音中提出声纹转换为向量（嵌入）；
  2. 声纹识别：从一段声音中识别不同的人（多个人）；
  3. 声纹活动检测：检测一段声音检测不同时间点的活动；
  4. 声纹重叠检测：检测一段声音中重叠交叉的部分；
  5. 声纹分割；将一段声音进行分割；

pyannote.audio中主要有”segmentation“、”embedding“和”speaker-diarization“三个模型，”segmentation“的主要作用是分割、”embedding“主要作用是嵌入（跟wespeaker-voxceleb-resnet34-LM作用相同），”speaker-diarization“的作用是使用管道对上面两个模型整合。

pyannote-audio的参考地址

# Huggingface地址
https://hf-mirror.com/pyannote# Github地址
https://github.com/pyannote/pyannote-audio

⚠️ 注意： pyannote.audio不同的版本有些区别；

2 使用pyannote.audio:3.1.3

2.1 安装pyannote.audio

pip install pyannote.audio==3.1.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

使用模型需要现在huggingface上下载模型，模型如下：

⚠️ pyannote.audio的部分模型是收到保护的，即需要在huggingface登录后，填写部分信息，同意相关协议才能下载，否则无法下载。

# 1 嵌入模型 pyannote/wespeaker-voxceleb-resnet34-LM 
https://hf-mirror.com/pyannote/wespeaker-voxceleb-resnet34-LM# 2 分割模型 pyannote/segmentation-3.0
https://hf-mirror.com/pyannote/segmentation-3.0

使用huggingface-cli下载相关模型的命令：

# 注意：需要先创建Python环境# 安装huggingface-cli
pip install -U huggingface_hub# 例如下载pyannote/embedding模型
# 必须提供Hugging上的 --token hf_****
huggingface-cli download --resume-download pyannote/embedding --local-dir pyannote/embedding --local-dir-use-symlinks False --token hf_****

注意两个类

# Inference主要用于声纹嵌入
pyannote.audio import Inference# Annotation主要用于声纹分割
from pyannote.core import Annotation# Annotation中的主要方法，假设实例为；diarization
# 获取声音中说话人的标识
labels = diarization.labels()# 获取声音中全部的活动Segment（列表）
segments = list(diarization.itertracks())# 获取声音中指定说话人时间段（列表），”SPEAKER_00“为第一个说话人的标识
durations = diarization.label_timeline('SPEAKER_00')

2.2 实现声纹分割

注意：pyannote/speaker-diarization-3.1实现声纹识别特别慢，不知道是不是我的方法不对（30分钟的音频，处理了20多分钟）。⚠️ 使用单个模型很快。pyannote/speaker-diarization（版本2）较快，推荐使用pyannote/speaker-diarization（版本2）。

注意：此处加载模型和通常加载模型的思路不同，常规加载模型直接到名称即可，此处需要加载到具体的模型名称。

（1）使用python方法

# 使用 pyannote-audio-3.1.1
import timefrom pyannote.audio import Model
from pyannote.audio.pipelines import SpeakerDiarization
from pyannote.audio.pipelines.utils import PipelineModel
from pyannote.core import Annotation# 语音转向量模型
embedding: PipelineModel = Model.from_pretrained("E:/model/pyannote/pyannote-audio-3.1.1/wespeaker-voxceleb-resnet34-LM/pytorch_model.bin")
# 分割语音模型
segmentation: PipelineModel = Model.from_pretrained("E:/model/pyannote/pyannote-audio-3.1.1/segmentation-3.0/pytorch_model.bin")# 语音分离模型
speaker_diarization: SpeakerDiarization = SpeakerDiarization(segmentation=segmentation, embedding=embedding)# 初始化语音分离模型的参数
HYPER_PARAMETERS = {"clustering": {"method": "centroid","min_cluster_size": 12,"threshold": 0.7045654963945799},"segmentation":{"min_duration_off": 0.58}
}
speaker_diarization.instantiate(HYPER_PARAMETERS)start_time = time.time()# 分离语音
diarization: Annotation = speaker_diarization("E:/语音识别/数据/0-test-en.wav")# 获取说话人列表
print(diarization.labels())
# 获取活动segments列表
print(list(diarization.itertracks()))
print(diarization.label_timeline('SPEAKER_00'))ent_time = time.time()
print(ent_time - start_time)

（2）使用yml方法

# instantiate the pipeline
from pyannote.audio import Pipeline
from pyannote.core import Annotationspeaker_diarization = Pipeline.from_pretrained("E:/model/pyannote/speaker-diarization-3.1/config.yaml")# 分离语音
diarization: Annotation = speaker_diarization("E:/语音识别/数据/0-test-en.wav")print(type(diarization))
print(diarization.labels())

config.yaml

根据文件可以看出，声纹分割是将embedding和segmentation进行了组合。

version: 3.1.0pipeline:name: pyannote.audio.pipelines.SpeakerDiarizationparams:clustering: AgglomerativeClustering# embedding: pyannote/wespeaker-voxceleb-resnet34-LMembedding: E:/model/pyannote/speaker-diarization-3.1/wespeaker-voxceleb-resnet34-LM/pytorch_model.binembedding_batch_size: 32embedding_exclude_overlap: true# segmentation: pyannote/segmentation-3.0segmentation: E:/model/pyannote/speaker-diarization-3.1/segmentation-3.0/pytorch_model.binsegmentation_batch_size: 32params:clustering:method: centroidmin_cluster_size: 12threshold: 0.7045654963945799segmentation:min_duration_off: 0.0

模型目录

模型中的其他文件可以删除，只保留”pytorch_model.bin“即可。

在这里插入图片描述

执行结果

在这里插入图片描述

2.3 实现声纹识别

比较两段声音的相似度。

from pyannote.audio import Model
from pyannote.audio import Inference
from scipy.spatial.distance import cdist# 导入模型
embedding = Model.from_pretrained("E:/model/pyannote/speaker-diarization-3.1/wespeaker-voxceleb-resnet34-LM/pytorch_model.bin")# 抽取声纹
inference: Inference = Inference(embedding, window="whole")# 生成声纹，1维向量
embedding1 = inference("E:/语音识别/数据/0-test-en.wav")
embedding2 = inference("E:/语音识别/数据/0-test-en.wav")# 计算两个声纹的相似度
distance = cdist([embedding1], [embedding2], metric="cosine")
print(distance)

2.4 检测声纹活动


from pyannote.audio import Model
from pyannote.core import Annotation
from pyannote.audio.pipelines import VoiceActivityDetection# 加载模型
model = Model.from_pretrained("E:/model/pyannote/speaker-diarization-3.1/segmentation-3.0/pytorch_model.bin")# 初始化参数
activity_detection = VoiceActivityDetection(segmentation=model)
HYPER_PARAMETERS = {# remove speech regions shorter than that many seconds."min_duration_on": 1,# fill non-speech regions shorter than that many seconds."min_duration_off": 0
}
activity_detection.instantiate(HYPER_PARAMETERS)# 获取活动特征
annotation: Annotation = activity_detection("E:/语音识别/数据/0-test-en.wav")# 获取活动列表
segments = list(annotation.itertracks())
print(segments)

3 使用pyannote.audio:2.1.1

⚠️ 推荐使用此版本

3.1 安装pyannote.audio

# 安装包
pip install pyannote.audio==2.1.1 -i https://pypi.tuna.tsinghua.edu.cn/simple# 1 嵌入模型 pyannote/embedding
https://hf-mirror.com/pyannote/embedding# 2 分割模型 pyannote/segmentation
https://hf-mirror.com/pyannote/segmentation

3.2 实现声纹分割

# 使用 pyannote-audio-2.1.1
import timefrom pyannote.audio.pipelines import SpeakerDiarization
from pyannote.audio import Model
from pyannote.audio.pipelines.utils import PipelineModel
from pyannote.core import Annotation# 语音转向量模型
embedding: PipelineModel = Model.from_pretrained("E:/model/pyannote/pyannote-audio-2.1.1/embedding/pytorch_model.bin")# 分割语音模型
segmentation: PipelineModel = Model.from_pretrained("E:/model/pyannote/pyannote-audio-2.1.1/segmentation/pytorch_model.bin")# 语音分离模型
speaker_diarization: SpeakerDiarization = SpeakerDiarization(segmentation=segmentation,embedding=embedding,clustering="AgglomerativeClustering"
)HYPER_PARAMETERS = {"clustering": {"method": "centroid","min_cluster_size": 15,"threshold": 0.7153814381597874},"segmentation":{"min_duration_off": 0.5817029604921046,"threshold": 0.4442333667381752}
}speaker_diarization.instantiate(HYPER_PARAMETERS)start_time = time.time()
# vad: Annotation = pipeline("E:/语音识别/数据/0-test-en.wav")
diarization: Annotation = speaker_diarization("E:/语音识别/数据/0-test-en.wav")# 获取说话人列表
print(diarization.labels())ent_time = time.time()
print(ent_time - start_time)

3.3 其他功能

3.1.1版本的功能2.1.1都能实现，参考3.1.1版本即可。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://xiahunao.cn/news/2815305.html

如若内容造成侵权/违法违规/事实不符，请联系瞎胡闹网进行投诉反馈，一经查实，立即删除！

相关文章

ISP代理是什么？跨境账号养号为什么要选择它？

ISP代理是什么？跨境账号养号为什么要选择它？

在跨境出海业务中，代理IP对于您的在线任务至关重要，尤其是对于那些运行多个帐户的人来说。为您的帐户选择正确类型的代理对于确保帐户安全非常重要，劣质的IP容易使账号遭受封号风险。IPFoxy的多种代理IP类型应用范围各有侧重，其中…
阅读更多...
【GO开发工程师】grpc进阶#golang

【GO开发工程师】grpc进阶#golang

【GO开发工程师】grpc进阶#golang 推荐个人主页：席万里的个人空间 文章目录 【GO开发工程师】grpc进阶#golang1、protobuf2、grpc2.1、gRPC 的 Metadata机制2.2、grpc拦截器 1、protobuf syntax "proto3"; // 指定使用的 protobuf 版本为 proto3 import…
阅读更多...
vue-router4 (六) 命名视图

vue-router4 (六) 命名视图

命名视图可以使得同一级（同一个组件）中展示更多的路由视图，而不是嵌套显示， 命名视图可以让一个组件中具有多个路由渲染出口，这对于一些特定的布局组件非常有用。 应用场景： 比如点击login切换到组件A&am…
阅读更多...
Random，随机函数

Random，随机函数

黑马程序员学习笔记 nextInt(n)： 只生成0~(n-1)之间的数字，不包括n 主要代码就三个; package com.zhang.random;import java.util.Random;public class RandomDemo1 {public static void main(String[] args) {//目标：掌握使用Random生成随…
阅读更多...
进制转换md5绕过 [安洵杯 2019]easy_web1

进制转换md5绕过 [安洵杯 2019]easy_web1

打开题目 在查看url的时候得到了一串类似编码的东西，源码那里也是一堆base64，但是转换成图片就是网页上我们看见的那个表情包 ?imgTXpVek5UTTFNbVUzTURabE5qYz0&cmd 我们可以先试把前面的img那串解码了 解码的时候发现长度不够，那我们…
阅读更多...
算法沉淀——动态规划之子序列问题（下）（leetcode真题剖析）

算法沉淀——动态规划之子序列问题（下）（leetcode真题剖析）

算法沉淀——动态规划之子序列问题 01.最长定差子序列02.最长的斐波那契子序列的长度03.最长等差数列04.等差数列划分 II - 子序列 01.最长定差子序列 题目链接：https://leetcode.cn/problems/longest-arithmetic-subsequence-of-given-difference/ 给你一个整数数…
阅读更多...
springboot+vue实现oss文件存储

springboot+vue实现oss文件存储

前提oss准备工作 进入阿里云官网：阿里云oss官网 注册 搜OSS，点击“对象存储OSS” 第一次进入需要开通，直接点击立即开通，到右上角AccessKey管理中创建AccessKey，并且记住自己的accessKeyId和accessKeySecret&#…
阅读更多...
【数据结构与算法】回溯法解题20240229

【数据结构与算法】回溯法解题20240229

【数据结构与算法】回溯法解题20240229 一、46. 全排列1、以[1,2,3]为例，抽象成树形结构2、回溯三部曲 二、LCR 084. 全排列 II1、以[1,1,2]为例，抽象成树形结构 三、面试题 08.07. 无重复字符串的排列组合四、面试题 08.08. 有重复字符串的排列组合 一、…
阅读更多...
Java面试资料集合，只需一篇文章吃透Java多线程技术

Java面试资料集合，只需一篇文章吃透Java多线程技术

前言 受到疫情影响我从过完年一直呆在家里，索性学点知识方便以后跳槽涨薪，于是从二月份开始学习阿里P8架构师纯手打的一份Java面经手册，没想到5月初我成功从我们三线的一个小公司跳槽进了腾讯，虽然等级不高，但是涨薪还…
阅读更多...
【力扣hot100】刷题笔记Day15

【力扣hot100】刷题笔记Day15

前言 今天要刷的是图论，还没学过，先看看《代码随想录》这部分的基础 深搜DFS理论基础 深搜三部曲 确认递归函数、参数确认终止条件处理目前搜索节点出发的路径 代码框架 void dfs(参数) {if (终止条件) {存放结果;return;}for (选择：本节点…
阅读更多...
Git教程-Git的基本使用

Git教程-Git的基本使用

Git是一个强大的分布式版本控制系统，它不仅用于跟踪代码的变化，还能够协调多个开发者之间的工作。在软件开发过程中，Git被广泛应用于协作开发、版本管理和代码追踪等方面。以下是一个详细的Git教程，我们将深入探讨Git的基本概念和…
阅读更多...
npm ERR! code ERESOLVE

npm ERR! code ERESOLVE

1、问题概述？ 执行npm install命令的时候报错如下： tangxiaochuntangxiaochundeMacBook-Pro stf % npm install npm ERR! code ERESOLVE npm ERR! ERESOLVE unable to resolve dependency tree npm ERR! npm ERR! While resol…
阅读更多...
C++ Primer 总结索引 | 第八章：IO库

C++ Primer 总结索引 | 第八章：IO库

1、IO类 1、已经使用过的IO类型和对象 都是 操纵char数据的。默认情况下，这些对象 都是关联到 用户的控制台窗口的 但是 不能仅从控制台窗口 进行IO操作，应用程序 需要 读写命名文件，使用IO操作 处理string中的字符 会很方便，此…
阅读更多...
Netty入门指南：从零开始的异步网络通信

Netty入门指南：从零开始的异步网络通信

欢迎来到我的博客，代码的世界里，每一行都是一个故事 Netty入门指南：从零开始的异步网络通信 前言Netty简介由来：发展历程：异步、事件驱动的编程模型： 核心组件解析通信协议高性能特性异步编程范式性能优化与…
阅读更多...
Linux零基础快速入门

Linux零基础快速入门

Linux的诞生 Linux创始人:林纳斯 托瓦兹 Linux 诞生于1991年，作者上大学期间 因为创始人在上大学期间经常需要浏览新闻和处理邮件，发现现有的操作系统不好用,于是他决心自己写一个保护模式下的操作系统，这就是Linux的原型，当时他…
阅读更多...
【MySQL】DCL

【MySQL】DCL

DCL英文全称是Data Control Language(数据控制语言)，用来管理数据库用户、控制数据库的访问权限。 1. 管理用户 在MySQL数据库中，DCL（数据控制语言）是用来管理用户和权限的语句集合。通过DCL语句，可以创建、修改、删…
阅读更多...
leetcode 重复的子字符串

leetcode 重复的子字符串

前要推理 以abababab为例，这里最主要的就是根据相等前后缀进行推导 s [ 0123 ] 如 t【 0123 】 f 【01 23 】 后两个分别是前后缀，第一个是总的字符串，然后可以推导 //首先还是算出…
阅读更多...
Spring的定时任务不生效、不触发，一些可能的原因，和具体的解决方法。

Spring的定时任务不生效、不触发，一些可能的原因，和具体的解决方法。

1 . 未在启动类上加 EnableScheduling 注解 原因：未在Spring Boot应用主类上添加EnableScheduling注解或未在XML配置文件中配置定时任务的启用。解决方法：确保在应用的配置类上添加EnableScheduling注解，启用定时任务。 2 . cron 表达式书写…
阅读更多...
P4859 已经没有什么好害怕的了（二项式反演+dp）

P4859 已经没有什么好害怕的了（二项式反演+dp）

题录&#xff1a;P4859 已经没有什么好害怕的了 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 思路: 代码&#xff1a; #define _CRT_SECURE_NO_WARNINGS #include<iostream> #include<string> #include<cstring> #include<cmath> #include<ctim…
阅读更多...
Kubernetes剖析

Kubernetes剖析

Kubernetes剖析 前言 ​ 容器技术这样一个新生事物&#xff0c;完全重塑了整个云计算市场的形态。它不仅催生出了一批年轻有为的容器技术人&#xff0c;更培育出了一个具有相当规模的开源基础设施技术市场。 ​ 在这个市场里&#xff0c;不仅有 Google、Microsoft 等技术巨擘…
阅读更多...
最新文章

Copyright @ 2022~2023