声纹自动识别技术的 关键与核心算法 鄭 方 fzheng@d-Ear.com; fzheng@sp.cs.tsinghua.edu.cn 公安部科技局/北京市公安局《声纹鉴定与自动识别技术应用研讨会》 2002年9月16日 声纹自动识别技术的 关键与核心算法 鄭 方 fzheng@d-Ear.com; fzheng@sp.cs.tsinghua.edu.cn 北京得意音通技术有限责任公司 清华大学智能技术与系统国家重点实验室

地址：北京市海淀区上地信息路2号D栋505室 电话/传真：（8610）8289 6531 邮编：100085 公司简介 地址：北京市海淀区上地信息路2号D栋505室 电话/传真：（8610）8289 6531 邮编：100085

得意公司是从事语音识别与语言理解的专业技术公司 公司核心技术概述－－三大核心技术方向 得意公司是从事语音识别与语言理解的专业技术公司 语音识别（ASR）： “音字”的转换 共性特征提取 声学模型 语言模型 降噪音处理 语言理解（NLU）： “字意”的转换 规则提取 语义分析 对话管理 声纹识别（SpkID）： 谁的声音？ 个性特征提取 声纹辨认 声纹确认

公司核心技术概述－－六大应用方向 声纹识别 d-Ear ID 得意身份证 中文整句输入法 d-Ear IME 得意输入法 国防监听：辨认 拼音输入法 刑侦：辨认 声纹识别 d-Ear ID 得意身份证 中文整句输入法 d-Ear IME 得意输入法 笔划输入法 银行证券：确认 数字输入法 个性化：确认 计算机辅助教学 语言学习 d-Ear Teacher 得意教师 智能玩具 嵌入式命令导航 声控拨号 语音命令与控制 d-Ear Command 得意命令 家电控制 智能玩具 网上智能信息检索 口语对话系统 语言理解 d-Ear Parser 得意分析器 随意语音命令导航 呼叫中心 自动总机接驳 关键词检出 d-Ear Word-Spotter 得意关键词检出器 国防监听 呼叫中心

主要的创业者和技术、管理团队都毕业于清华大学计算机科学与技术系，技术队伍均为计算机应用专业的博士，并有在国内外著名公司工作的经验。 公司技术力量 主要的创业者和技术、管理团队都毕业于清华大学计算机科学与技术系，技术队伍均为计算机应用专业的博士，并有在国内外著名公司工作的经验。 得意公司技术源自清华大学，并有面向市场的进一步发展。得意公司与清华大学智能技术与系统国家重点实验室建有“清华—得意语音技术联合实验室”，结成了牢固的“产学研”联盟。 与中国军方、中国刑警学院等有良好的合作

清华大学语音技术中心 (Center of Speech Technology) 成立于1979年，隶属清华大学智能技术与系统国家重点实验室。全国最早从事语音和语言处理的研究单位之一。 智能技术与系统国家重点实验室(LITS)是在信息技术领域处于全国领先地位的国家重点实验室，在1994年、1997年和2002年国家计委组织的全部三次全国国家重点实验室评审中均为A 。 语音技术中心承担国家重点攻关任务、863高科技研究任务、973重点基础研究任务、军方科研任务、清华大学一流大学重点学科建设985项目，以及许多国际和国内合作项目等，并多次获奖。 语音技术中心研制成功的语音技术在国家863评测中一直名列前茅；在国际国内的会议和各种学术刊物上发表论文数百篇；同时研发了数十项语音产品，行销于国内外市场。其中声纹识别产品有成功的应用范例(北京某通讯公司)。 语音技术中心的成果和相关论文请参见 http://sp.cs.tsinghua.edu.cn。

声纹识别核心技术

说话人识别的两个阶段 模型训练－－学习 识别 特征提取 模型训练 识别判决 模型库 结果

按识别任务分 说话人识别的分类 说话人辨认 说话人编号 说话人确认 匹配分数/概率 > 接受 < 拒识 是哪个人的声音？ 闭集 开集 前端处理 说话人1 说话人2 说话人N … M A X 匹配分数/概率 说话人编号 是XX的声音吗？ 前端处理 冒名顶替者模型 < 拒识 > 接受 宣称说话人模型 适应  ＋ －

开集说话人辨认和说话人确认中的拒识问题 似然分数的计算 冒名顶替者(Impostor)模型或背景(Background)模型Bkg ＝p(X|S) / p(X | Bkg(S)) 冒名顶替者(Impostor)模型或背景(Background)模型Bkg 使用一个与说话人无关的统一模型UBM (Universal Background Model)： pS(X|H0) = p(X|UBM) 使用一组其他说话人模型： pS(X|H0) = p(X|Bkg(S))，其中Bkg(S)是与说话人S相关的那些说话人模型的某种函数，如“平均”或“最大”

按说话内容分 文本无关(Text-Independent)－－不限定说什么文本 文本相关(Text-Dependent)－－必须是特定的文本 语种无关 (Language-Independent) 语种相关 (Language-Dependent) 文本相关(Text-Dependent)－－必须是特定的文本 必定语种相关

说话人发音方式发生变化(语言、内容、方式、身体状况、不同时间等)：learning+adaptation 2019/1/14 说话人识别需要攻克的难题 更具可分性的特征：多层次特征的使用 好的说话人模型：GMM、LBG等 短话音问题： 训练：基准模型＋自适应 识别：累计判别 说话人发音方式发生变化(语言、内容、方式、身体状况、不同时间等)：learning+adaptation 模仿声音问题：综合使用各种层次的特征；外加密码 多说话人情况下的说话人检测： 有限状态自动机：已有说话人集＋冒名者 说话人改变检测(SCD) BIC: Baysian Information Criterion

多说话人检测 Unknown?

说话人识别的特征提取 人类在进行说话人识别时常常用到多个层面(尤其是高层)的信息 现阶段很多系统只用到低层信息－－声学特征 高层次的信息包括 语义、修辞、发音、言语习惯 － 社会经济状况、受教育水平、出生地 韵律、节奏、速度、语调、音量 － 个人特点、父母影响 语音的声学特性、鼻音、带深呼吸的、沙哑的等 － 发音机制的解剖学结构 现阶段很多系统只用到低层信息－－声学特征 高层次的信息包括 语速 时序模板 基音模板 特性词/词组的使用 特性发音 笑声 …… 声纹自动识别模型目前可以使用的特征： 声学特征 (倒频谱) 词法特征 (说话人相关的词ngram，音素ngram) 韵律特征 (利用ngram描述的基音和能量“姿势”) 语种、方言和口音信息 通道信息 (使用何种通道)

观察序列，即特征序列，必须对说话人具有可分性： O={X, W, F, C, …} 将特征用于说话人识别的问题求解 argmax Prob (S | O) S – 说话人 O － 观察序列 观察序列，即特征序列，必须对说话人具有可分性： O={X, W, F, C, …} 声学特征(MFCC/LPCC)： X = { x1, x2, …, xT} 词法特征(词、短语、音素等)： W = { w1, w2, …, wN} 韵律特征： F = { F1, F2, …, Fp} 通道信息： C = { PC麦克风、固话、免提、手机、 手持设备、会议室麦克风, …}

文本相关的 说话人识别器 说话人相关的 语言模型 说话人相关的 韵律模型 说话人的 通道信息 说话人的 先验知识 声学特征(MFCC/LPCC)： X = { x1, x2, …, xT} 词法特征(词、短语、音素等)： W = { w1, w2, …, wN} 韵律特征： F = { F1, F2, …, Fp} 通道信息： C = { PC麦克风、固话、手机、 手持设备、免提、会议室麦克风, …} 说话人的 先验知识

特征的选择－用还是不用？ 例如，信道的信息 在刑侦应用上，希望不用，也就是说希望弱化信道对说话人识别的影响 在银行交易上，希望用，即希望信道对说话人识别有较大影响，从而剔除录音、模仿等

说话人模式匹配 模板匹配 最近邻 神经网络 HMM 多项式分类器 动态时间弯折(DTW)用以对准训练和测试特征序列 主要用于固定词组的应用（通常为文本相关任务） 最近邻 训练时保留所有特征矢量 测试时，对每个矢量都找到训练矢量中最近的K个 模型存储和相似计算的量都很大 神经网络 有很多种形式：多层感知、径向基函数(RBF)等； 显式训练以区分说话人和其背景说话人 训练量很大，且模型的可推广性不好 HMM 单状态的HMM（GMM） 多项式分类器 有较高的精度 模型存储和计算量比较大

三阶的多项式分类器就可以取得较好的效果： 平均ERR=0.38%；SID error=1.01% 观察序列为： 多项式分类器： 每一帧矢量Xt(t=1,…,T)都按多项式展开映射到高维空间中，例如二阶多项式展开把矢量X=[x1, x2, …, xN]T映射成 在高维空间中，利用一个线性分类器可以把用户特征(Xusr)与其他的冒名顶替者特征(Ximp)分开。线性分类器的构造准则是使下面的均方误差(MSE)最小： 通用线性分类边界可以表示为f ((X)) = <(X), W> 其中W通过矩阵分解法进行优化，每个说话人对于一个W。这样，每一帧矢量Xt都赋予了一个分数f ((Xt))。识别时，相对于说话人M的模型的总分数定义为 三阶的多项式分类器就可以取得较好的效果： 平均ERR=0.38%；SID error=1.01%

观察序列为： 高斯混合模型(GMM)： VQ聚类模型(LBG)： 是一个单状态的HMM。观察序列的似然分为： 每个说话人有Q个类

从研究的角度讲，说话人识别的应用存在很多而难选择，也就是说，需要进行平衡点的选择 说话人识别中的两难问题－－平衡点的选取 从研究的角度讲，说话人识别的应用存在很多而难选择，也就是说，需要进行平衡点的选择 话音长短与识别率 文本相关与无关 信道影响 检出率与拒识率

错 限 制 增 加 误 拒 绝 的 概 率 (%) 错 误 接 受 的 概 率 (%) 25% 10% 0.1% 1% 文本无关 0.1 0.2 0.5 1 2 5 10 20 40 40 20 10 5 2 1 0.5 0.2 0.1 错 误 接 受 的 概 率 (%) 错 误 拒 绝 的 概 率 (%) 限 制 增 加 文本无关 (朗读句子) 军用无线数据 多个无线接收装置和麦克风 训练数据适量 25% 文本相关 (组合) 干净数据 单个麦克风 大量训练/测试数量 10% 文本无关 (对话) 电话数据 多个麦克风 训练数据适量 文本相关 (数字串) 电话数据 多个麦克风 训练数据量较小 0.1% 1%

DET (Detection Error Tradeoff) 曲线 0.1 0.2 0.5 1 2 5 10 20 40 40 20 10 5 2 1 0.5 0.2 0.1 错 误 接 受 的 概 率 (%) 错 误 拒 绝 的 概 率 (%) 有线传输： 错误接受的代价很大 为了安全性考虑用户可以容忍拒绝 Toll Fraud： 错误拒识率很低 欺骗者很容易进入系统 高安全性 等错误率(ERR)=1% 平衡点 高方便性

我们的声纹识别技术介绍

语言无关 文本无关 训练语音最短8秒 测试语音最短4秒 测试结果 说话人识别目前性能指标 120人的库(近期目标1,000人) 24秒＋8秒 一选正确率：98.33% 二选：100％

个性化服务方面：机器自动识别客户身份后，提供相应服务 客户并不知道系统正在进行声纹识别，因此 成功应用案例一 电话语音 个性化服务方面：机器自动识别客户身份后，提供相应服务 客户并不知道系统正在进行声纹识别，因此 说话内容随意； 说话方式自然； 说话长度很短； 同时有客户和接线员两人通话

“得意”接线员转接时，将首先告知对方是谁的电话 应用案例二 应用于“得意”接线员系统中 客户通过电话说出要找人的姓名，方式： 单命令识别，或关键词检出 话音长度比较短 “得意”接线员将识别出： 客户要找的人的姓名 客户的身份（开集说话人辨认） “得意”接线员转接时，将首先告知对方是谁的电话

得意语音—— 与您心意相通的人性科技 The End.