语音交互是AI最重要的领域之一,也是目前落地产品比较成熟的领域,比如说智能客服、智能音箱、聊天机器人等,都已经有成熟的产品了。语音交互主要由哪些部分组成?各自主要处理什么任务?目前都遇到什么困难?本文将跟大家一起探讨下。
01 语音交互的组成
我们以一个智能音箱的例子来开始今天的讨论:
假设我们对智能音箱天猫精灵说“放一首周杰伦的《晴天》”。天猫精灵就会说“好的,马上为你播放周杰伦的《晴天》”,并且开始播放音乐。
这个过程猫精灵都做了些什么?
首先,天猫精灵把听到的声音转化成文字,然后理解内容,最后做出相应策略,并把响应策略转化成语音。
因此,语音交互就可以成以下这三个模块:
语音识别(Automatic Speech Recognition):简称ASR,是将声音转化成文字的过程,相当于耳朵。自然语言处理(Natural Language Processing):简称NLP,是理解和处理文本的过程,相当于大脑。语音合成(Text-To-Speech):简称TTS,是把文本转化成语音的过程,相当于嘴巴。
下面我们就来详细的介绍每一个模块。
02 语音识别(ASR)通常语音识别有两种方法:
“传统”的识别方法,一般采用隐马尔可夫模型(HMM)基于深度神经网络的“端到端”方法。两种方法都需要经过“输入—编码—解码—输出”的流程。
2.1 编码编码就是把声音转化成机器能识别的样式,即用数字向量表示。
输入的声音信号是计算机没办法直接识别的,首先需要将声音信号切割成一小段一小段,然后每一小段都按一定的规则用向量来表示。
2.2 解码解码就是把数字向量拼接文字的形式。
首先,将编译好的向量,放到声学模型中,就可以得到每一小段对应的字母是什么;
然后,把翻译出来的字母再经过语言模型,就可以组装成单词了。
当然声学模型和语言模型也是个神经网络,是通过大量的语音和语言数据来训练出来了,在这里就不展开讲了。
这里来个脑暴:
神经网络能不能做到,不需要编码和解码的过程,不需要声学和语言模型,直接把声音信号丢到神经网络里去训练,最后输出结果就是文字,具体中间过程是怎样的,让机器自己去学。如果这样能实现,我觉得很酷,看起来是不是真的很智能。
03 自然语言处理(NLP)NLP是语音交互中最核心,也是最难的模块。
NLP主要涉及的技术有:文本预处理、词法分析、句法分析、语义理解、分词、文本分类、文本相似度处理、情感倾向分析、文本生成等等。但不局限于这些,涉及的技术比较多,且比较复杂。下面我们就挑几个主要的技术点简单聊下。
3.1 文本预处理1)去噪声:
只要跟输出没有关系的我们就叫噪声,比如:空格、换行、斜杆等。
去噪声后,文本变得更加规范化,不会出现各种乱七八糟的符号,对于后续的处理非常重要。
2)词汇归一化
这个在处理英文文本时比较常用,如“play”,“player”,“played”,“plays” 和 ”playing”是“play”的多种表示形式。虽然他们的含义不一样,但是上下文中是相似的,可以把这些各种形式的单词归一化。
归一化是具有文本特征工程的关键步骤,因为它将高纬特征(N个不同特征)转化成低维空间。
3.2 词法分析1)分词
分词就是把一个句子,切分成多个词汇。
比如:输入“明天深圳的天气怎样?”,这个句子就会被分成“明天/深圳/的/天气/怎样”。其中“明天”、“深圳”、“天气”就是这句话的关键词,通过关键词去匹配内容。
2)实体识别
实体提取:是指在一个文本中,提取出具体特定类别的实体,例如人名、地名、数值、专有名词等。
比如:输入“詹姆斯在NBA打了多少年”,其中“詹姆斯”就是实体词,计算机可能就可以通过当前的时间和詹姆斯加入NBA的时间给出他在NBA的球龄。
实体识别在信息检索、自动问答、知识图谱等领域运用的比较多,目的就是告诉计算机这个词是属于某类实体,有助于识别出用户意图。
3.3 文本分类主要目的是为了将文档(文章)的主题进行分类,比如说是属于经济类、体育类、文学类等等。
解决文案分类问题,比较经典的算法是TF-IDF算法。
TF-IDF的主要思想是:如果某个词或短语在一篇文章中出现的频率TF高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。
别说“NBA”这个在一篇文章中出现的次数比较多,但又很少在其他文章中出现,那这篇出现多次“NBA”这个词的文章很可能就是体育类文章。
3.4 文本相似度处理文本相似度通常也叫文本距离,指的是两个文本之间的距离。文本距离越小,相似度越高;距离越大,相似度越低。
比如:用户输入“这件衣服多少钱”或者说“这件衣服怎么卖”,这都是很口语化的句子,那要怎么给用户返回“衣服价格”呢?就是根据文本相似度处理的。
需要我们计算出“多少钱”、“怎么卖”跟“价格”的相似度,然后根据相似度去匹配最佳答案。
应用场景:推荐、排序、智能客服以及自动阅卷等。解决之前只能靠关键词精准匹配问题,识别语义,扩大了应用的范围。
3.5 情感倾向分析情感倾向分析,主要分为两大类:情感倾向分类、观点抽取。
1)情感倾向分类
情感倾向分类是识别文本的情感倾向,如:消极、积极、中性。
比如:“这家餐馆不错,服务态度好、价格便宜”,整个句子是积极的评价。
情感倾向分类对给用户打标签,给用户推荐内容或服务,有比较好的效果。
2)观点抽取
观点抽取是把句子中的观点抽取出来。
还是“这家餐馆不错、服务态度好,价格便宜”这个句子,其中“服务态度好”、“价格便宜”就是观点词。
观点抽取对建立服务或内容的评价体系,有重要的意义。
3.6 目前遇到的困难1)语言不规范
虽然目前我们可以总结出一些通用的规则,但是自然语言真的太灵活了。同一个词在不同的场景可能表达多个意思, 不管是通过理解自然语言的规则,还是通过机器学习,都显得比较困难。
2)错别字
在处理文本时,会发现有大量的错别字,怎么样让机器知道这些错别字,并且改过来呢,也是NLP的一大难点。
3)新词
在互联网高速发展的时代,网上每天都会产生大量的新词,我们如何快速地发现这些新词,并让机器理解,也是非常重要的。
04 语音合成(TTS)实现TTS,目前比较成熟的有两种方法:“拼接法”和“参数法”。
4.1 拼接法首先,要准备好大量的语音,这些音都是又基本的单位拼接成的(基本单位如音节、音素等),然后从已准备好的声音中,抽取出来合成目标声音。
优点:语音合成的质量比较高。缺点:数据量要求很大,数据库里必须有足够全的“音”。4.2 参数法根据统计模型来产生每时每刻的语音参数(包括基频、共振峰频率等),然后把这些参数转化为波形。
优点:对数据的要求要小点。缺点:质量比拼接法差一些。4.3 其他方法谷歌DeepMind提出的WaveNet方法,基于深度学习的语音合成模型,不会对语音信号进行参数化,使用神经网络直接在时域预测合成语音波形的每一个采样点。Deep Voice 3采用一种新颖的用于语义合成的全卷积架构,可以用于非常大规模的录音数据集。VoiceLoop是Facebook提出的一种新的TTS神经网络,它能将文本转换为在室外采样的声音中的语音,且该网络架构比现有的网络架构简单。参考文章《CUI三部曲之语音识别——机器如何听懂你的话?》_AI新司机《AI是怎样理解人话的?浅析NLP中的分词和关键词_AI研习小分队》_@艺馨_20171101《语音合成TTS | AI产品经理需要了解的AI技术概念》《干货整理_2017(北京)百度技术沙龙NLP》_AI游学小分队_20171104《语音合成TTS技术的最新进展信息汇总》_赵琦_20180404《【NLP技术】:NLP简单介绍》《AI PM应该懂的自然语言处理(NLP)知识》本文由 @Jimmy 原创发布于人人都是产品经理。未经许可,禁止转载。
题图来自Unsplash,基于CC0协议。
nlp语音交互的场景(语音交互的三驾马车)
2024-07-02 02:32:44 作者:挼尽梅花 网址:https://m.xinb2b.cn/life/ynm440821.html
![](/imgatup/3/tos-cn-i-qvj2lq49k0/2977f3d12a1b45bc8e9f8037680c9d83.jpg)
- 兔子七绝诗(七绝题门口百合花)
- 2024-07-02七绝题门口百合花花开簇簇胜冰肌,春雨多情浥万枝我也流连慕高洁,清颜悦目看成痴,。
![](/imgatup/3/pgc-image/7f931c2d18984c7ea78bfb8ca04ebdc2.jpg)
- 天津炒糖醋藕家常做法(美食推荐川汁烧虾球)
- 2024-07-02美食推荐川汁烧虾球三杯鸡材料:仔鸡半只、盐适量、姜1块、葱1段、鸡精半茶匙、白糖1茶匙、啤酒1杯、油半杯、生抽半杯做法:1、准备原料,鸡肉切块焯水沥干备用2、半杯油倒入锅里,炒香姜片和葱段3、倒入鸡块煸炒微黄我翻开都看。
![](/imgatup/3/31cd0002b7b1ca5b9830.jpg)
- 何润东有几个前女友(何润东晒与妻子出游照)
- 2024-07-02何润东晒与妻子出游照何润东晒与妻子出游照,网友:才子配佳人!2016年何润东终于和自己的女友修成正果当时他却只晒出了他和妻子的背影照,并没有晒出妻子的正面照,这让粉丝更加好奇何润东女友的身份了不过最近何润东终于晒出了与妻。
![](/imgatup/3/pgc-image/8d3ccc5f333240ae992e0dc913e32837.jpg)
- 将夜宁缺什么时候入洞玄(将夜夫子一棒子打晕宁缺)
- 2024-07-02将夜夫子一棒子打晕宁缺在书院后山选拔十三弟子的那场比赛中,宁缺战胜了隆庆皇子,成为了书院的十三先生,从此,宁缺的身份和地位发生了巨大的变化,不仅有了一个号称天下第一的师父,还有了一群真正关心自己的师兄师姐们,可是奇怪的是,。
![](/imgarup/339850154.jpg)
- 为什么说大耳朵有福气(耳朵大有福气)
- 2024-07-02耳朵大有福气不光耳朵大,而且要有肉,耳垂也大,并且有光泽佛祖如来,耳大遮脸,天庭饱满地阁方圆,庄严肃穆,一脸福相为天下苍生死,死后成佛,度化众生国人喜欢看脸,佛祖一脸福相,一看就喜欢,佛教来我国,不费吹灰之力就席。
![](/imgatup/3/tos-cn-i-qvj2lq49k0/a1f1cc29b0324b2bb69c36f3e00fafe5.jpg)
- 女子回娘家24人睡一屋(女子回娘家24人睡一屋)
- 2024-07-02女子回娘家24人睡一屋#女子回娘家24人睡一屋#01话题回顾——这几天,在黑龙江,有一件令人羡慕的事话说:一女子回娘家24人睡一屋,睡觉得靠抢吃饭得用盆,且还得分批,要不吃不上这在别人家,得有多焦虑不安啊可是,这一家子的老。
![](/imgatup/6/pgc-image/b4c3dc760b594c43b0a5885f84bd95d3.jpg)
- 太岁是什么有什么功效(传说吃了长生不老的太岁)
- 2024-07-02传说吃了长生不老的太岁(图片有些丑,不喜慎入!)大自然非常神奇,然而物种也千奇百怪,有一些是人们了解的,但还有一些人们见所未见中医的兴起让大家觉得中国遍地是药材,但依然有一种民间传说的药材,让大家抱有怀疑,甚至有很多东西听。
![](/imgatup/3/pgc-image/1527333813331df79822fc2.jpg)
- 第五人格新手教程通关后该干什么(新手入坑全攻略)
- 2024-07-02新手入坑全攻略※阿拉拉拉拉拉,你们的皇帝回来……额不是,你们的老疯子回来啦!※点击右上角【关注】“游戏疯说”疯子每日更新,成就大神之路全文共900字,阅读时间3分钟————————————————啊哈哈哈,又到周末。
![](/imgarup/813800034.jpg)
- 种植大土豆的秘诀是什么(种植大土豆的秘诀介绍)
- 2024-07-02种植大土豆的秘诀介绍适量施肥:若是想要土豆长的更大,就要保证养分充足在入土栽种时就要施足底肥,这样后期小苗才能更旺盛的生长生长期间就不用在施加肥料了,等花期时要及时补施磷钾肥,能增加开花数量和补充消耗的养分,促使它个头更。
![](/imgarup/710029979.jpg)
- 爆炒辣椒炒哈喇(辣炒哈喇做法介绍)
- 2024-07-02辣炒哈喇做法介绍准备材料:蛤蜊250克调料:葱末、姜末各一大匙,辣椒末一小匙,绍酒半大匙,酱油、精盐、味精各少许,白糖一匙用盐水使蛤蜊吐沙2小时起油锅放入姜末,葱花,放红辣椒,炒出香味,放入蛤蜊大火翻炒,翻炒到有开口。
![](/imgarup/492930787.jpg)
- 2022春节创意祝福语(2022春节创意祝福语有哪些)
- 2024-07-022022春节创意祝福语有哪些春节短信扑天盖地,我怕祝福塞不进去,提前行动占领高地,混个前面也不容易,祝你春万事如意!全家身体健康,春节快乐!新春大吉!祝你人气超越圣母,财气敢当比尔盖茨之母,英气胜过萨达姆,帅气直追贝克汉姆,国际。
![](/imgarup/312832122.jpg)
- 门头沟最美乡村(门头沟的美丽乡村)
- 2024-07-02门头沟的美丽乡村1.斋堂镇马栏村马栏村依山势而建,以龙王庙为中心,沿山体呈带型展开,是北方少有的由沿水街逐渐发展形成的村落村庄位于清水河南岸,地势复杂,高差较大,道路不成系统,聚落略成长方形,所在的马栏沟是清水河的主。