专家探索用算法度量方言差距

发布时间：2024-01-04 07:57:22 所属栏目：动态来源：DaWei

导读： 确定一系列核心方言并为其建立自动语音识别（ASR）模型，当一种未知方言出现时，分析它距离这一系列核心方言中的哪些方言较近，就可以用合适的核心方言ASR模型识别出这种未知方言的内容。

确定一系列核心方言并为其建立自动语音识别（ASR）模型，当一种未知方言出现时，分析它距离这一系列核心方言中的哪些方言较近，就可以用合适的核心方言ASR模型识别出这种未知方言的内容。

方言应用的窗口期大约是二三十年。AI识别方言的实际困难大，我国方言体系之间甚至每一类方言内部的地域差异都普遍存在，各地方言常以口语形式流传，缺乏对应文字，并且难以收集，可用于模型训练的方言语料数据偏少。

方言距离是一个开放问题，例如人们通常在直觉上认为上海话与杭州话之间的距离比上海话和北京话之间的距离更近。从实用性来讲，距离越接近的两种方言，其自动语音识别引擎在交叉使用时也可以得到更好的效果。如此一来，利用少数核心方言的自动语音识别引擎来转写邻近的各种未知方言，就是方言ASR识别问题的潜在解决方案之一。

我国幅员辽阔，人口众多，方言情况十分复杂，方言体系之间甚至每一类方言内部的地域差异都普遍存在。这导致在客户服务中，语音交流常常会遇到方言或口音挑战。为此，百度智能云推出了一系列方言识别解决方案，帮助用户轻松应对各种场景下的语音交流难题。

要将客服人员和客户沟通的过程中产生的大量语音数据进行完善的分析质检，就需要语音、NLP（自然语言处理）算法进行批量的处理、分析、质检。通常质检任务的第一步算法就是ASR转写。

理论上，最理想的解决方案是为每一种方言建立ASR引擎，只要有语音和对应的文字，就可以训练出每一种方言的模型，但这种方式成本高昂、耗时耗力。当需要在创建模型时考量一个特定的语言群体时，我们需要思考该地区内不同的口音和方言是否可以归纳于同一个体系之中；并且当地经济与科学技术的发展水平是否足以支持此类模型的建立。

首先确定一系列核心方言并为其建立ASR模型，当一种从未被AI识别过的方言出现时，分析它距离这一系列核心方言中的哪些方言较近，就可以用合适的核心方言ASR模型识别出这种未知方言。但是，“一种方言跟另一种核心方言究竟要多相似，才能用这种核心方言作为对照去识别其他方言，这是需要抉择的。”因此度量不同方言之间的距离是解决问题的关键。

（编辑：宁德站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!