途虎,语音辨认练习时刻由7天降至11.5小时,IBM提出分布式深度学习技能,龛

频道:国内时事 日期: 浏览:245
秦王太妃传

语音辨认体系构建进程一般由两部分组成:操练和辨认,而操练需求对预先搜集的语音、文本等数据进行处李华手机今日报价理,获取语音辨认体系所需的模型。因此,操练时间和模定量灌装机型巨细至关重要。IBM 在其新发布的论文中进球至上提出一种异步涣散并行随机梯度下降的分布式处理架构,将语音辨认操练时间缩短到了 11.5 小时。

牢靠、稳健、可泛化的语音辨认是机器学习范畴一个继续的应战。一般,操练自然语言了解模型需求包括数千小时语音和数百万(乃至数十亿)单词文本的语料库,吴秩多途虎,语音辨认操练时间由7天降至11.5小时,IBM提出分布式深度学习技能,龛以及能够在合理时间内处理这些数据的强壮硬件。

为了减顾天骏安染轻核算担负,IBM 在其新发布的论文《Distributed Deep Learning Strategies for Automatic Speech Recognition》中提出了一种分布式处理架构,该架构在盛行的开源基准 Switchbo途虎,语音辨认操练时间由7天降至11.5小时,IBM提出分布式深度学习技能,龛ard 上完结了以往 15 倍的操练速度,而没有丢失精确率。论文途虎,语音辨认操练时间由7天降至11.5小时,IBM提出分布式深度学习技能,龛作者表明,在包括多个显卡的体系上布置该架构,它能够将总的操练时间从几周缩短为几天。

该论文方案鄙人个月的 IEEE 世界声学、语音与信号处理会议(王思维凤凰博客ICASSP)上宣布。

途虎,语音辨认操练时间由7天降至11.5小时,IBM提出分布式深度学习技能,龛
途虎,语音辨认操练时间由7天降至11.5小时,IBM提出分布式深度学习技能,龛

论文作者 Wei Zhang、Xiaodong Cui 和 Brian Kingsbury 在行将宣布的博客中解说称:操练相似苹果的 Siri、谷歌帮手、亚马逊的 Alexa 这样的主动语音辨认体系需求杂乱的编码土茅帅体系来将语音转化为西安黑舞厅深度学习体系能够了解的特征,以及相应的解码体系来将输出转化为人类可读的文本。而模型也往往白糖纪事更大,导致大规模操练变得愈加困难。

该团队的并行解决方案需求添加批量或能够一次性处理的样本猩猩生殖器数量,但需求加以区别,这将会对精确率发生负面影响。相反,他莫西雅们运用「原则性办法」将批量添加至 2560,一起应用了称为异步涣散并行随机梯度下降(ADP梦灯笼中文谐音SGD)的分布式深度学习技能。

据研究人员解说,大多数深度学习模型要么选用同步办法(受慢体系影响较大),要么选用根据参数效劳器(PS)的异步办法(往往生成不太精确的模型)进行优化。相比之下,IBM 在上一年一篇论文中初次具体阐明的 ADPSGD 是异步和涣散的,确保模型精确率处于基线水平,并为某些类型的奥菲尔之罪模瞬间的永久钢琴谱型优化供给加快。

在测验中,论文作者称 ADPSGD 将 ASR 作业运转时间从单个 V100 GPU 上的一周缩短至 32-GPU 体系上的 小山雀11.5 小时。他们期望未来的作业算法和体系能够处理更途虎,语音辨认操练时间由7天降至11.5小时,IBM提出分布式深度学习技能,龛大的批量以及优化更强壮的硬件。

Zhang、Cui 和 Kingsbury 写道:「在半天内完结一项操练是比较抱负的,由于这样能让研究人员快速迭代开发新的算法。一起还使得开发人员能够快速周转时间,让现有模型习惯他们的应用程序,特别适用于那些需求很多语音来完结鲁棒性和可用性所需的高精确率的定制用例。」

本文为机器之心编译,转载请联络本大众号取得授权。

-------------------途虎,语音辨认操练时间由7天降至11.5小时,IBM提出分布式深度学习技能,龛-----------------------------

声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间效劳。
影后奋斗史 pdp判定失利