yabo

全国服务QQ:3447249690

yabo:10大任务超越BERT,微软提出多任务深度神经网络

发布时间:2019-03-22 作者:亚博

yabo

新智元报导

来历:microsoft

作者:Jianfeng Gao 编纂:肖琴

【新智元导读】微软新研究提出一个新的多使命深度神经收集模子——MT-DNN。MT-DNN联合了BERT的长处,并于10年夜天然语言理解使命上逾越了BERT,于多个风行的基准测试中创造了新的开始进的成果。

语言嵌入是将天然语言符号文本(如单词、短语及句子)映照到语义向量暗示的历程。这是天然语言理解(NLU)深度进修要领的基础。进修对于多个NLU使命通用的语言嵌入长短常须要的。

进修语言嵌入有两种风行要领,别离是语言模子预练习多使命进修(MTL)。前者经由过程使用年夜量未标志的数据进修通用语言嵌入,但MTL可以有用地使用来自很多相干使命的有监视数据,并经由过程减轻对于特定使命的过分拟合,从正则化效果中获益,从而使进修的嵌入于使命之间具备通用性

近来,微软的研究职员发布了一个用在进修通用语言嵌入的多使命深度神经收集模子——MT-DNN。MT-DNN联合了MTL及BERT的语言模子预练习要领的长处,并于10个NLU使命上逾越了BERT,于多个风行的NLU基准测试中创造了新的开始进的成果,包括通用语言理解评估(GLUE)、斯坦福天然语言推理(SNLI)及SciTail。

MT-DNN的架构

MT-DNN扩大了微软于2015年提出的多使命DNN模子(Multi-Task DNN),引入了googleAI开发的预练习双向transformer语言模子BERT。

yaboMT-DNN架构

MT-DNN模子的架构如上图所示。低层于所有使命之间同享,而顶层是特定在使命的。输入X可以yabo文娱app是一个句子或者一对于句子,此中的每一个单词都先被暗示为一个嵌入向量序列,暗示为l_1。

然后,基在transformer的编码器捕捉每一个单词的上下文信息,并于l_2中天生同享的上下文嵌入向量

末了,对于在每一个使命,分外的 task-speci?c 的层天生特定在使命的暗示,然后是分类、相似度评分或者相干性排序所需的操作。MT-DNN利用BERT来初始化它的同享层,然后经由过程MTL改良它们。

范畴自顺应成果

评估语言嵌入的通用性的一种要领是丈量嵌入顺应新使命的速率,或者者需要几多特定在使命的标签才能于新使命上得到不错的成果。越通用的嵌入,它需要的特定在使命的标签就越少

MT-DNN论文的作者将MT-DNN与BERT于范畴自顺应(domain adaption)方面的体现举行了比力。

于域顺应方面,两种模子都经由过程慢慢增长域内数据(in-domain data)的巨细来顺应新的使命。

SNLI及SciTail使命的成果以下表及图所示。可以看到,于只有0.1%的域内数据(SNLI中为549个样本,SciTail中为23个样本)的前提下,MT-DNN的正确率跨越80%,而BERT的正确率于50%摆布,这申明MT-DNN进修的语言嵌入比BERT的越发通用。

yabo与BERT比拟,MT-DNN于SNLI及SciTail数据集上的精度更高。

yabo于GLUE、SNLI及SciTail 3个benchmarks上的成果

yabo于GLUE测试集的成果,MT-DNN于10个使命上的成果均逾越了BERT

模子开源

微软已经经于GitHub开源MT-DNN包,此中包罗了预练习的模子、源代码,并描写了怎样重现MT-DNN论文中陈诉的成果,以和怎样经由过程domain adaptyaboation使预练习的MT-DNN模子顺应任何新使命。

yabo国际平台

论文:

https://arxiv.org/abs/1901.11504

GitHub:

https://github.com/namisan/mt-dnn

yabo:10大任务超越BERT,微软提出多任务深度神经网络


易优CMS 素材58 区块链是什么 微信小程序开发教程
地址:武汉东湖新技术开发区  电话:0898-08980898  QQ:3447249690
Copyright © 2012-2018 亚博|app下载官网 版权所有  ICP备案编号:鄂ICP备19002934号-1