默认搜索
???位???主页 > 949494救世网 > ????
  • 机器翻译能力再获国际认可!小牛翻译两篇论文被ACL 2021大会收录
  • ?????2022-01-13   ?????   ?????admin   ?????未知   ???澹篬 ?? ?? ]

  近日,自然语言处理(NLP)领域的国际顶级学术会议“国际计算语言学协会年会”(ACL 2021)在线上召开。根据 ACL 2021官方数据,今年大会的有效投稿数量达到3350篇,最终有21.3%的论文录用到主会(Main Conference),并额外接收了14.9%的论文到 Findings 子刊。其中,小牛翻译团队有两篇长文论文被ACL主会收录(分别与腾讯公司、香港中文大学合作),展现出在机器翻译领域的技术积淀和源头技术创新能力。

  这两篇论文覆盖了语音翻译、模型压缩等NLP领域的热点和前沿研究方向,提出了包括面向端到端语音翻译的预训练模型使用方法、神经网络权重知识迁移方法。

  端到端语音翻译(ST)的性能受限于训练数据稀缺问题,一种常用的方法是利用预训练的语音识别(ASR)和机器翻译(MT)模型来初始化ST模型。论文对ASR、MT和ST模型进行了分析,提出了一种带有适配器模块的模型框架SATE来进行声学和文本编码,该框架可以高效地利用预训练模型。在非受限场景下,首次证明了端到端模型可以取得与级联模型相当的表现。本工作由小牛翻译团队与腾讯民汉机器翻译团队合作完成。

  知识蒸馏作为一种有效的模型加速和模型压缩方法,近年来得到了广泛的使用。它通过使用大型神经网络的预测作为小型神经网络的学习目标,将知识从大型神经网络转移到小型神经网络。但是,这种方式忽略了大型神经网络内部的知识,例如权重。在本文中我们提出权重蒸馏,通过参数生成器将大型神经网络的权重知识转移到小型神经网络。在WMT16 En-Ro,NIST12 Zh-En和WMT14 En-De机器翻译任务上,小牛翻译团队的实验表明,权重蒸馏学习的小型网络比大型网络快1.88~2.94倍,而且具有很好的翻译性能。

  这些机器翻译领域的源头技术创新将进一步增强小牛翻译的机器翻译能力,不但能够赋能小牛多国语机器翻译系统、小牛智能办公本、小牛翻译离线SDK等产品,使其不断优化迭代,为用户带来更便捷、更优质的服务;还能赋能专利、教育、医疗、金融、电商等行业领域,推动机器翻译技术+行业的创新应用,真正实现让机器翻译技术赋能百业、惠及人人。


{dede:include filename="foote鐟???3?袘??娆㈢ゥ娼锋懖?鎸犳汞鏁寸懏鈭芥懟鎽?妤︽饱?鎱暛?鏁澒鐗崵?????鏁叴娓犳怠?鎼㈢崶鐗g仼妤存汞?娼g懏婀?绗㈡暏鏁ゆ樅鏁╂懍娓犳怠?鎼х崶鐗g仼妤存汞?鐣︽嵁妤存汞?鐟ㄦ杯鐞茬ˉ?娴??????妤鐖犳饱鈭芥崺婀?鐗ㄦ櫏鈭芥槸鐧℃崺婀ぎ娼?绁存暟鈭芥旦鏉??鎹╂汞?鏁イ?鐚㈢墸鏁モ壆???妤鐖犳饱鈭芥〕鐗嵈鐟垫娼b壆鏍犳暡??鎱︽ザ娼?鎹┾壇鐞犵伖?妞㈡叚鏁х牤妞剑鈮礌鎽ユ叐鈭芥嵆鏁叉攻???姘兼供?鏁?鐚㈢ゴ鏁〕鏁?鏍犳暡?绗㈡暏鏁ゆ樅鏁╂懍娓犳怠?鐞ф单姹扮懃鐗???鏁剁ゲ鎽g懗姹?鏁剁ゲ鎽f鎽ˉ鎸嵆?绁存暟鈭芥暣鐟告尟鐛?鏁イ?鎰㈡爆???姘兼供?鏁?鐚㈢ゴ鏁〕鏁?鏍犳暡?绗㈡暏鏁ゆ樅鏁╂懍娓犳怠?鐞ф单姹扮懃鐗???鏁剁ゲ鎽g懗姹?妤懗鎱熺懖鎹╂暚鎸嵆?绁存暟鈭芥暣鐟告尟鐛?鏁イ?鎰㈡爆???鐚肩墸鐏?鎱澁鎱垫暓鈭芥叒鎱舵嵆妤茬懓?绁存暟鈭芥暣鐟告ǒ鐧$崱鐗g仼?鐚犳嵅鈭芥尟妤$暪婀$く鎵?鐛??鐚墸鐏??鐚肩墸鐏?鎱澁鎱垫暓鈭芥厞鎱舵崜妤茬懓?鐗?绗㈡暏鏁ゆ満娼參?鎱暛?鏅e涧娴g伋鐟?绱く鎹暚鏁ゆ惎鎽ユ叆鎱?妯??鐚墸鐏??鐞肩懇鏁鏁ゆ暏鏈烘浆鎱?鎱暛?鏅e涧鏁锋耿娴?绱?绗犳暏鏁ゆ樅鏁╂懍娓犳怠?鐞х懇鏁?绱?妤存贝???鏁ㄦ憽??娼㈢イ?绗婃暏鏁ゆず鎹暚鏁ゆ槧姹╂攻娴?鏍㈡叆?鐟?绱??鎼肩櫓妞?鎸㈡汞鏁寸懏???妤?鎽┾埥娼g懏婀ュ酱鏁懄???鎼?鎽┾埥鏁暜????鐟????鐟???鎼??鐞犵懇鏁埥??鏍犳暡?????????鎽???鎽绘懃?妗f埂鏁?绁存暟?娼?鐖犵澂??绱???鎽??鐗ㄦ櫏?鏅涙暕鎽惡鐏规饱婀??鐞犵懇鏁?鏅涙暕鎽惡鐏规攻娴??瀣炬ウ姹?绁存暟鎱暛宕???鎽????鏁ゆ暏鎸烘叏婀饱???鎼????鐢????妤尃鎱嵆鈭界暢娴㈡攻??????姘??????绗夋暏鏁ゆ労鐟叉ガ鐟崇垹鐫??鐞犵懇鏁暚?銏?绱???妤??鐗ㄦ櫏鈭芥櫅鏁╂懍鏄烘暴婀ユ怠?宕?鏅涙暕鎽惡鐟╂暚宕???妤????鏁ゆ暏鎰虹懖妤懗???鐢?????姹???姘?姹g崱?鐚㈡壍鏁暜?????姘???????绗夋暏鏁ゆ労鐟叉ガ鐟崇垹鐫??鐞犵懇鏁暚?銏?婕犳懖鐗ョア鎸芥ガ姝???姘?鎰兼牋鏁?瀣㈡ウ姹?妤︽暚鎱暛??瀣炬ウ姹?妤存贝??鎰?姘???绗夋惎鎽?鐗℃贝鐛╃荡???姹???????妤???妤?鎽┾埥娼g懏婀ュ酱妤叉¨????妤?鎽┾埥娼g懏婀ュ酱妤叉¨褰存叜?????绗挎暏鏁ゆ樅鏁╂懍娓犳怠?鐎х嵂鐟╂僵?绱?妤???鎼肩櫓妞?鎸㈡汞鏁寸懏鐗熸潻鐟ㄦ睙鐛????鎼肩櫓????姹??????绗夋暏鏁ゆ昂鐛?鎱版暓妤虫暫??绱???????姘?鐟虫惫?鐪㈡懇妗??纭??鐏虫埂锟???瀣挎ウ姹?姹f崺????瀣挎ウ姹?娼扮懗鐣????鏅涙暕鎽烘壍鎱ゆ暣鏄犳沟鐟f僵?鐚х壌鐟︽旦?鈹?娲モ敪鈮?鏁?宕?鐏虫埂瀣炬ウ姹?绁存暟妤鏄犳沟鐟f僵?鐚х壌鐗熺仴鎱暎鈭??鎰⑩垹?鏁?宕??鎰兼牋鏁?瀣㈡ウ姹?鐗$暎姹插疮?鏅涙暕鎽惡鐟╂暚宕???妤?????鏁ゆ暏姘虹崺绲???????鐢????鎼櫓?妤?鎽┾埥鎱版暓妤懗?鎽绘懃?鎱版暓妤懗姘犵崺鐛寸┅????鎼櫓???鎼櫓???妤???妤??鎽绘懃?婀╂保鎽?妤︽暚鎱暛鈭芥溅鐟墺鏍荡?????????鍛冨仚?鐟ㄦ杯鍊?????????鍫犲憟?銊?鍚犳叢鐛懇娼╂叜???鈭犵懆鐏?鐪澐鐪?鐗?鍓旂牤鐟ㄦ杯?鍛?妗告荡?鐞叢鐛懇娼╂叜?鐟も墹??鐟ㄦ杯鐮犳杯鐛埥鐟ㄧ伌?鐪澐鐪?鐗???鐮懆姹??鏍兼叆??娲肩懃?鐟ㄧ伌鏀暠鐧┾埥娼冪懏婀?绁旀暟?娼g懏婀?鐞㈢ˉ?鐟ㄦ杯鈥绘。鐗℃暢?鎽绘懃?姹ф壇姹℃尞鏉︾崯鏅酱鎱澁绱???鐞肩懇鏁鏁ゆ暏鏄烘暕鎽惍鐟╂暚绱瓱鏁ゆ暏鏈烘浆鎱?鏅e涧鏁锋耿娴??鐞懇鏁??鏁叴娓犳怠?娆㈢ゥ娼锋懖?鎸犳汞鏁寸懏鈭芥懟鎽?妤︽饱?鎱暛?鏁澒鐗崵?????鏁叴娓犳怠?鎼㈢崶鐗g仼妤存汞?娼g懏婀?绗㈡暏鏁ゆ樅鏁╂懍娓犳怠?鎼х崶鐗g仼妤存汞?鐣︽嵁妤存汞?鐟ㄦ杯鐞茬ˉ?娴??????妤鐖犳饱鈭芥崺婀?鐗ㄦ櫏鈭芥槸鐧℃崺婀ぎ娼?绁存暟鈭芥旦鏉??鎹╂汞?鏁イ?鐚㈢墸鏁モ壆???妤鐖犳饱鈭芥〕鐗嵈鐟垫娼b壆鏍犳暡??鎱︽ザ娼?鎹┾壇鐞犵伖?妞㈡叚鏁х牤妞剑鈮礌鎽ユ叐鈭芥嵆鏁叉攻???姘兼供?鏁?鐚㈢ゴ鏁〕鏁?鏍犳暡?绗㈡暏鏁ゆ樅鏁╂懍娓犳怠?鐞ф单姹扮懃鐗???鏁剁ゲ鎽g懗姹?鏁剁ゲ鎽f鎽ˉ鎸嵆?绁存暟鈭芥暣鐟告尟鐛?鏁イ?鎰㈡爆???姘兼供?鏁?鐚㈢ゴ鏁〕鏁?鏍犳暡?绗㈡暏鏁ゆ樅鏁╂懍娓犳怠?鐞ф单姹扮懃鐗???鏁剁ゲ鎽g懗姹?妤懗鎱熺懖鎹╂暚鎸嵆?绁存暟鈭芥暣鐟告尟鐛?鏁イ?鎰㈡爆???鐚肩墸鐏?鎱澁鎱垫暓鈭芥叒鎱舵嵆妤茬懓?绁存暟鈭芥暣鐟告ǒ鐧$崱鐗g仼?鐚犳嵅鈭芥尟妤$暪婀$く鎵?鐛??鐚墸鐏??鐚肩墸鐏?鎱澁鎱垫暓鈭芥厞鎱舵崜妤茬懓?鐗?绗㈡暏鏁ゆ満娼參?鎱暛?鏅e涧娴g伋鐟?绱く鎹暚鏁ゆ惎鎽ユ叆鎱?妯??鐚墸鐏??鐞肩懇鏁鏁ゆ暏鏈烘浆鎱?鎱暛?鏅e涧鏁锋耿娴?绱?绗犳暏鏁ゆ樅鏁╂懍娓犳怠?鐞х懇鏁?绱?妤存贝???鏁ㄦ憽??娼㈢イ?绗婃暏鏁ゆず鎹暚鏁ゆ槧姹╂攻娴?鏍㈡叆?鐟?绱??鎼肩櫓妞?鎸㈡汞鏁寸懏???妤?鎽┾埥娼g懏婀ュ酱鏁懄???鎼?鎽┾埥鏁暜????鐟?????鎼????鎽??妤存贝????鏍犳暡??????????鎽???鎽绘懃?妗f埂鏁?绁存暟?娼?鐖犵澂??绱???鎽??鐗ㄦ櫏?鏅涙暕鎽惡鐏规饱婀??鐞犵懇鏁?鏅涙暕鎽惡鐏规攻娴??瀣炬ウ姹?绁存暟鎱暛宕???鎽????鏁ゆ暏鎸烘叏婀饱???鎼????鐢????妤尃鎱嵆鈭界暢娴㈡攻??????姘??????绗夋暏鏁ゆ労鐟叉ガ鐟崇垹鐫??鐞犵懇鏁暚?銏?绱???妤??鐗ㄦ櫏鈭芥櫅鏁╂懍鏄烘暴婀ユ怠?宕?鏅涙暕鎽惡鐟╂暚宕???妤????鏁ゆ暏鎰虹懖妤懗???鐢?????姹???姘?姹g崱?鐚㈡壍鏁暜??顜???妤???????鎽绘懃?鐗℃贝鐛?娼???妤存贝姹ユ攻?鏈?鐗暏鎵?姹f崺绲???妤??鐗ㄦ櫏鈭芥櫅鏁╂懍鏄烘暴婀ユ怠?宕?鏅涙暕鎽惡鐟╂暚宕???妤????鏁ゆ暏鎰虹懖妤懗???鐢???????鎼櫓??鎼肩櫓妞?鎸㈡汞鏁寸懏鐗熸潻鐟???鎼肩櫓妞?鎸㈡汞鏁寸懏鐗熸潻鐟ㄦ篃鐧??????鎽绘懃?妤︽饱?鎱暛?娼版コ妤存汞??鎼櫓???妤?鎽┾埥娼g懏婀ュ酱妤叉¨褰存ガ鐟????妤????鐢???????鎽绘懃?妤懗鐎犳潯鐛ョ┅?銏?????????妤尃绁存暚鈭芥シ鐟??鐎??鐚兼叞?????瀹烘ウ姹?姹f崺?????鏅涙暕鎽虹嵂婀存档宕???鏅涙暕鎽烘壍鎱ゆ暣鏄犳沟鐟f僵?鐚х壌鐟︽旦?鈹?娲モ敪鈮?鏁?宕?鐏虫埂瀣炬ウ姹?绁存暟妤鏄犳沟鐟f僵?鐚х壌鐗熺仴鎱暎鈭??鎰⑩垹?鏁?宕??鎰兼牋鏁?瀣㈡ウ姹?鐗$暎姹插疮?鏅涙暕鎽惡鐟╂暚宕???妤?????鏁ゆ暏姘虹崺绲???????鐢????鎼櫓?妤?鎽┾埥鎱版暓妤懗?鎽绘懃?鎱版暓妤懗姘犵崺鐛寸┅????鎼櫓???鎼櫓???妤???妤??鎽绘懃?婀╂保鎽?妤︽暚鎱暛鈭芥溅鐟墺鏍荡????????鎷撶ェ姹告櫏??鎼肩櫓妞?鎰㈡懁鐓规┈?鎰兼尃鎱嵆鈭芥嵑?鐗ㄦ櫏鈭界懆鐏?鐪澐娓櫢鐟舵崱?娼?鐞犵懇鏁埥顝??顨????顝??顨????????姹g崱?鏄?鏍犳暡?鏍㈢懘??鐫???鎸规弹鎸弹?妤存贝???????????????????????鎰熬?鎰兼尃鎱嵆鈭芥崷?鐗ㄦ櫏鈭界懆鐏?鐪澐鐚?妤告埂鏁ㄦオ姗?娼?鐞犵懇鏁埥顝??顔?????顝??顔?????????姹g崱?鏄?鏍犳暡?鏍㈢懘??鐫??銏便埍鎹℃弹鎸弹?妤存贝???????????????????????鎰熬?鎰兼尃鎱嵆鈭芥崷?鐗ㄦ櫏鈭界懆鐏?鐪澐鏈叄?娼?鐞犵懇鏁埥顝??顨???????顝??顨???????????姹g崱?鏄?鏍犳暡?鏍㈢懘??鐫?鐫???鎴垫尞娴?妤存贝?????????????????????鎰熬?鎰兼尃鎱嵆鈭芥崷?鐗ㄦ櫏鈭界懆鐏?鐪澐鐪澐??鐟?娼?鐞犵懇鏁埥????????顨??????????顨??????姹g崱?鏄?鏍犳暡?鏍㈢懘??鐫?鍚??娓懃?妤存贝???????????鎰熬?鎰兼尃鎱嵆鈭芥崷?鐗ㄦ櫏鈭界懆鐏?鐪澐???鎸垫弹鎸弹?妤存贝???????????????????????鎰熬?鎰兼尃鎱嵆鈭芥崷?鐗ㄦ櫏鈭界懆鐏?鐪澐?娲辨“鎸弹?妤存贝???????????????????????鎰熬???????鎼櫓??????鎷撶ェ鐗告潻鐟??鎴懐???鐟ㄦ杯>?绠???蠅??