山重水复疑无路,柳暗花明又一村 ——“人工智能+翻译”浅析_AI.人工智能讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  AI.人工智能讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 3326 | 回复: 0   主题: 山重水复疑无路,柳暗花明又一村 ——“人工智能+翻译”浅析        下一篇 
huang.wang
注册用户
等级:中将
经验:17623
发帖:407
精华:1
注册:1970-1-1
状态:离线
发送短消息息给huang.wang 加好友    发送短消息息给huang.wang 发消息
发表于: IP:您无权察看 2017-7-6 12:43:19 | [全部帖] [楼主帖] 楼主

1.webp.jpg

每次人工智能领域有新的进展,AI即将取代人的消息就会席卷一次各大媒体和社交平台。

而几个月前,谷歌翻译正式回归中国并在翻译的准确程度上取得重大突破的消息又一次刷屏各大新闻头条,人工智能会不会取代人类翻译也再次成为人们讨论的热点话题。

下面让我们从人工智能翻译的技术发展人工智能翻译的使用情境以及人工智能翻译的不足与前景几方面来看一看人工智能翻译在超越人类的道路上到底走到了哪一步。


人工智能翻译的技术发展

“机器翻译”这个概念起源于上世纪50年代,最早的机器翻译采用基于语法规则的方法来进行翻译。研究人员请语言学家制定了非常复杂的语言转换规则,让机器按照这些规则去翻译。由于语言中存在着太多的特例,想要穷举这些特例几乎是不可能完成的任务,同时语言的含义不断在发展演化,很多词在不同的时代背景下被赋予了不同的意义,由于这些问题的存在,此次尝试的结果自然不尽如人意。

虽然这不算一次太成功的尝试,但是这次试验开启了机器翻译的大门,研究人员之后也一直在尝试新的翻译算法和模型,以求达到更高的精准度。机器翻译发展到现在,先后经历了基于规则的机器翻译、基于语料库的机器翻译、混合型机器翻译等阶段,但得到的效果均不太理想,直到大数据以及深度学习技术的出现。人工智能的出现和使用给各行各业注入了新的生机,也给进展缓慢的机器翻译带来了新的活力,当发展受阻的机器翻译遭遇新兴的人工智能技术,颇有山重水复疑无路,柳暗花明又一村的意味。

基于神经网络的翻译被视为翻译的一个转折点,起到了颠覆的作用。有人指出,神经网络的应用带给翻译质量的提升,是过去十年的总和。

在此之前,包括谷歌的翻译,采取的都是基于词典的翻译算法(Phrased-Based Machine Translation ,PBMT)。

所谓基于词典的翻译,意思是翻译的最小单位是由任意连续的词组合成为的词组,该算法翻译一个句子要经历如下三个步骤。以英文翻译到中文为例:

2.webp.jpg

图|PBMT翻译步骤

首先,算法会把句子打散成一个个由词语组成的词组(中文需要进行额外的分词),如图中步骤1所示;

然后,预先训练好的统计模型会对于每个词组,找到另一种语言中最佳对应的词组,如图中步骤2所示;

最后,需要将这样“硬生生”翻译过来的目标语言词组,通过重新排序,让它看起来尽量通顺以及符合目标语言的语法,如图中步骤3所示。

传统的PBMT的方法,一直被称为自然语言处理(Natural Language Processing,NLP)领域的终极任务之一。因为整个翻译过程中,需要依次调用其他各种更底层的自然语言处理算法,比如中文分词、词性标注、句法结构等等,最终才能生成正确的翻译。这样像流水线一样的翻译方法,一环套一环,中间任意一个环节有了错误,这样的错误会一直延续下去,导致最终的结果出错。

因此,即使单个系统准确率可以高达95%,但当整个翻译流程走下来,最终累积的错误可能就不可接受了。

深度学习这几年火了之后,机器翻译一直是深度学习在自然语言处理领域里成果最为卓越的方向之一。深度神经网络提倡的是端到端的学习(end-to-end learning),即跳过中间各种子语言处理的步骤,用深层的网络结构去直接学习拟合源语言到目标语言的概率。

2014年,Cho et. al和Sutskever et al.提出了编码-解码(Encoder-Decoder)架构的神经网络机器翻译系统。如下图所示:

3.gif

图|神经网络机器翻译系统翻译步骤

该系统处理语言的方式是:首先把源语言一个词一个词地输入编码器,编码器利用训练好的神经网络参数,把整个输入序列的信息存在一个隐层向量h中;然后h这个隐层,可以理解为包含了所有对输入源语言的描述;最后再由解码器,利用训练好的神经网络参数,从隐层h中读取参数,再一个词一个词地输出目标语言。

NMT这样的过程直接学习源语言到目标语言,省去了训练一大堆复杂自然语言子系统的依赖,依靠大量的训练数据(平行语聊库,比如同一本书的中文和英文版本),直接让深度神经网络去学习拟合。熟悉深度学习的朋友可能会意识到,这样的方法一个极大的优势就是省去了很多人工特征选择和调参的步骤。同时,相比于传统PBMT一个词组一个词组的独立翻译,NMT这样端到端翻译出来的语言更加自然流畅。

然而,尽管学术上的NMT虽然取得了丰硕的成果,但在实际的产品中NMT的效果却比不上PBMT。究其原因主要是以下三点:

1、训练和预测的速度太慢。这么复杂的神经网络在预测的时候就要耗费大量的资源,远远慢于PBMT的系统。并且在训练的时候拟合这么大规模的预料,可能要很久很久才能训练一次,这样不利于快速迭代改进调整模型参数。

2、NMT在处理不常见的词语的时候比较薄弱。比如一些数字、或者专有名词。在传统PBMT系统中,可以简单地把这些词原封不动的copy到翻译句子中;但是在NMT中,这样的操作就无法有效的进行。

3、有时候NMT无法对输入源句子的所有部分进行翻译,这样会造成很奇怪的结果。

针对以上的不足,谷歌公司提出了改进计划并在此基础上发布了谷歌神经机器翻译(Google Neural Machine Translation,GNMT)系统,通过维基百科和新闻网站的例句测定发现:在多个样本的翻译中,该系统的使用将机器翻译误差降低了 55%-85% 以上。

4.webp.jpg

注|翻译评估,分数越高表示越完美

正当人们为谷歌在翻译方面所取得的技术突破欢呼惊叹时,今年六月,全球社交巨头Facebook发布了他们使用全新的卷积神经网络(CNN)进行语言翻译的研究成果。据悉,这种新方法能够以现有的循环神经网络系统9倍的速度进行翻译,而且翻译的准确性还会得到大幅的提高。

卷积神经网络(CNN)最早是由深度学习领域的权威人物Yann LeCun在几十年前所发明的,在以图像处理为代表的的机器学习应用中表现的非常成功。但在语言翻译方面,由于对准确性的追求,往往会将循环神经网络(RNN)作为首选的技术。但尽管如此,RNN在设计上所固有的局限性还是制约了它在语言翻译和文本处理上的进一步应用。

举例来讲,计算机在进行文本翻译的时候,通常是根据一种语言的句子来判断在另一种语言里同义单词的排列顺序。但循环神经网络只能以从左到右(或从右到左)的顺序逐字进行翻译,这就和深度学习中多GPU并行的计算模式十分不契合,必须要等到上一个词翻译完之后,下一个词才可以继续,实际上也就相当于造成了神经网络计算能力的浪费。

5.webp.jpg

图|CNN与RNN区别简图

与之对比,CNN就表现出很大的优势,它可以充分利用多GPU并行计算的能力,同时处理多个语言片段,显然效率会得到大大提升。除此以外,CNN的另一个优势就是其所具备的信息分层处理能力,这对于海量信息中的复杂关系归纳汇总十分有利。

在由机器翻译大会(WMT)提供的公开标准数据包上的测试表现来看,Facebook全新的翻译系统的性能要远超RNNs2。尤其是在CNN模式下的WMT 2014 英语-法语测试中,要比之前的最佳纪录提高了1.5个BLEU值。【BLEU(Bilingual Evaluation Understudy)是运用最广泛的机器翻译准确度评判标准,系统认为,机器翻译结果越接近人工翻译,那么翻译质量就越高。

除了以上提到的互联网巨头在智能翻译领域取得的硕果,国内的企业也在将汉语翻译成其他语言的道路上进行着积极的创新。

研究表明,在中文阅读时,汉字的顺序并不会对阅读理解产生特别大的影响,然而在翻译时,汉字的顺序的不同或者某个词组位置的不同都会对翻译结果产生巨大的影响。

由联动北方公司参与研发的以智慧树为模型的人工智能翻译,用以智慧树为模型的翻译取代了传统先分词、再翻译的机器翻译模式,该模型通过定位命中簇、映射概念簇以及序列化热点簇等步骤,将机器翻译的准确程度提高了很多。


人工智能翻译的使用情境

今年5月,韩国科学技术院的生物与大脑工程教授 Jung Jae-seung 在一场名为“人工智能与翻译的未来”的论坛上说,人工智能驱动的翻译将会承担大量现有人类翻译所做的工作。

“如果能理解不同语言之间的文化,并为之产生最好的相应文本,就可以定义为好的翻译的话,基于人工智能的翻译因为能够从不同的文化中搜集大量的数据,所以肯定在最后会超越人类”,他说。

他还提到了今年2月,国际翻译协会组织的一场人机翻译竞赛。那场比赛得出的结果是,如果忽视速度和成本,人目前在翻译的准确度上确实比机器更高一筹。

“我们不应该认为这一差距在未来还会持续”,Jung教授表示:“虽然很难接受,但是考虑到有充足的数据,谷歌等科技公司会有巨大的优势。正如AlphaGo 击败了李世石一样,我们都不知道它到底有没有理解游戏规则。AI 驱动的翻译可能也会直接跳跃过理解句子的阶段,在翻译上超越人类”。

人工智能翻译目前最大的好处在于免费和速度快。“如果人工智能驱动的翻译准确率能达到93%,而几乎不需要付出什么成本,并且速度极快。那么,人们会在大多数的翻译场景下使用它”,Jung说。

其实,目前针对一些正式文本(比如财务报表、商业合同和学术论文等)的翻译,机器翻译的准确度已经有了很大提升(部分翻译的准确度甚至能达到80%以上)。随着技术的进一步发展,机器对于正式文本的翻译准确度也会越来越高,这会对很多低端笔译岗位带来冲击。

同时,由于语音识别以及语音合成技术的成熟,一些低端口译工作同样会受到影响。对于旅游、日常会话等简单的英语翻译需求,目前已经有手机应用能提供同声传译功能,在可以预见的未来,一些简单的口译工作也将会逐渐被机器所取代。

在口译领域,速度的重要性远比笔译要高。人工智能翻译能够以词对词的速度实时翻译人们的讲话,并且同时提供声音和字母,在效率和速度方面都有很大的优势,同时,现在单部的机器可以翻译的语言有几十种,比起人工口译具备更多的功能和用途。

除了对普通人工翻译工作可能产生的威胁之外,人工智能翻译也有一些积极的作用。

首先,它可以帮助人类翻译的发展,通过分析人工智能翻译结果的各种特征并确定其优缺点,翻译人员可以更有效地工作。

其次,人工智能翻译的使用在某种程度上打破了语言之间的隔阂,让使用不同语言的人能够通过翻译机器进行无障碍的交流与沟通,这一点无论对个人的生活与旅游还是对各个名族、各个国家的文化交流与融合都起到了促进的作用。

在应用于翻译工作和日常生活之外,人工智能翻译在对小众语言的保护方面也有着巨大的潜力。

6.webp.jpg

图|世界语言树

据统计,人类目前使用大约6900种不同的语言。但使用汉语、英语、北印度语、西班牙语和俄语这5种语言的人占了全球人口的一半以上。事实上,95%的人只使用100多种语言进行交流。

同时,另外一个不为人知的事实是,根据语言学家估计,世界上约有三分之一的语言仅由不到1000人使用,而且在未来一个世纪这些语言面临失传的危险。这些小众语言所体现的独特的文化遗产,像传统故事、短语、笑话、传统草药,甚至独特的情感也会随着语言的失传而消失。而人工智能翻译的突破将有可能解决这一问题,如果能够解决学习过程中语言标记的难题,那么这些瑰宝将被永久存留下来让我们学习与研究。


人工智能翻译的不足与前景

人工智能在各行各业都发挥着巨大的作用,离取代初级的翻译行业似乎也并不遥远。

然而智能翻译虽然理论效果翔实,但实际应用中所得到的结果却没那么令人满意。针对翻译的效果,我们拿最近很火的谷歌翻译做了一些典型测试。

首先,翻译的结果无法联系上下文,对于一些中国特有的古诗词,明显无法理解中国文化的语境,翻译结果无法做到言语优美,完全展示诗句中的韵味,同时还可能会有漏翻的现象发生。

7.webp.jpg

其次,对于一些专有的名词(如下图中北京联动北方科技有限公司),机器无法及时识别出而是根据字面意思进行翻译。

最后,当所需要翻译文章的篇幅较长时,翻译结果无法保持句子的连贯性,翻译结果中一句话被分割成了几小块。

8.webp.jpg

通过以上几个例子可以看出,人工智能翻译在实际应用中依旧存在不少瑕疵。

除此之外,我们还在多种国内翻译软件上做了一些翻译测试,翻译结果都不太令人满意。目前所谓的“人工智能翻译”在实际应用中并没有那么强大,对于普通人来说问个路买或者瓶水之类的翻译还是没问题的,但是真要说去会场上进行同声传译、代替人工同传,现在来说为时尚早。

同时,我们也就人工智能翻译的发展前景询问了一些翻译界的业内人士的看法,大多数对人工智能翻译的技术还是看好的,但同时认为人工智能翻译还有很长一段路要走,指出现阶段的机器翻译普遍问题较多,还无法达到实用级别。也有一些行业人士认为要人工智能翻译完全取代同传是不可能的。对外经济贸易大学英语翻译系王教授称,翻译是一个交流的艺术,不仅仅是一种语言到另一种语言的转换,还是一种文化到另一种文化的跨越。

如若真的要在翻译领域进行大规模应用甚至取代人工翻译,目前的翻译软件至少需要在下面几个方面进行改进与提高。

首先是翻译结果语言的质量问题,目前的机器翻译更多的是基于原句子进行基础的直白的翻译,无法做到“信、达、雅”,简而言之,就是无法保留某些语言中言语的美感。同时语言属于多线程、高智能的领域,并且随着时间以及文化趋势的变化,不同的语意都会有不同的变化,人工智能需要大量的数据和不断的自我学习及更新。然而由于目前技术瓶颈的限制,人工智想在这方面有所突破难度颇高。

同时,人工智能也无法传递人类的情感甚至肢体层面的感性信息。语言是一种富有魅力的事物,它的背后充满了一系列“非规则”的灰度。而且不同种类语言就是一个框架,不同语言有不同语言的语法规则,让机器大量输入样本学习语法规律是可以实现的。但语言只是一个载体,传递的真实信息才是内核,单单语言所能承载的信息,是不能完全表达人想表达的真实思想的。另外在一些婉转语境之中,人工智能很难对当前情况作出及时准确的判断。再加上人类复杂的表情、手势、眼色等一系列辅助表达手段,人工智能在如此多的模糊表意面前,很难翻译出很多言外之音。

再者,人工智能在一些地域性的特殊场景下很难明确理解人类的语义。真实的语言使用场景是非常复杂的,尤其是各个地方的语言各有其特色。普通话在不同地域就会有不同词汇和表述,而在个人出境游这样的特殊场景之下,会面临各种各样的俚语和地方性的口音乃至地方习俗。其实你根本不是纯粹靠语言能力这个具体的技能在与对方交流和互动,而是基于你几十年来积淀的跟人相关的文化、表情等一揽子的表意符号展开交流。而人工智能在这些复杂的信息面前,还是很难取得突破。

最后,在专业的细分领域,人工智能在理解或处理专业术语的特定表达方面也存在缺陷。例如军事、法律、医学、机械工业等行业,其中的专有名词是非常丰富的,尤其是法律名词的背后,它会有各种各样的词汇解读,每一个词的背后都会产生不一样的法律结果。例如,在军事领域,“反斜面”这样一个词汇很容易被翻译成“山对面”,但二者真实的意思是完全相反的。目前来看人工智能的这种错误是不会让这些专业人士满足需求的,只有人才能真正分别出其中各种精细化的解读。

以上这些问题,每一点都关乎人工智能翻译发展应用的核心问题,这些所有问题叠加在一起,使得人工智能在翻译领域面临种种挑战。但科技的发展速度远超我们的想象,任何一个微小技术的革新和突破都有可能给总体带来意想不到效果,让我们共同期待人工智能在取代翻译行业的道路上带来的惊喜吧。



该贴被huang.wang编辑于2017-7-6 12:46:26


我超级酷,但是如果你回复我的话我可以不酷那么一小会儿。


——来自logo.png


赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论