【台湾AI技术力：自然输入法之父许闻廉】AI理解新突破，秒解小三数学题

小明有20元，小明有5颗苹果，小华有10颗苹果，一颗苹果2元，小明买给小华4颗苹果，小华吃了一颗，小华剩下几颗苹果？”这道小学数学题，你能马上回答的出来吗？但是中研院的中文AI对话引擎可以。

台湾自然输入法发明人许闻廉表示，因为中文特性，使得语意分析的重要性比国外更重要，这也是以中文为母语的台湾在地的竞争优势。。 摄影／洪政伟

去年，中研院智能代理人系统实验室着手打造一套了具有深度理解能力的对谈系统，不只能理解中文，还能解答中文描述的小学数学题，正确解出这道数学题的答案是“13颗苹果”，甚至还可以在答案栏上完整推导运算过程求得答案，就像人类在试卷纸上作答那样。就算将题目临时改成“小华苹果不是10颗，而是8颗，答案是多少？”也都难不倒它，而背后一手打造这套系统的关键人物，正是中文自然输入法发明人，也是现任中央研究院资讯科学研究所特聘研究员许闻廉。

长年在台从事中文自然语言研究多年的许闻廉，不只是台湾最早开发出具备中文语意分析能力的自然输入法的发明者，更是带动台湾电脑中文化普及的重要推手。

不同于仓颉等其他中文输入法，许闻廉开发出的自然输入法，因为能依照上下文选取同音字，大幅改善了过往以来的中文输入句子的重音字或抢字难题，所以，1992年一推出就获得热烈回响，短短数年内就冲破百万次下载，即使如今已快届满30年，很多企业或个人用户都仍是它的爱用者，将它当作是办公室或家中电脑常用的键盘打字输入工具。

但为何会想打造一套台湾在地的中文注音输入法？许闻廉回答也很简单，“就是因为自己需要用到。”他表示，1980年代当时IBM的电脑一推出，颠覆整个文书处理作业方式，从传统打字机，转变成以PC为主的键盘输入，但是一直缺乏一个好用的中文输入法，可以让他在电脑上流畅打字。于是当时还在国外大学教书的许闻廉，便决定在1989年回台进到中研院，负责中文输入法的开发，甚至连键盘都自己从头设计一个专用中文输入键盘，更花了4年时间开发推出首版自然输入法。

早在10多年前，许闻廉在开发中文自然输入法时，就已开始结合中文语意分析技术，用于自动选字，让使用者打字时，只要输入音节、声调，由机器依据前后句子，来自动帮你选出适当的用字。

早期中文自然输入系统，多采用预先写好的规则脚本来选字

不过，许闻廉表示，早期的中文输入系统，需透过预先写好的规则脚本，来判断前后句子的常用字来自动选字，虽然并未结合机器学习，但也开始采用统计分析方式，来计算出一句话里的每个字词组成的出现概率，这也是后来自然语言机器学习技术的发展基础。

以中文自然输入法来说，一开始语料库的建立，是来自纸本新闻，总共搜集了超过700万个中文字，转换成电脑可读的形式，来建立中文语意规则，再套用到注音输入法的选字规则上。例如，皮肤“科”与“柯”医师，注音同样都是念ㄎㄜ，但句子左边衔接的名词输入是皮肤时，经由统计概率的分布，得出指的是看诊分类的“科”，就会写成一种规则，以后当出现类似的前后句子，就会选出这个字；反之，医师在句子右边，则是指人名的“柯”，以此类推。

他表示，第一版中文自然输入法推出时，大约设计了数千到近万个规则排列，已经可以做到中文自动选字、自动校正。只不过，他坦言，当时的中文输入系统，在语意分析处理上，还无法像现在的处理量这么庞大，反应速度也不够快，常常输入一个字，就要等待许久，以注音输入常用的“是”为例，光是同义字就有100多个字，但一开始这套输入法系统全部安装完也只才700KB，因此，输入完常常得等待数秒，经过数十个判断规则，才能找到正确的用字。或是也无法做到需要更复杂的前后语句判断来选字。

1992年自然输入法推出后，至今历经20多年演进，经过10多次大小改版，除了原有的语意核心之外，也不断地修正、改进输入法的中文语意分析能力，来提升选字正确率，甚至也改安装在运算力更强的硬件上执行，而且还能跨不同作业环境，除了微软Windows，也支援了苹果Mac OS。

不只是中文输入，许闻廉后来也将中文语意分析技术，用来建立一套自动问答系统。虽然一开始功能还很阳春，只能回答基本题，但已跨出台湾中文自然语言技术发展的一大步，除了先在中研院内部使用，来回答有关中研院生活资讯相关事项，2000年时，他更与宝来证券合作，让这套问答系统能以网络客服形式来回答用户提问，也是当时最早推出自动问答服务的企业网站。后来还采更进阶统计分析的机器学习方法，来协助语意规则的建立，以提升中文问答能力。

大约2010年以后，类神经深度学习技术的出现，则是更进一步了带动自然语言处理技术的更大突破，从大量语料学习不同词汇所要表达的语义，来达到语意的理解，也是当前自然语言处理最热门的研究。

虽然深度学习技术有其发展优势，不过，许闻廉表示，不像影像辨识，不需要用到理解，所以深度学习可以发挥出很好的效果，“但换成是辨识中文语意，要做到自然语言理解需要的语意分析，达到中文理解面，深度学习就不太行，特别是在处理需要包含推论的多轮式对谈上。”他说。

他进一步说明，因为深度学习是以数学函数来表达学习到的建构模式，缺乏对于文字本身语法、语义分析，还有背景知识的理解，仅通过从大量中文语料学习，而没有经过任何复杂的语法拆解、语义分析等语意理解过程，一旦遇到需要理解力的问题时，机器就很容易看不懂。

以一个简单数学题为例，“当你身上有100元，父亲再给了你20元，就能买一辆脚踏车，所以脚踏车多少钱？”，因为叙述中出现“再给”的用语，代表“金额增加20元”的概念，所以答案是介于100元到120元之间，一般人理解上很容易，但是机器要回答就不是容易的事，“而只有当机器给出了正确答案，才代表它看懂这句话的意思，也就达到了理解。”他说。

中研院研发国产AI问答引擎，连数学题也能作答

为了让AI做到理解面，许闻廉与实验室团队自去年起也采用了新的语意理解技术，来设计出新一代问答系统，来打造出一套具备深度中文理解能力的全新问答系统。

有别于传统问答系统，他表示，这代问答系统采用了准则式（Principle-based）语意理解技术，这是一个全新的机器学习语言模型，尤其适合用在语意相似的描述，可以有更清楚的分辨力，结合了传统规则式（Rule-based）与统计（Statistical）两类作法的优点，不只能对于题目进行分析，能看懂每一个句子给出的假设条件，还能理解句子背后隐藏的意图，才能在看完一连串叙述后，由已知条件推导正确回答出“小华剩下13颗苹果”的答案，即使换个问法也难不倒它。“这也是机器要学习最困难的地方，”他表示，截至目前，这套系统已经能够自动解答小学三年级的数学应用题，可以扮演起教学助理的角色，来帮助小学生更容易学习。未来还有英文版本。

除了自动问答以外，近年来，语意分析技术也被用在具备有对话式、自动化的Chatbot（聊天机器人），或是会讲话的智慧喇叭。这些输入界面或操作方式的不同，也带来中文自然语言处理上的一大挑战。

以中文语音输入为例，许闻廉认为，就比注音输入在语意分析处理上，更容易造成混淆，而影响了辨识的正确率。例如注音输入，是以音节、声调的抑扬顿挫来在键盘上选字，但改用语音输入后，以口说的方式将声音转成文字，很容易会受到外在环境的影响，例如说出一个音节，机器可能听错成3个不同高低声调，混淆度就增加为原本的3倍，如此一来，辨识的准确度就可能会受影响。

尤其，中文的语法结构松散，以达到双方沟通为目的，一句话有时可以出现复数动词、倒装语序，或是省略用法，但英文就不行，这些语言上的用法差异，造成中文比英文更难理解，人类学习是如此，机器当然也是。

“这也是以中文为母语的台湾的竞争优势，”许闻廉指出，要做到中文的理解面，语意分析能力就十分重要，必须是要对于中文句子背后的语法、语义分析，还有背景知识结构有清楚透彻地了解，才可以把中文自然语言系统做得更好。也正是因为中文特性，使得中文语意分析的重要性比国外更重要，不像英文语句有很多剖析方式，可以提升它的正确率，但中文就不行，他强调：“中文自然语言技术是台湾在地AI很重要的基础力。

对于近两年，语音辨识、语音互动等语音应用在全球迅速窜红，甚至不少专家都预言，语音输入将会是未来各种应用程序或装置的下一代互动界面，甚至可能会取代键盘，但许闻廉则持不同看法，他反倒认为，两者将会并存，并不会因为有了语音输入，以后就不需要键盘。

他解释，语音输入有其便利性，尤其是在不适合携带或放置键盘的地方，就很适合用它来操作，但如果是需要大量文字输入为主的中文输入作业，未来仍需键盘辅助。整理⊙李岷锜、文⊙余至浩

 

专家小档案

许闻廉

● 职称：中央研究院资讯科学所特聘研究员

● 研究团队: 智能代理人系统实验室

● 代表成果：1992年发明自然语言输入法

● 最新进展：2018年新一代问答系统，能理解和解答中文描述的小学数学题