自然语言处理的基础知识

自然语言处理的基础知识"/>

自然语言处理的基础知识

自然语言处理是什么

——摘自《统计自然语言处理第二版》宗成庆
自然语言处理的定义
美国计算机科学家马纳瑞斯（Bill Manaris）在《从人-机交互的角度看自然语言处理》一文中给自然语言处理提出的如下定义：
自然语言处理（natural language processing, NLP）可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语言能力（linguistic competence）和语言应用（linguistic performance）的模型，建立计算框架来实现这样的语言模型，提出相应的方法来不断地完善这样的语言模型，根据这样的语言模型设计各种实用系统，并探讨这些实用系统的评测技术。
基于统计和基于规则的区别
基于统计的自然语言处理的理论基础是哲学中的经验主义，基于规则的自然语言处理的理论基础是哲学中的理性主义。这些问题，说到底，是关于如何处理经验主义和理性主义关系的问题。——P28
语言
语言由语音、词汇和语法构成。语音和文字是构成语言的两个基本属性，语音是语言的物质外壳，文字则是记录语言的书写符号系统［黄伯荣等，1991］。
图灵测试
当时图灵提出这个测试的目的是用来判断计算机是否可以被认为“能思考”。后来这个测试被称为图灵
测试（Turing test），现已被多数人承认。图灵试图解决长久以来关于如何定义思考的哲学争论，他提出了一个虽然主观但可以操作的标准：如果一个计算机系统的表现（act&#x