1950年,艾伦日本新闻·图灵发表了一篇题为“计算机机械与智能”的文章,提出了著名的“图灵测试(Turing Test)”。这当中涉及了自动解释和自然语言的生成,作为判断智能的条件,这就是自然语言处理(Natural Language Processing,NLP)发展的开端。
深入了解什么是NLP?开课吧
NLP概述了解什么是自然语言处理前,我们需要先了解一下什么是自然语言。
1.什么是自然语言?
自然语言通常会自然地随文化发生演化,英语、汉语、日语都是具体种类的自然语言,这些自然语言履行着语言最原始的作用:人们进行交互和思想交流的媒介性工具。
语音:与发音有关的学问,主要在语音技术中发挥作用。
音韵:由语音组合起来的读音,即汉语拼音和四声调。
词态:封装了可用于自然语言理解的有用信息,其中信息量的大小取决于具体的语言种类。中文没有太多的词态变换,仅存在不同的偏旁,导致出现词的性别转换的情况。
句法:主要研究词语如何组成合乎语法的句子,句法提供单词组成句子的约束条件,为语义的合成提供框架。
语义和语用:自然语言所包含和表达的意思。
深入了解什么是NLP?开课吧
2.什么是自然语言处理?
自然语言处理是计算机科学,人工智能和语言学的交叉领域。目标是让计算机处理或“理解”自然语言,以执行语言翻译和问题回答等任务。NLP包含自然语言理解(Natural
美国
Language Understanding,NLU)和自然语言生成(Natural Language Generation,NLG)两个重要方向。自然语言理解NLU旨在将人的语言形式转化为机器可理解的、结构化的、完整的语义表示,通俗来讲就是让计算机能够理解和生成人类语言。
自然语言生成NLG旨在让机器根据确定的结构化数据、文本、音视频等生成人类可以理解的自然语言形式的文本。
3.自然语言处理的难度
自然语言千变万化,没有固定格式。同样的意思可以使用多种句式来表达,同样的句子调整一个字、调整语调或者调整语序,表达的意思可能相差很多。
不断有新的词汇出现,计算机需要不断学习新的词汇。
受语音识别准确率的影响。
自然语言所表达的语义本身存在一定的不确定性,同一句话在不同场景/语境下的语义可能完全不同。
人类讲话时往往出现不流畅、错误、重复等现象,而对机器来说,在它理解一句话时,这句话整体所表达的意思比其中每个词的确切含义更加重要。
想象一下汉语的博大精深就大概能懂这种难度其中的一星半点了。
人工智能的应用包括哪些?
人工智能兴起背后的担忧
人工智能发展的新方向