自然语言处理背后的数据科学

杰米粉2022-01-06 11:40

  人类交流是最迷人的特征之一。作为人类的一员,我知道人类之间的互动是极其复杂的。我们经常发送和接收错误的信息,或者我们的信息会被别人误解。每天我们都认为自己有能力向同事和家人传达意义。

自然语言处理背后的数据科学

  我们以各种方式交流,包括交谈和写符号。人与人之间的交流可以像隔着房间看一眼一样简单。斯坦福大学机器学习教授克里斯·曼宁将交流描述为一个离散、符号、分类的信号系统。这是什么意思?我觉得是我们的感官,比如视觉、触觉、听觉甚至嗅觉,让我们交流。这让我想起了这个博客的主题:当我们考虑计算时会发生什么?什么是自然语言处理?它是如何工作的?

  自然语言处理(NLP)是计算机科学和人工智能领域的一门学科。NLP是人与机器之间的交流,既能解释我们的意思,又能构建有效的反应。

  这个领域自20世纪50年代以来就存在了,你可能听说过艾伦图灵开发的“图灵测试”。图灵测试衡量计算机对人类书面问题的反馈。如果一个独立的人分不清一个人和一台机器的区别,那么计算系统就会被评为智能。自20世纪50年代以来,我们取得了巨大的进步,数据科学和语言学也取得了巨大的进步。本文的其余部分详细介绍了这些算法在自然语言处理领域的一些基本功能,并将包含一些使用Python的代码示例。

  标记化

  为了开始自然语言处理,我们将从一些非常简单的文本分析开始。标记是提取文本流的过程,比如一个句子,分解成最基本的单词。比如取以下句子:heredfoxjumpsoverthemon.每个单词代表一个标记,其中七个。

  用Python标记句子: 

myText = ‘The red fox jumps over the moon.’
myLowerText = myText.lower()
myTextList = myLowerText.split()
print(myTextList)
OUTPUT:
[‘the’, ‘red’, ‘fox’, ‘jumps’, ‘over’, ‘the’, ‘moon’]

  点击图片免费领取课程!

自然语言处理背后的数据科学

  以上就是小编为大家整理发布的“自然语言处理背后的数据科学”一文,更多相关内容尽在开课吧广场AI人工智能教程频道。

免责声明:本站所提供的内容均来源于网友提供或网络搜集,由本站编辑整理,仅供个人研究、交流学习使用。如涉及版权问题,请联系本站管理员予以更改或删除。
有用
分享