介绍
基于文本的交流已经成为最常见的表达形式之一。我们每天发送电子邮件，短信，鸣叫和更新我们的状态。结果，非结构化文本数据变得非常普遍，并且分析大量文本数据现在是了解人们正在想什么的关键方式。 Twitter上的推文帮助我们在世界上找到热门新闻话题。亚马逊评论帮助用户购买最好的产品。组织和构造知识的这些例子表示自然语言处理（NLP）任务。 NLP是一个计算机科学领域，专注于计算机和人类之间的交互。 NLP技术用于分析文本，为计算机提供了一种理解人类语言的方式。 NLP应用程序的几个示例包括自动摘要，主题分段和情绪分析。 本教程将介绍使用 自然语言工具包（NLTK）：为Python的NLP工具。前提条件
对于本教程，您应该安装Python 3，以及在计算机上设置本地编程环境。 如果不是这种情况，你可以按照得到建立 相应的安装和设置指南操作系统 。 为了充分利用使用本教程中，你应该有一定的了解 Python编程语言 。第1步 - 导入NLTK
在我们开始使用Python之前，让我们确保安装了NLTK模块。在命令行上，通过运行以下命令检查NLTK：python -c "import nltk"
python -c "import nltk; print(nltk.__version__)"
OutputTraceback (most recent call last): File "<string>", line 1, in <module> ImportError: No module named 'nltk'
pip ：
pip install nltk
第2步 - 下载NLTK的数据和标签
在本教程中，我们将使用一个Twitter语料库，我们可以通过NLTK下载。具体而言，我们将与NLTK的工作twitter_samples语料库。让我们通过命令行下载语料库，如下：
python -m nltk.downloader twitter_samples
Output[nltk_data] Downloading package twitter_samples to
[nltk_data] /Users/sammy/nltk_data...
[nltk_data] Unzipping corpora/twitter_samples.zip.
averaged_perceptron_tagger 。平均感知器标记器使用感知器算法来预测哪个POS标记最有可能给出该单词。让我们下载标签，像这样：
python -m nltk.downloader averaged_perceptron_tagger
Output[nltk_data] Downloading package averaged_perceptron_tagger to
[nltk_data] /Users/sammy/nltk_data...
[nltk_data] Unzipping taggers/averaged_perceptron_tagger.zip.
python
twitter_samples文集：
from nltk.corpus import twitter_samples
twitter_samples.fileids()方法：
twitter_samples.fileids()
Output[u'negative_tweets.json', u'positive_tweets.json', u'tweets.20150430-223406.json']
twitter_samples.strings('tweets.20150430-223406.json')
Output[u'RT @KirkKus: Indirect cost of the UK being in the EU is estimated to be costing Britain \xa3170 billion per year! #BetterOffOut #UKIP'...]
ctrl +
D 。 现在我们已经进入
twitter_samples语料库，我们可以开始编写脚本来处理的tweet。 我们的脚本的目标将是计算有多少形容词和名词出现在的正子
twitter_samples文集：
- 一个名词 ，在其最基本的定义，通常被定义为一个人，地方或事物。 例如， 一部电影 ，一本书 ，一个汉堡都是名词。计数名词可以帮助确定正在讨论多少不同的主题。
- 一个形容词是修饰名词（或代词），例如一个词： 恐怖的电影，一个有趣的书，或美味的汉堡。计数形容词可以确定正在使用哪种类型的语言，即意见倾向于包括比事实更多的形容词。
第3步 - 令牌化句子
首先，在你选择的文本编辑器创建，我们将要使用的脚本并调用它nlp.py 。 在我们的文件中，我们首先导入语料库。然后，让我们创建一个
tweets
变量并分配给它的
列表从鸣叫串
positive_tweets.json文件。
nlp.py
from nltk.corpus import twitter_samples
tweets = twitter_samples.strings('positive_tweets.json')
tweets_tokens ，对此，我们将指派鸣叫的标记化列表：
nlp.py
from nltk.corpus import twitter_samples
tweets = twitter_samples.strings('positive_tweets.json')
tweets_tokens = twitter_samples.tokenized('positive_tweets.json')
tweets_tokens ，是一个列表，其中列表中的每个元素是令牌的列表。现在我们有每个tweet的令牌，我们可以用适当的POS标签标记令牌。
第4步 - 标记句子
为了访问NLTK的POS标记器，我们需要导入它。所有import语句必须在脚本的开头。让我们把这个新的import在我们的其他import语句。
nlp.py
from nltk.corpus import twitter_samples
from nltk.tag import pos_tag_sents
tweets = twitter_samples.strings('positive_tweets.json')
tweets_tokens = twitter_samples.tokenized('positive_tweets.json')
pos_tag_sents() 我们要创建一个新的变量
tweets_tagged ，我们将用它来存储我们的标签列表。这个新行可以直接放在当前脚本的末尾：
tweets_tagged = pos_tag_sents(tweets_tokens)
[(u'#FollowFriday', 'JJ'), (u'@France_Inte', 'NNP'), (u'@PKuchly57', 'NNP'), (u'@Milipol_Paris', 'NNP'), (u'for', 'IN'), (u'being', 'VBG'), (u'top', 'JJ'), (u'engaged', 'VBN'), (u'members', 'NNS'), (u'in', 'IN'), (u'my', 'PRP$'), (u'community', 'NN'), (u'this', 'DT'), (u'week', 'NN'), (u':)', 'NN')]
JJ 。 该NLTK恶搞标志着
单数名词 （
NN ）比
复数名词 （不同的标签
NNS ）。 为了简化，我们将只通过跟踪的数单数名词
NN标记。 在下一步，我们将指望有多少次
JJ和
NN出现在我们的语料库。
第5步 - 计数POS标记
我们将继续跟踪多少次JJ和
NN出现使用累加器（计数）变量，我们将不断加入到我们每次找一个标签的时间。首先让我们在脚本的底部创建我们的计数，我们将首先设置为零。
nlp.py
from nltk.corpus import twitter_samples
from nltk.tag import pos_tag_sents
tweets = twitter_samples.strings('positive_tweets.json')
tweets_tokens = twitter_samples.tokenized('positive_tweets.json')
JJ_count = 0
NN_count = 0
for循环。
第一个循环将通过列表中的每个迭代鸣叫。
第二个循环将通过在每个鸣叫每个标记/标签对迭代。对于每个对，我们将使用适当的元组索引来查找标记。 然后，我们会检查，看是否符合标签或者字符串
'JJ'或
'NN'使用
条件语句 。 如果标记是一个比赛，我们将增加（
+= 1 ），以适当的累加器。
nlp.py
from nltk.corpus import twitter_samples
from nltk.tag import pos_tag_sents
tweets = twitter_samples.strings('positive_tweets.json')
tweets_tokens = twitter_samples.tokenized('positive_tweets.json')
JJ_count = 0
NN_count = 0
for tweet in tweets_tagged:
for pair in tweet:
tag = pair[1]
if tag == 'JJ':
JJ_count += 1
elif tag == 'NN':
NN_count += 1
nlp.py
...
for tweet in tweets_tagged:
for pair in tweet:
tag = pair[1]
if tag == 'JJ':
JJ_count += 1
elif tag == 'NN':
NN_count += 1
print('Total number of adjectives = ', JJ_count)
print('Total number of nouns = ', NN_count)
第6步 - 运行NLP脚本
保存nlp.py文件并运行它，看看我们有多少形容词和名词发现：
python nlp.py
OutputTotal number of adjectives = 6094
Total number of nouns = 13180
成品代码
对于我们完成的代码，我们应该添加一些注释，使其他人和我们的未来自我更容易遵循。我们的脚本看起来像这样：
nlp.py
# Import data and tagger
from nltk.corpus import twitter_samples
from nltk.tag import pos_tag_sents
# Load tokenized tweets
tweets_tokens = twitter_samples.tokenized('positive_tweets.json')
# Tag tagged tweets
tweets_tagged = pos_tag_sents(tweets_tokens)
# Set accumulators
JJ_count = 0
NN_count = 0
# Loop through list of tweets
for tweet in tweets_tagged:
for pair in tweet:
tag = pair[1]
if tag == 'JJ':
JJ_count += 1
elif tag == 'NN':
NN_count += 1
# Print total numbers for each adjectives and nouns
print('Total number of adjectives = ', JJ_count)
print('Total number of nouns = ', NN_count)
