介绍
Hadoop是一个基于Java的编程框架，支持在一组廉价机器上处理和存储极大数据集。它是大数据游戏领域的第一个主要开源项目，由Apache软件基金会赞助。 Hadoop 2.7由四个主要层组成：- Hadoop Common是支持其他Hadoop的模块工具和库集合。
- HDFS，它代表Hadoop分布式文件系统，负责数据持久化到磁盘。
- YARN ，短的又一资源谈判，是“操作系统”的HDFS。
- MapReduce是Hadoop集群原来的处理模型。它在集群或映射中分配工作，然后组织并将节点的结果减少为对查询的响应。许多其他处理模型可用于2.x版本的Hadoop。
先决条件
要遵循本教程，您需要：- 一个Ubuntu 16.04服务器与非root用户
sudo权限 ：您可以了解更多关于如何建立一个用户利用这些权限在我们与Ubuntu 16.04的初始服务器安装指南。
第1步 - 安装Java
要开始使用，我们将更新我们的软件包列表：sudo apt-get update
sudo apt-get install default-jdk
java -version
Outputopenjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-8u91-b14-3ubuntu1~16.04.1-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)
第2步 - 安装Hadoop
使用Java的地方，我们将参观 的Apache Hadoop的发布页面找到最新的稳定版本。按照当前版本的二进制：
在下一页上，右键单击并复制最新稳定版本二进制文件的链接。
在服务器上，我们将使用
wget获取它：
wget http://apache.mirrors.tds.net/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
输入您下载的版本的目录：
最后，找到
.mds为您下载，然后复制链接对应的文件发布文件：
同样，我们会用鼠标右键单击复制文件的位置，然后使用
wget传输文件：
wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds
shasum -a 256 hadoop-2.7.3.tar.gz
Outputd489df3808244b906eb38f4d081ba49e50c4603db03efd5e594a1e98b09259c2 hadoop-2.7.3.tar.gz
.mds文件：
cat hadoop-2.7.3.tar.gz.mds
〜/ hadoop-2.7.3.tar.gz.mds
...
hadoop-2.7.3.tar.gz: SHA256 = D489DF38 08244B90 6EB38F4D 081BA49E 50C4603D B03EFD5E 594A1E98 B09259C2
...
tar命令和
-x标志来提取，
-z解压缩，
-v详细输出，和
-f来指定我们'从文件中重新提取。使用制表符完成或在以下命令中替换正确的版本号：
tar -xzvf hadoop-2.7.3.tar.gz
/usr/local ，适当的地方为本地安装的软件。如果需要，请更改版本号，以匹配您下载的版本。
sudo mv hadoop-2.7.3 /usr/local/hadoop
第3步 - 配置Hadoop的Java Home
Hadoop要求您将路径设置为Java，作为环境变量或Hadoop配置文件。 到Java的路径，/usr/bin/java是一个符号链接
/etc/alternatives/java ，而这又是一个符号连接到默认的Java二进制文件。 我们将使用
readlink与
-f标志遵循的路径的每一个部分每符号链接，递归。 然后，我们将使用
sed修剪
bin/java从输出到给我们正确的值
JAVA_HOME 。 查找默认Java路径
readlink -f /usr/bin/java | sed "s:bin/java::"
Output/usr/lib/jvm/java-8-openjdk-amd64/jre/
readlink文件中的动态命令，这样的Hadoop将自动使用任何Java版本设置为系统默认值。 首先，打开
hadoop-env.sh ：
sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh
选项1：设置静态值
/usr/local/hadoop/etc/hadoop/hadoop-env.sh
. . .
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre/
. . .
选项2：使用Readlink动态设置值
/usr/local/hadoop/etc/hadoop/hadoop-env.sh
. . .
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")
. . .
JAVA_HOME在hadoop-env.sh将覆盖在环境下设置的任何值/etc/profile或在用户的个人资料。
第4步 - 运行Hadoop
现在我们应该能够运行Hadoop：/usr/local/hadoop/bin/hadoop
OutputUsage: hadoop [--config confdir] [COMMAND | CLASSNAME]
CLASSNAME run the class named CLASSNAME
or
where COMMAND is one of:
fs run a generic filesystem user client
version print the version
jar <jar> run a jar file
note: please use "yarn jar" to launch
YARN applications, not this command.
checknative [-a|-h] check native hadoop and compression libraries availability
distcp <srcurl> <desturl> copy file or directories recursively
archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
classpath prints the class path needed to get the
credential interact with credential providers
Hadoop jar and the required libraries
daemonlog get/set the log level for each daemon
input在我们的家目录和Hadoop配置文件拷贝到使用这些文件作为我们的数据。
mkdir ~/input
cp /usr/local/hadoop/etc/hadoop/*.xml ~/input
hadoop-mapreduce-examples程序，有几个选项的Java归档。 我们将调用它的
grep计划，包括在许多例子中的一个
hadoop-mapreduce-examples ，其次是输入目录，
input和输出目录
grep_example 。 MapReduce grep程序将计算文字或正则表达式的匹配。 最后，我们将提供一个正则表达式查找单词的出现
principal内或在陈述句的末尾。表达式是区分大小写的，所以我们不会找到这个词，如果它在句子的开头大写：
/usr/local/hadoop/bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/input ~/grep_example 'principal[.]*'
Output . . .
File System Counters
FILE: Number of bytes read=1247674
FILE: Number of bytes written=2324248
FILE: Number of read operations=0
FILE: Number of large read operations=0
FILE: Number of write operations=0
Map-Reduce Framework
Map input records=2
Map output records=2
Map output bytes=37
Map output materialized bytes=47
Input split bytes=114
Combine input records=0
Combine output records=0
Reduce input groups=2
Reduce shuffle bytes=47
Reduce input records=2
Reduce output records=2
Spilled Records=4
Shuffled Maps =1
Failed Shuffles=0
Merged Map outputs=1
GC time elapsed (ms)=61
Total committed heap usage (bytes)=263520256
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=151
File Output Format Counters
Bytes Written=37
Output . . .
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
cat的输出目录：
cat ~/grep_example/*
Output6 principal
1 principal.
principal后跟一个句点和六个出现的地方不是。运行示例程序已验证我们的独立安装正常工作，并且系统Hadoop上的非特权用户可以运行Hadoop进行探查或调试。
