Hadoop的安装及配置

PS:最新安装教程请参考Hadoop的安装与配置（设置单节点群集）详细教程

1、Hadoop安装前准备工作：

在开始Hadoop安装与配置之前，需要准备的环境：Linux系统、配置JDK环境变量。

2、安装

我们可以到Apache Hadoop的官网http://hadoop.apache.org/进行下载相应的安装文件！

下载后，使用 : tar -zxvf tar包名，解压到指定位置！

3、Hadoop配置文件的修改

Hadoop主要修改的配置文件为5处：

hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml3.1、hadoop-env.sh

在对应的位置找到以下两行配置，并修改为本机中的路径。

代码语言：javascript复制export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_231.jdk/Contents/Home

export HADOOP_CONF_DIR=/Users/marron27/TOOLS/hadoop-2.10.0/etc/hadoop

3.2、core-site.xml

代码语言：javascript复制

fs.defaultFS

hdfs://localhost:9000

hadoop.tmp.dir

/Users/marron27/TOOLS/hadoop-2.10.0/tmp

3.3、hdfs-site.xml

代码语言：javascript复制

dfs.replication

1

dfs.permissions

false

3.4、mapred-site.xml

代码语言：javascript复制

mapreduce.framework.name

yarn

3.5、yarn-site.xml

代码语言：javascript复制

yarn.resourcemanager.hostname

localhost

yarn.nodemanager.aux-services

mapreduce_shuffle

4、配置Hadoop环境变量

在 .bash_profile 文件中配置Hadoop环境变量,使用vim打开该文件，进入编辑模式 vim ~/.bash_profile

在该文件中添加Hadoop的安装路径

添加完成后保存退出。

使用source命令使该文件中的修改立即生效source ~/.bash_profile

到此所有的配置已经完成，接下来执行该命令格式化namenode: hadoop namenode -format。

格式化成功之后，即可启动Hadoop，在Hadoop安装目录下有个/sbin目录，目录下有个start-all.sh,执行该文件./start-all.sh

5、测试

此时执行以下命令查看安装是否成功

代码语言：javascript复制hadoop fs -mkdir /testdata 在hdfs根目录下创建一个文件夹 testdata

hadoop fs -ls /