大数据系列01-手把手教你在Centos7搭建Hadoop环境

一 系统环境

操作系统：CentOS Linux release 7.6.1810 (Core) 2 台 8G 4核
Hadoop版本：2.8.5 （为什么是这个版本，因为后续还需要基于hadoop安装hbase等，hbase对hadoop版本并非都兼容，故选官网验证过兼容的版本）

二 2台Centos先安装需要的软件

$ yum install ssh
$ yum install rsync
$ yum install openjdk-8-jdk
jdk或者直接到oracle官网下载jdk8手动安装配置，搞java开发的你肯定都懂得，不懂就谷歌百度吧

三 下载hadoop

$ wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz
$ tar -zxvf hadoop-2.8.5.tar.gz
$ mv hadoop-2.8.5 /usr/local/hadoop/hadoop-2.8.5
$ cd /usr/local/hadoop/hadoop-2.8.5

四 Hadoop的home目录下主要配置文件

etc/hadoop/core-site.xml
etc/hadoop/hdfs-site.xml
etc/hadoop/yarn-site.xml
etc/hadoop/mapred-site.xml

五 修改hosts文件,增加以下两行配置,主和从服务器都改

$ vim /etc/hosts
192.168.0.221  master
192.168.0.222  node01

六 设置SSH互通，即SSH免登

#在master生成ssh公钥
$ ssh-keygen -t rsa
#在master上面设置authorize_key
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#把从服务器的公钥发到主服务器
$ scp /home/hdgs/.ssh/id_rsa.pub hdgs@namenode:~/.ssh/id_rsa.pub.158
#把master的.ssh目录发送到node01上
$ scp -r ~/.ssh root@node01:~/
#测试ssh
$ ssh node01

七 设置JAVA_HOME

$ cd /usr/local/hadoop/hadoop-2.8.5
$ vim etc/hadoop/hadoop-env.sh

export JAVA_HOME="/usr/local/jdk/jdk1.8.0_221"

八 配置core-site.xml

$ cd /usr/local/hadoop/hadoop-2.8.5
vim etc/hadoop/core-site.xml 
<configuration>  
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

九 配置hdfs-site.xml

$ cd /usr/local/hadoop/hadoop-2.8.5
$ mkdir namenode
$ mkdir datanode

$ vim etc/hadoop/hdfs-site.xml
<configuration>  
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/hadoop-2.8.5/namenode</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/hadoop-2.8.5/datanode</value>
    </property>

     <!-- 设置master的http通讯地址 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>master:50070</value>
    </property>

    <!-- 设置secondarynamenode的http通讯地址 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node01:50090</value>
    </property>
</configuration>

十 配置yarn-site.xml

$ cd /usr/local/hadoop/hadoop-2.8.5
vim etc/hadoop/yarn-site.xml 
<configuration>
    <!-- 设置 resourcemanager 在哪个节点-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

十一 配置mapred-site.xml

$ cd /usr/local/hadoop/hadoop-2.8.5
$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
$ vim etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

十二 配置slaves

$ cd /usr/local/hadoop/hadoop-2.8.5
$ vim etc/hadoop/slaves

datanode1

十三 hadoop文件夹分发

将主服务器上配置好的hadoop文件夹分发到所有的从服务器上面。

确保node01已经存在文件夹

# node01上执行
$ mkdir /usr/local/hadoop

# 以下命令在master中执行
$ cd /usr/local/hadoop/hadoop-2.8.5
$ bin/hdfs namenode -format bigdata_resource
$ scp -r /usr/local/hadoop/hadoop-2.8.5 node01:/usr/local/hadoop/

### 十四 启动
```shell
$ cd /usr/local/hadoop/hadoop-2.8.5
$ sbin/start-dfs.sh
$ sbin/start-yarn.sh

$ jps
# master
""
21298 Jps
21027 ResourceManager
20724 NameNode
""
# node01
""
12656 NodeManager
12418 DataNode
12811 Jps
12557 SecondaryNameNode
""

十五 关闭防火墙

CentOS 7.0默认使用的是firewall作为防火墙
查看防火墙状态
firewall-cmd –state

停止firewall
systemctl stop firewalld.service

禁止firewall开机启动
systemctl disable firewalld.service

关闭selinux
进入到/etc/selinux/config文件
vi /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled

十六 Web访问：

http://192.168.0.221:50070/
http://192.168.0.221:8088/cluster

十七 关闭

$ cd /usr/local/hadoop/hadoop-2.8.5
$ ./sbin/stop-dfs.sh
$ ./sbin/stop-yarn.sh