hadoop全分布式集群搭建

2023-10-09 01:24

1.建立在伪分布式的基础上。伪分布式搭建请参考Hadoop3.1虚拟机上伪分布式模式搭建

2。虚拟机准备。该集群使用2.8.3版本和3.X版本。除了端口号不同之外,没有太大区别

192.168.44.10 m.gsm-guard.net
192.168.44.11 m.gsm-guard.net
192.168.44.12 m.gsm-guard.net

3。关闭防火墙,因为需要开放的端口太多,而且在测试环境中,为了避免干扰,先关闭防火墙

systemctl 停止防火墙

4。三个虚拟机之间开启ssh免密登录,账号hadoop

ssh-keygen -t rsa 生产密钥

ssh-copy-id 192.168.44.10 释放密钥 

5。配置JAVA_HOME

${HADOOP_HOME}/etc/hadoop目录下的三个脚本
m.gsm-guard.net
纱线环境.sh
m.gsm-guard.net
需要配置JAVA_HOME变量,完整路径:
导出JAVA_HOME=/home/java/jdk1.8.0_201

6。三个节点之间的功能分配

m.gsm-guard.net:NameNode,DataNode,NodeManager #NameNode 和 secondaryNameNode 不能在同一节点上
m.gsm-guard.net:DataNode,ResourceManager,NodeManager #ResourceManager需要单独的节点
m.gsm-guard.net:SecondaryNameNode,DataNode,NodeManager #每个节点上都可以放置DataNode 

7。集群配置

7.1 core-site.xml