构建高可用Hadoop 3集群首先，你需要拥有多台运行着CentOS的机器，并且有基础的Linux系统知识。
步骤如下：
第一步：环境配置
你需要至少有三台机器，我们将它们命名为Master、Slave1和Slave2。分别设置它们的主机名，并在每台机器上更新/etc/hosts文件，使每台机器都能通过主机名互相通信。
第二步：安装Java
Hadoop需要Java运行环境。使用yum命令安装Open JDK：
sudo yum install java-1.8.0-openjdk然后设定JAVA_HOME环境变量。将它放到/etc/profile文件中，以便全局有效。
第三步：安装Hadoop
在官网下载Hadoop 3.x版本，然后解压到/usr/local/hadoop目录下。设定HADOOP_HOME环境变量，同样放到/etc/profile中。
第四步：配置ssh免密码登录
Hadoop需要SSH来启动和停止集群。在Master机器上，执行 ssh-keygen -t rsa命令生成秘钥，然后使用ssh-copy-id将公钥复制到Slave1和Slave2。
第五步：Hadoop配置
在$HADOOP_HOME/etc/hadoop目录下，有4个主要的配置文件需要修改：
- core-site.xml：指定HDFS的Namenode地址。
- hdfs-site.xml：配置HDFS的复制因子，以及Namenode和Datanode的数据存储路径。
- mapred-site.xml：指定MapReduce的Jobtracker地址。
- yarn-site.xml：配置资源管理器ResourceManager，以及节点管理器NodeManager等。
第六步：格式化HDFS
在开始使用HDFS之前，你需要首次格式化它：
hadoop namenode -format第七步：启动Hadoop集群
最后，你可以运行 sbin/start-all.sh脚本，启动Hadoop集群。然后访问http://master:50070/，看到管理界面，说明你的集群安装成功。
注意事项：
- Hadoop的运行需要大量的内存。要保证你的机器有足够的内存。
- 根据你的需求，可能需要调整Hadoop的各种参数。这可能需要大量的尝试和调整。
这个过程像是在一个未知的森林中探索。但当你抵达终点，看到那个熟悉的Hadoop管理界面时，所有的艰辛都会化为乌有。仔细观察，尽全力，这就是构建高可用Hadoop 3集群的挑战之旅。
云服务器推荐
蓝易云国内/海外高防云服务器推荐
海外免备案云服务器链接：www.tsyvps.com
持有增值电信营业许可证：B1-20222080【资质齐全】
蓝易云香港五网CN2 GIA/GT精品网络服务器。拒绝绕路，拒绝不稳定。
