centos系统下hadoop分布式文件系统(hdfs)的安装与配置，以及常见兼容性问题的解决方案。本文将逐步指导您完成hdfs的部署，确保其在centos环境中稳定运行。
1. 环境准备工作
首先，需要进行必要的环境准备：
- 禁用防火墙: 为了避免防火墙干扰，在所有节点上禁用防火墙。执行以下命令：
iptables -F iptables -X service iptables save setenforce 0
- 主机名解析: 确保所有节点的主机名能够正确解析。编辑/etc/hosts文件，添加正确的IP地址和主机名映射。
vim /etc/hosts
- 配置YUM源: 配置合适的YUM源，以便后续安装所需的软件包。
2. JDK安装与配置
hadoop 2.x 需要JDK 1.8。您可以使用以下命令安装JDK（请替换为您的JDK下载链接）：
curl -LO -H "Cookie: oraclelicenseaccept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u71-b15/jdk-8u71-Linux-x64.rpm" rpm -Uvh jdk-8u71-linux-x64.rpm
配置环境变量：编辑/etc/profile文件，添加如下内容：
export JAVA_HOME=/usr/java/default export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar source /etc/profile
3. Hadoop安装与配置
- 下载并解压Hadoop: 下载您选择的Hadoop版本，并将其解压到指定目录（例如/usr/hadoop）。
curl -O http://path/to/hadoop-2.7.3.tar.gz tar zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop --strip-components 1
- 配置环境变量: 编辑/etc/profile文件，添加以下Hadoop环境变量：
export HADOOP_HOME=/usr/hadoop export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export HADOOP_MAPred_HOME=$HADOOP_HOME export HADOOP_yarn_HOME=$HADOOP_HOME export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native" export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH source /etc/profile
- 配置HDFS配置文件: 编辑/etc/hadoop/hdfs-site.xml、/etc/hadoop/core-site.xml、/etc/hadoop/mapred-site.xml和/etc/hadoop/yarn-site.xml文件，根据您的集群配置进行相应的设置。
4. 启动HDFS集群
- 格式化NameNode:
hdfs namenode -format
- 启动zookeeper集群: (如果使用ZooKeeper)
start-zookeeper.sh
- 启动JournalNode: (如果使用HA)
start-journalnode.sh
- 启动HDFS:
start-dfs.sh
- 启动YARN:
start-yarn.sh
5. 验证HDFS集群
最后，验证HDFS集群是否正常运行：
hdfs dfsadmin -report
通过以上步骤，您应该能够在centos上成功安装和配置HDFS。 请确保根据您的实际情况修改相关路径和配置参数。如有任何问题，请参考Hadoop官方文档。
