在centos系统上部署hadoop分布式文件系统(hdfs)的完整指南
本指南详细介绍如何在centos系统上安装和配置hadoop分布式文件系统(hdfs)。 请确保您已具备基本的Linux命令行操作经验。
第一步：准备工作
首先，更新系统软件包并禁用防火墙和SELinux（推荐，但非强制）：
sudo yum update -y sudo systemctl stop firewalld sudo systemctl disable firewalld sudo setenforce 0 sudo sed -i 's/SELinux=enforcing/SELINUX=disabled/g' /etc/selinux/config
第二步：安装Java
Hadoop依赖Java运行环境。安装Java 8 (OpenJDK)：
sudo yum install -y java-1.8.0-openjdk-devel
第三步：下载和解压Hadoop
从Apache Hadoop官网下载最新稳定版本的Hadoop发行包。解压到/opt目录：
tar -xzvf hadoop-<version>.tar.gz -C /opt sudo mv /opt/hadoop-<version> /opt/hadoop
(将
第四步：配置Hadoop
- 设置环境变量: 创建并编辑/etc/profile.d/hadoop.sh文件：
sudo nano /etc/profile.d/hadoop.sh
添加以下内容：
export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
使环境变量生效：
source /etc/profile.d/hadoop.sh
- 配置Hadoop核心文件:
- hadoop-env.sh: 设置JAVA_HOME路径：
sudo nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh
添加或修改以下行：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
- core-site.xml: 配置默认文件系统：
sudo nano $HADOOP_HOME/etc/hadoop/core-site.xml
添加以下内容：
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
- hdfs-site.xml: 配置HDFS复制因子和数据目录：
sudo nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml
添加以下内容：
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoop/data/datanode</value> </property> </configuration>
sudo nano $HADOOP_HOME/etc/hadoop/mapred-site.xml
添加以下内容：
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
- yarn-site.xml: 配置Yarn辅助服务：
sudo nano $HADOOP_HOME/etc/hadoop/yarn-site.xml
添加以下内容：
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
第五步：格式化HDFS
在单机模式下格式化NameNode：
hdfs namenode -format
第六步：启动Hadoop集群
启动HDFS和YARN：
start-dfs.sh start-yarn.sh
第七步：验证安装
- 检查HDFS状态:
hdfs dfsadmin -report
- 访问Web界面:
如果一切正常，您应该能够看到HDFS和YARN的Web界面。 如有任何错误，请检查Hadoop日志文件(/opt/hadoop/logs)以查找问题原因。 记住，这只是一个单节点的HDFS安装，对于多节点集群，需要进行更复杂的配置。
