Hadoop单节点集群搭建与配置指南

1. Hadoop单节点集群搭建概述作为大数据领域的基石技术Hadoop的单节点部署是每个数据工程师必须掌握的入门技能。这种伪分布式环境虽然不用于生产但完全模拟了真实集群的运行机制特别适合开发测试和学习验证。我在金融和电商行业实施大数据平台时发现90%的初学者的第一个Hadoop错误都是在单节点环境配置阶段埋下的隐患。2. 环境准备与系统配置2.1 硬件需求建议内存最低8GB实测4GB会频繁触发OOM磁盘50GB可用空间需考虑数据副本占用CPU4核以上YARN资源调度有核数要求重要提示虚拟机环境下务必关闭Hypervisor的内存共享功能否则会导致NameNode频繁崩溃2.2 操作系统配置# 禁用SwapHadoop对磁盘交换极度敏感 sudo swapoff -a echo vm.swappiness 1 | sudo tee -a /etc/sysctl.conf # 修改最大文件描述符HDFS会大量消耗文件句柄 echo hadoop - nofile 65536 | sudo tee -a /etc/security/limits.conf2.3 Java环境部署必须使用Oracle JDK 8u201以上版本OpenJDK存在HDFS checksum校验bugtar -xzf jdk-8u301-linux-x64.tar.gz -C /opt/ export JAVA_HOME/opt/jdk1.8.0_301 export PATH$JAVA_HOME/bin:$PATH3. Hadoop安装与核心配置3.1 二进制包部署wget https://archive.apache.org/dist/hadoop/core/hadoop-3.3.1/hadoop-3.3.1.tar.gz tar -xzf hadoop-3.3.1.tar.gz -C /usr/local/ cd /usr/local ln -s hadoop-3.3.1 hadoop3.2 关键配置文件修改etc/hadoop/core-site.xmlconfiguration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property property namehadoop.tmp.dir/name value/var/lib/hadoop/tmp/value /property /configurationetc/hadoop/hdfs-site.xmlconfiguration property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name valuefile:///var/lib/hadoop/namenode/value /property property namedfs.datanode.data.dir/name valuefile:///var/lib/hadoop/datanode/value /property /configuration3.3 环境变量配置export HADOOP_HOME/usr/local/hadoop export HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop export PATH$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH4. 集群初始化与验证4.1 格式化HDFShdfs namenode -format致命陷阱该命令只能执行一次重复执行会导致集群ID不一致4.2 启动集群服务start-dfs.sh验证服务状态jps正常应显示NameNode DataNode SecondaryNameNode Jps4.3 文件系统操作测试hdfs dfs -mkdir /user hdfs dfs -mkdir /user/$USER hdfs dfs -put $HADOOP_HOME/etc/hadoop /input hdfs dfs -ls /input5. YARN资源调度配置5.1 修改yarn-site.xmlproperty nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.nodemanager.resource.memory-mb/name value6144/value !-- 不超过物理内存80% -- /property5.2 启动YARN服务start-yarn.sh验证资源管理器curl http://localhost:8088/ws/v1/cluster/metrics6. 常见故障排查指南故障现象排查步骤解决方案NameNode无法启动检查logs/hadoop--namenode-.log删除/tmp/hadoop*目录后重新formatDataNode进程消失netstat -tulnp | grep 50010修改hdfs-site.xml中datanode端口YARN任务卡住yarn logs -applicationId调整mapred-site.xml中的内存参数7. 性能优化建议NameNode堆内存hadoop-env.shexport HDFS_NAMENODE_OPTS-Xmx4g -Xms4gDataNode并发处理hdfs-site.xmlproperty namedfs.datanode.handler.count/name value10/value /property禁用IPv6所有节点echo net.ipv6.conf.all.disable_ipv61 /etc/sysctl.conf8. 生产环境迁移准备当需要从单节点扩展到真实集群时备份NameNode元数据hdfs dfsadmin -fetchImage /tmp/namenode.backup同步配置文件到所有节点pdsh -w node[1-4] mkdir -p $HADOOP_CONF_DIR pdcp -w node[1-4] $HADOOP_CONF_DIR/* $HADOOP_CONF_DIR/滚动重启服务for node in node{1..4}; do ssh $node stop-dfs.sh start-dfs.sh done