在服务器上搭Hadoop集群这件事说难不难说简单也真不简单。我见过不少同事卡在“配置改了一堆一启动就挂”“三个节点明明网络互通Namenode就是起不来”这类问题上一折腾就是大半天。这篇东西就是冲着“30分钟搞定Hadoop3集群搭建”这个目标来的把你需要做的每一件事、每一条关键配置、每一步验证方式全部过一遍尽量让你照着走一次性跑通。这个方案适合谁适合那些已经玩过单机Hadoop、想上手真实多节点集群的人也适合准备面试大数据岗位想自己搭一套环境练手的人还包括要在公司内部快速拉起一套测试环境做验证的工程师。整套流程用三台CentOS 7.9机器举例每台4核8G内存、100G磁盘这是比较通用的测试环境配置也是我实际部署时用得最多的组合。我先把结论放在前面Hadoop3集群搭建的难点不在于配置项本身多而在于你会不会系统地排查“网络、免密、时间同步、日志”这四类基础问题。把这几样提前理顺30分钟跑完配置流程完全够用。1. 集群搭建前的整体设计与资源规划很多人一上来就急着装JDK、解压Hadoop包这是个非常容易踩坑的开局方式。集群搭建跟装修房子一样动手前得先想清楚格局和电路怎么走否则装完发现节点角色分配不合理又得推倒重来。1.1 节点角色与核心组件选型思路一个标准的Hadoop3集群在硬件和角色上通常是按“一主两从”的格局来规划的。所谓“一主”就是那台负责统一调度、管理元数据的节点“两从”则是真正干活、存数据的节点。具体到组件上角色分配会这样落节点主机名部署角色说明节点1hadoop01NameNode / ResourceManager主节点管元数据和全局资源调度节点2hadoop02DataNode / NodeManager从节点存数据块、跑计算任务节点3hadoop03DataNode / NodeManager从节点存数据块、跑计算任务这里有个设计细节在真实生产环境中SecondaryNameNode也叫NameNode的检查点辅助进程通常不会和NameNode放在同一台机器上。但在测试环境里为了省资源把它放在hadoop01上是完全可接受的。Hadoop3跟Hadoop2相比配置文件结构有了明显变化比如以前叫slaves的文件现在改成了workers这个后面会细说。1.2 版本选择与网络规划背后的逻辑版本选择上我推荐Apache Hadoop 3.3.x比如3.3.6或3.3.4。为什么不要选2.x因为3.x在底层做了很多关键改造比如支持了NameNode的联邦、优化了YARN的资源调度模型、默认使用HDFS纠删码相关能力等。而且现在很多主流大数据组件比如Hive、Spark、Flink的构建版本都已经对齐到Hadoop3你用2.x会遇到很多兼容性上的拧巴。网络规划看起来基础但很多人在这上面吃过亏。三台机器的hosts文件必须统一维护我强烈建议三省机器都写同样的映射关系不要只在主节点写、从节点不写。因为Hadoop进程之间通过主机名互相通信如果某个节点解析不了其他节点的主机名会出现“Connection refused”之类让你毫无头绪的报错。规划上直接用私网IP比如192.168.10.101、192.168.10.102、192.168.10.103并保证三台机器都能ping通。1.3 资源预算与时间预估的玄机“30分钟搞定”这个目标隐含了一套完整的资源配置前提。如果你手头只有3台2G内存的机器硬要跑Hdfs、Yarn还外加Spark on Yarn那30分钟肯定搞不定——因为资源不够跑不动排查问题的时间会几何级增长。我给一个切身的资源预估经验NameNode那台机器建议至少4G以上内存因为ResourceManager和NameNode都吃内存DataNode节点2G以上可以勉强但想跑计算任务最好4G。磁盘方面NameNode放元数据不用太大DataNode则有多少给多少因为它是真正干粗活存数据的。时间预估也要有数三台机器装JDK和解压Hadoop熟练的话各5分钟改配置8分钟格式化加启动5分钟验证和排查留10分钟。总的就是30分钟上下。如果你对Linux操作还不够熟时间会翻倍这个要有心理准备。2. 环境准备阶段关掉一堆“隐形杀手”才能开工环境准备阶段做的事情表面上看起来和Hadoop没有直接关系但把它们做好等于提前拆掉了一批雷。我按顺序做这几件事每一步都有对应的道理不是瞎折腾。2.1 JDK安装与JAVA_HOME配置的坑Hadoop3.3要求JDK8或JDK11都能跑我自己的习惯是装JDK8因为和后续的Spark、Hive组件兼容性更顺。这里推荐JDK版本直接用1.8.0_202或更高的小版本比如jdk-8u202-linux-x64.tar.gz解压到/usr/local/java/目录下。JDK配置有一个经典坑很多教程会让你在/etc/profile里写JAVA_HOME但实际你会发现Hadoop的脚本有时不读/etc/profile的变量除非是登录shell。更可靠的方案是:不仅要在/etc/profile里配好还要在hadoop-env.sh里直接写死JAVA_HOME路径两条腿走路。# /etc/profile 中添加 export JAVA_HOME/usr/local/java/jdk1.8.0_202 export PATH$PATH:$JAVA_HOME/bin # hadoop-env.sh 中修改/添加 export JAVA_HOME/usr/local/java/jdk1.8.0_202这样做的原因是Hadoop的某些启动脚本比如start-dfs.sh和start-yarn.sh在执行时会去加载etc/hadoop/hadoop-env.sh但加载环境变量的顺序和环境本身有关。直接把JAVA_HOME写死进去就不会出现“明明java -version能跑hdfs却报找不到JAVA_HOME”的诡异问题。2.2 SSH免密登录配置要点SSH免密是集群的血管通路。顺序很关键一定要从NameNode所在机器hadoop01执行ssh-keygen生成密钥然后用ssh-copy-id把公钥分发到包括自己在内的三台机器上。# 在每台机器上都生成密钥也可以只在主节点生成然后专门打通主到从的通道 ssh-keygen -t rsa -P -f ~/.ssh/id_rsa # 在 hadoop01 上执行免密到所有节点包括自己 ssh-copy-id hadoop01 ssh-copy-id hadoop02 ssh-copy-id hadoop03这里我踩过一个坑如果你只想从hadoop01控制所有节点那只需要在hadoop01上生成密钥分发给三台即可。但如果你希望从任何一台机器都能随意互相访问比如某些脚本会在多个节点间跳转那么每台机器都要生成密钥并互相分发。二选一不要混着来。验证方式很简单在hadoop01上依次执行ssh hadoop02、ssh hadoop03如果不要求输密码就说明通了。免密这步如果跳过后面start-dfs.sh脚本会在每台机器上反复要求输入密码那个体验会极其痛苦也完全和“30分钟搞定”的目标背道而驰。2.3 时间同步与防火墙处理的隐藏影响集群中时间不同步会导致HDFS块报告和心跳出现异常。虽然不会立刻报错让你看到但会让系统进入一种“半死不活”的状态——节点都处于运行中但就是不太正常。生产环境会用NTP服务做时间同步测试环境我推荐一个轻量方案装ntpdate手动同步一次就够了。# 所有节点执行 yum install -y ntpdate ntpdate ntp.aliyun.com防火墙方面需要特别注意。CentOS 7默认firewalld是开启的会拦截节点间通信。我的建议很简单测试环境直接关闭防火墙并禁用开机启动。systemctl stop firewalld systemctl disable firewalld为什么敢直接关因为这个方案的场景是内网测试环境不暴露公网。如果是公司正式环境不能关防火墙那就得把8020HDFS RPC、9870NameNode UI、8088YARN UI、8042NodeManager UI、9000等端口精确放行。但测试环境尤其是一个人搭着玩的场景关防火墙是节省时间的正路。3. 解压安装与Hadoop3核心配置文件的完整修改清单这一步是全流程的主菜。三台机器都要部署Hadoop二进制包也就是把下载好的hadoop-3.3.x.tar.gz上传到每台机器解压到指定目录。我用的是/usr/local/hadoop这个约定路径。3.1 core-site.xml确定你的默认文件系统core-site.xml是全局配置里面最重要的参数是fs.defaultFS它决定了HDFS的NameNode地址和默认端口。Hadoop3里默认RPC端口是9820跟Hadoop2时代默认的8020/9000不一样这是一个容易混淆的细节。configuration property namefs.defaultFS/name valuehdfs://hadoop01:9820/value /property property namehadoop.tmp.dir/name value/data/hadoop/tmp/value /property property nameha.zookeeper.quorum/name valuehadoop01:2181,hadoop02:2181,hadoop03:2181/value /property /configurationhadoop.tmp.dir这个参数非常关键我建议一定把它从默认的/tmp路径中改出来。为什么因为NameNode的元数据、DataNode的数据块最终都存放在以这个目录为基准的文件路径里而/tmp目录在系统重启时经常被清理一清理你的Hadoop等于被格式化重来。我见过太多人栽在这件事上了。3.2 hdfs-site.xml副本数、NameNode数据目录和DataNode数据目录这个文件控制HDFS的存储行为需要认真理解三个核心参数。configuration property namedfs.replication/name value3/value /property property namedfs.namenode.name.dir/name valuefile:///data/hadoop/nn/value /property property namedfs.datanode.data.dir/name valuefile:///data/hadoop/dn/value /property property namedfs.namenode.secondary.http-address/name valuehadoop01:9868/value /property /configuration三台节点、副本数配3意味着每个数据块在集群里存3份刚好每台一台。当然如果你测试场景想省点空间改成2也没问题。但我要说明配1的话就丧失了HDFS的容灾特性任何一台挂了数据就有丢块风险不推荐哪怕是测试也别这么干。dfs.namenode.name.dir和dfs.datanode.data.dir要预先建好目录再启动Hadoop不然启动时会因为目录不存在而报错。这里养成习惯不要依赖Hadoop自动帮你创建目录。另外注意如果使用file:///这样的路径要确保目录有正确的属主权限用root操作最省心。3.3 yarn-site.xml资源调度与NodeManager的关键参数YARN是分布式计算任务的调度中枢。配置里最核心的是ResourceManager的地址以及两个比较隐秘但很关键的属性yarn.nodemanager.env-whitelist和yarn.app.mapreduce.am.env这两个参数直接影响MapReduce任务能否正常读取环境变量。configuration property nameyarn.resourcemanager.hostname/name valuehadoop01/value /property property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.nodemanager.env-whitelist/name valueJAVA_HOME,HADOOP_HOME,USER,HOME,PATH/value /property property nameyarn.app.mapreduce.am.env/name valueHADOOP_MAPRED_HOME${HADOOP_HOME}/value /property /configurationyarn.nodemanager.aux-services这个参数如果不配跑MapReduce作业时会出现“Shuffle连接失败”这类搞不明白的错误实际就是辅助服务没开。另外我还建议在测试环境手动限制NodeManager的资源上限比如property nameyarn.nodemanager.resource.memory-mb/name value4096/value /property property nameyarn.nodemanager.resource.cpu-vcores/name value2/value /property如果你不设这个上限NodeManager会默认把整个节点的内存都纳入资源池结果就是同时跑几个任务后系统内存直接被打满。我押这个配置会让很多人少一次重启机器。3.4 mapred-site.xml和workers文件容易漏掉的最后环节mapred-site.xml这个文件在Hadoop3里默认没有独立模板需要从mapred-site.xml.template复制一份过来。它的核心作用是告诉客户端MapReduce作业的运行框架是YARN。cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml之后配置configuration property namemapreduce.framework.name/name valueyarn/value /property property namemapreduce.application.classpath/name value$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/*/value /property /configurationmapreduce.application.classpath这个参数在Hadoop3里极其重要。之前很多人跑MapReduce时报找不到MrAppMaster或者各种ClassNotFoundException多半是因为这个classpath没配。加上一劳永逸。workers文件接替了Hadoop2里的slaves相当于“从节点名单”。你说它简单但它决定了DataNode和NodeManager会在哪些机器上启动。直接编辑它删掉默认的localhost写入两个DataNode主机名每行一个。hadoop02 hadoop03注意这里写的只是在对应机器上启动DataNode和NodeManager角色的名单不是让主节点自己不动。主节点的NameNode和ResourceManager是通过后续的启动命令分别启动的。4. 第一次启动格式化、启停顺序与集群验证实操配置全部改完后就要见真章了。我第一次搭Hadoop3集群时就在“格式化”这个动作上犹豫了很久到底在哪台机器执行执行完会怎样这里把整个启动流程和背后的逻辑讲透。4.1 从零启动的标准操作流程先确保三台机器上的hadoop目录结构保持一致配置保持一致。最简单粗暴的做法是在hadoop01上完成全部配置后用scp直接分发到hadoop02和hadoop03。scp -r /usr/local/hadoop/etc/hadoop/ hadoop02:/usr/local/hadoop/etc/ scp -r /usr/local/hadoop/etc/hadoop/ hadoop03:/usr/local/hadoop/etc/然后回到hadoop01上执行NameNode格式化hdfs namenode -format这一步操作习惯要特别注意格式化只做一次以后不要没事就执行。它会清空NameNode上的元数据信息如果已经跑过业务再格式化集群数据就全废了。很多新人犯的错误是启动失败或者因为啥问题看着难受就把格式化当“重启大法”反复用结果把数据搞没了。格式化完成后启动HDFS和YARNstart-dfs.sh start-yarn.sh这两个脚本会按workers文件里的主机名列表自动把DataNode、NodeManager进程启动到对应节点上。NameNode和ResourceManager则留在当前节点hadoop01上启动。4.2 用jps与Web UI完成三重验证启动之后的验证工作很多人只会执行jps看看进程在不在然后就说“好了”。我不建议这样至少要过三关第一关进程检查# 在 hadoop01 上执行 jps # 期望看到 NameNode, SecondaryNameNode, ResourceManager # 在 hadoop02 和 hadoop03 上执行 jps # 期望看到 DataNode, NodeManager这里有个经验如果jps里看不到DataNode优先去它的日志目录通常在Hadoop安装目录下的logs目录看datanode日志而不是到处乱查网络。日志会直接告诉你错误类型比如namenode端口不通、用户名不对之类省很多时间。第二关HDFS状态检查hdfs dfsadmin -report这个命令会输出每个DataNode的信息包括容量、存储使用情况以及“Live datanodes”数量。只要Live节点是2说明数据节点全部正常注册到了NameNode上。第三关Web UI检查在浏览器里输入NameNode UIhttp://192.168.10.101:9870 能看文件系统状态和DataNode列表YARN ResourceManager UIhttp://192.168.10.101:8088 能看集群资源和正在运行的任务这个Web UI值得去认真看看它是判断集群健康状况最直观的窗口。比如从NameNode UI里能看到“Configured Capacity”“DFS Used”“Live Nodes”几个关键指标一眼判断数据块分布和集群容量。第三关相当关键尤其是验证Web UI能正常打开。我第一次搭的时候jps什么都在但浏览器打不开页面排查半天发现是防火墙虽然关了但是某个端口没有被正确识别。虽然那是网络层问题但这提醒我多一层验证就少一分踩坑的隐性成本。5. 跑一个作业验证集群能力以及常见问题的排查心得集群启动、Web UI能看到只是万里长征第一步真正能跑通数据计算才叫“成”。这节我带你跑一个小例子跑完等于全链路验证了一遍并把最常踩的坑和排查方式留在这里。5.1 用WordCount跑通全链路Hadoop自带了一个wordcount示例很适合用来做集群功能的冒烟测试。先把测试文件放到HDFS上echo hello hadoop spark flink /tmp/test.txt echo hello spark hadoop /tmp/test.txt hdfs dfs -mkdir -p /input hdfs dfs -put /tmp/test.txt /input/然后执行自带的示例程序hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /input /output如果没有报错最后的执行统计会显示Map和Reduce阶段都跑完了并且告诉你花费的时间。然后查看结果文件hdfs dfs -cat /output/part-r-00000这个跑通的意义非常实际它同时验证了HDFS的写入读取、YARN的资源调度、Container的启动回收以及MapReduce代码本身在集群里的执行链路。往后你用Spark或者Flink在这个集群上跑任务走的都是同一套底层。5.2 最常踩的坑启动失败、安全模式、类找不到结合我给其他人排过的坑这几个问题的高频程度和解决办法罗列如下你可以直接对照排查现象常见原因解决办法启动后datanode进程消失了格式化后元数据版本不一致删除/tmp残留或自定数据目录下的旧数据重新格式化执行HDFS命令提示“Safe mode is ON”NameNode启动后自动进入安全模式安全模式下只能读不能写等待30秒自动过度也可以执行 hdfs dfsadmin -safemode leave 手动离开跑作业报ClassNotFoundException: MrAppMastermapred-site.xml里classpath没配补充mapreduce.application.classpath配置项并分发到所有节点免密失效启动时要求输密码密钥没分发完整重新执行ssh-copy-id注意目标机器的~/.ssh/authorized_keys要先清掉重复内容NameNode起不来日志报端口占用可能是其他进程占用了8020或9820端口用ss -lntp查找占用进程改hdfs-site.xml里的配置或结束冲突进程datanode全部连不上日志报namenode找不到当前节点的/etc/hosts没正确配置统一三台机器的hosts映射不要用临时ip直接替代主机名关于安全模式再多说一句。NameNode每次启动时都会进入安全模式这个过程本质是DataNode向NameNode汇报块信息NameNode需要统计出合法的副本数量后才允许写入。因此如果你没有看到异常别急着手动退出安全模式给它几分钟自己出来这反而是正常的。但如果你写数据时卡了很久还在安全模式就要检查datanode数量是否足够、副本数是否配得过大、以及dfs.replication数值是否大于集群DataNode总数。这些检查项虽然看起来简单但能解决80%的“集群看起来是活的但是它不能写数据”的烦恼。5.3 从零到一之后还能顺便做点什么集群跑通后大多数人会马不停蹄地往上面叠加组件。这里根据我自己的经验作一个方向指引Hadoop集群就绪之后紧接着可以考虑安装Spark、Hive或者Flink它们都能无缝跑在YARN之上直接对全球HDFS上的数据进行离线或实时的计算。比如装Spark时你只需要下载spark-3.x-bin-hadoop3版本配置SPARK_HOME环境变量和yarn-site.xml中的相关参数然后把Spark的jar包放到所有节点的$SPARK_HOME/jars目录里就能用Spark on YARN跑到这个集群上。K8s集群搭建的经验也很值得做成姊妹篇因为生产规模的资源调度迟早会走到容器化这条路上K8s与Hadoop并存也是当前大数据平台的常见组合形态。如果你是一名想在面试中明确表现出实操能力的候选人这套“从裸机到能跑MapReduce”的完整流程就是实打实的装备。我个人在实际操作中的体会是“30分钟搞定”后面的24个字才是重点——不要急于求成把基础问题一次排查干净比反复试错快得多。上面说到的每一步几乎都对应着我踩过的坑按着这个顺序来你的集群会少很多“莫名其妙的玄学问题”。真遇到说不清的情况永远先看日志日志文件所在目录是$HADOOP_HOME/logs上面的每一条错误信息都比网上任何玄学教程更可靠。集群搭建不是一个黑盒它把细节摊开在配置文件和日志里冷静一点你会很快搞定它。
Hadoop3集群搭建实战：一主两从配置与验证全攻略
在服务器上搭Hadoop集群这件事说难不难说简单也真不简单。我见过不少同事卡在“配置改了一堆一启动就挂”“三个节点明明网络互通Namenode就是起不来”这类问题上一折腾就是大半天。这篇东西就是冲着“30分钟搞定Hadoop3集群搭建”这个目标来的把你需要做的每一件事、每一条关键配置、每一步验证方式全部过一遍尽量让你照着走一次性跑通。这个方案适合谁适合那些已经玩过单机Hadoop、想上手真实多节点集群的人也适合准备面试大数据岗位想自己搭一套环境练手的人还包括要在公司内部快速拉起一套测试环境做验证的工程师。整套流程用三台CentOS 7.9机器举例每台4核8G内存、100G磁盘这是比较通用的测试环境配置也是我实际部署时用得最多的组合。我先把结论放在前面Hadoop3集群搭建的难点不在于配置项本身多而在于你会不会系统地排查“网络、免密、时间同步、日志”这四类基础问题。把这几样提前理顺30分钟跑完配置流程完全够用。1. 集群搭建前的整体设计与资源规划很多人一上来就急着装JDK、解压Hadoop包这是个非常容易踩坑的开局方式。集群搭建跟装修房子一样动手前得先想清楚格局和电路怎么走否则装完发现节点角色分配不合理又得推倒重来。1.1 节点角色与核心组件选型思路一个标准的Hadoop3集群在硬件和角色上通常是按“一主两从”的格局来规划的。所谓“一主”就是那台负责统一调度、管理元数据的节点“两从”则是真正干活、存数据的节点。具体到组件上角色分配会这样落节点主机名部署角色说明节点1hadoop01NameNode / ResourceManager主节点管元数据和全局资源调度节点2hadoop02DataNode / NodeManager从节点存数据块、跑计算任务节点3hadoop03DataNode / NodeManager从节点存数据块、跑计算任务这里有个设计细节在真实生产环境中SecondaryNameNode也叫NameNode的检查点辅助进程通常不会和NameNode放在同一台机器上。但在测试环境里为了省资源把它放在hadoop01上是完全可接受的。Hadoop3跟Hadoop2相比配置文件结构有了明显变化比如以前叫slaves的文件现在改成了workers这个后面会细说。1.2 版本选择与网络规划背后的逻辑版本选择上我推荐Apache Hadoop 3.3.x比如3.3.6或3.3.4。为什么不要选2.x因为3.x在底层做了很多关键改造比如支持了NameNode的联邦、优化了YARN的资源调度模型、默认使用HDFS纠删码相关能力等。而且现在很多主流大数据组件比如Hive、Spark、Flink的构建版本都已经对齐到Hadoop3你用2.x会遇到很多兼容性上的拧巴。网络规划看起来基础但很多人在这上面吃过亏。三台机器的hosts文件必须统一维护我强烈建议三省机器都写同样的映射关系不要只在主节点写、从节点不写。因为Hadoop进程之间通过主机名互相通信如果某个节点解析不了其他节点的主机名会出现“Connection refused”之类让你毫无头绪的报错。规划上直接用私网IP比如192.168.10.101、192.168.10.102、192.168.10.103并保证三台机器都能ping通。1.3 资源预算与时间预估的玄机“30分钟搞定”这个目标隐含了一套完整的资源配置前提。如果你手头只有3台2G内存的机器硬要跑Hdfs、Yarn还外加Spark on Yarn那30分钟肯定搞不定——因为资源不够跑不动排查问题的时间会几何级增长。我给一个切身的资源预估经验NameNode那台机器建议至少4G以上内存因为ResourceManager和NameNode都吃内存DataNode节点2G以上可以勉强但想跑计算任务最好4G。磁盘方面NameNode放元数据不用太大DataNode则有多少给多少因为它是真正干粗活存数据的。时间预估也要有数三台机器装JDK和解压Hadoop熟练的话各5分钟改配置8分钟格式化加启动5分钟验证和排查留10分钟。总的就是30分钟上下。如果你对Linux操作还不够熟时间会翻倍这个要有心理准备。2. 环境准备阶段关掉一堆“隐形杀手”才能开工环境准备阶段做的事情表面上看起来和Hadoop没有直接关系但把它们做好等于提前拆掉了一批雷。我按顺序做这几件事每一步都有对应的道理不是瞎折腾。2.1 JDK安装与JAVA_HOME配置的坑Hadoop3.3要求JDK8或JDK11都能跑我自己的习惯是装JDK8因为和后续的Spark、Hive组件兼容性更顺。这里推荐JDK版本直接用1.8.0_202或更高的小版本比如jdk-8u202-linux-x64.tar.gz解压到/usr/local/java/目录下。JDK配置有一个经典坑很多教程会让你在/etc/profile里写JAVA_HOME但实际你会发现Hadoop的脚本有时不读/etc/profile的变量除非是登录shell。更可靠的方案是:不仅要在/etc/profile里配好还要在hadoop-env.sh里直接写死JAVA_HOME路径两条腿走路。# /etc/profile 中添加 export JAVA_HOME/usr/local/java/jdk1.8.0_202 export PATH$PATH:$JAVA_HOME/bin # hadoop-env.sh 中修改/添加 export JAVA_HOME/usr/local/java/jdk1.8.0_202这样做的原因是Hadoop的某些启动脚本比如start-dfs.sh和start-yarn.sh在执行时会去加载etc/hadoop/hadoop-env.sh但加载环境变量的顺序和环境本身有关。直接把JAVA_HOME写死进去就不会出现“明明java -version能跑hdfs却报找不到JAVA_HOME”的诡异问题。2.2 SSH免密登录配置要点SSH免密是集群的血管通路。顺序很关键一定要从NameNode所在机器hadoop01执行ssh-keygen生成密钥然后用ssh-copy-id把公钥分发到包括自己在内的三台机器上。# 在每台机器上都生成密钥也可以只在主节点生成然后专门打通主到从的通道 ssh-keygen -t rsa -P -f ~/.ssh/id_rsa # 在 hadoop01 上执行免密到所有节点包括自己 ssh-copy-id hadoop01 ssh-copy-id hadoop02 ssh-copy-id hadoop03这里我踩过一个坑如果你只想从hadoop01控制所有节点那只需要在hadoop01上生成密钥分发给三台即可。但如果你希望从任何一台机器都能随意互相访问比如某些脚本会在多个节点间跳转那么每台机器都要生成密钥并互相分发。二选一不要混着来。验证方式很简单在hadoop01上依次执行ssh hadoop02、ssh hadoop03如果不要求输密码就说明通了。免密这步如果跳过后面start-dfs.sh脚本会在每台机器上反复要求输入密码那个体验会极其痛苦也完全和“30分钟搞定”的目标背道而驰。2.3 时间同步与防火墙处理的隐藏影响集群中时间不同步会导致HDFS块报告和心跳出现异常。虽然不会立刻报错让你看到但会让系统进入一种“半死不活”的状态——节点都处于运行中但就是不太正常。生产环境会用NTP服务做时间同步测试环境我推荐一个轻量方案装ntpdate手动同步一次就够了。# 所有节点执行 yum install -y ntpdate ntpdate ntp.aliyun.com防火墙方面需要特别注意。CentOS 7默认firewalld是开启的会拦截节点间通信。我的建议很简单测试环境直接关闭防火墙并禁用开机启动。systemctl stop firewalld systemctl disable firewalld为什么敢直接关因为这个方案的场景是内网测试环境不暴露公网。如果是公司正式环境不能关防火墙那就得把8020HDFS RPC、9870NameNode UI、8088YARN UI、8042NodeManager UI、9000等端口精确放行。但测试环境尤其是一个人搭着玩的场景关防火墙是节省时间的正路。3. 解压安装与Hadoop3核心配置文件的完整修改清单这一步是全流程的主菜。三台机器都要部署Hadoop二进制包也就是把下载好的hadoop-3.3.x.tar.gz上传到每台机器解压到指定目录。我用的是/usr/local/hadoop这个约定路径。3.1 core-site.xml确定你的默认文件系统core-site.xml是全局配置里面最重要的参数是fs.defaultFS它决定了HDFS的NameNode地址和默认端口。Hadoop3里默认RPC端口是9820跟Hadoop2时代默认的8020/9000不一样这是一个容易混淆的细节。configuration property namefs.defaultFS/name valuehdfs://hadoop01:9820/value /property property namehadoop.tmp.dir/name value/data/hadoop/tmp/value /property property nameha.zookeeper.quorum/name valuehadoop01:2181,hadoop02:2181,hadoop03:2181/value /property /configurationhadoop.tmp.dir这个参数非常关键我建议一定把它从默认的/tmp路径中改出来。为什么因为NameNode的元数据、DataNode的数据块最终都存放在以这个目录为基准的文件路径里而/tmp目录在系统重启时经常被清理一清理你的Hadoop等于被格式化重来。我见过太多人栽在这件事上了。3.2 hdfs-site.xml副本数、NameNode数据目录和DataNode数据目录这个文件控制HDFS的存储行为需要认真理解三个核心参数。configuration property namedfs.replication/name value3/value /property property namedfs.namenode.name.dir/name valuefile:///data/hadoop/nn/value /property property namedfs.datanode.data.dir/name valuefile:///data/hadoop/dn/value /property property namedfs.namenode.secondary.http-address/name valuehadoop01:9868/value /property /configuration三台节点、副本数配3意味着每个数据块在集群里存3份刚好每台一台。当然如果你测试场景想省点空间改成2也没问题。但我要说明配1的话就丧失了HDFS的容灾特性任何一台挂了数据就有丢块风险不推荐哪怕是测试也别这么干。dfs.namenode.name.dir和dfs.datanode.data.dir要预先建好目录再启动Hadoop不然启动时会因为目录不存在而报错。这里养成习惯不要依赖Hadoop自动帮你创建目录。另外注意如果使用file:///这样的路径要确保目录有正确的属主权限用root操作最省心。3.3 yarn-site.xml资源调度与NodeManager的关键参数YARN是分布式计算任务的调度中枢。配置里最核心的是ResourceManager的地址以及两个比较隐秘但很关键的属性yarn.nodemanager.env-whitelist和yarn.app.mapreduce.am.env这两个参数直接影响MapReduce任务能否正常读取环境变量。configuration property nameyarn.resourcemanager.hostname/name valuehadoop01/value /property property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.nodemanager.env-whitelist/name valueJAVA_HOME,HADOOP_HOME,USER,HOME,PATH/value /property property nameyarn.app.mapreduce.am.env/name valueHADOOP_MAPRED_HOME${HADOOP_HOME}/value /property /configurationyarn.nodemanager.aux-services这个参数如果不配跑MapReduce作业时会出现“Shuffle连接失败”这类搞不明白的错误实际就是辅助服务没开。另外我还建议在测试环境手动限制NodeManager的资源上限比如property nameyarn.nodemanager.resource.memory-mb/name value4096/value /property property nameyarn.nodemanager.resource.cpu-vcores/name value2/value /property如果你不设这个上限NodeManager会默认把整个节点的内存都纳入资源池结果就是同时跑几个任务后系统内存直接被打满。我押这个配置会让很多人少一次重启机器。3.4 mapred-site.xml和workers文件容易漏掉的最后环节mapred-site.xml这个文件在Hadoop3里默认没有独立模板需要从mapred-site.xml.template复制一份过来。它的核心作用是告诉客户端MapReduce作业的运行框架是YARN。cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml之后配置configuration property namemapreduce.framework.name/name valueyarn/value /property property namemapreduce.application.classpath/name value$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/*/value /property /configurationmapreduce.application.classpath这个参数在Hadoop3里极其重要。之前很多人跑MapReduce时报找不到MrAppMaster或者各种ClassNotFoundException多半是因为这个classpath没配。加上一劳永逸。workers文件接替了Hadoop2里的slaves相当于“从节点名单”。你说它简单但它决定了DataNode和NodeManager会在哪些机器上启动。直接编辑它删掉默认的localhost写入两个DataNode主机名每行一个。hadoop02 hadoop03注意这里写的只是在对应机器上启动DataNode和NodeManager角色的名单不是让主节点自己不动。主节点的NameNode和ResourceManager是通过后续的启动命令分别启动的。4. 第一次启动格式化、启停顺序与集群验证实操配置全部改完后就要见真章了。我第一次搭Hadoop3集群时就在“格式化”这个动作上犹豫了很久到底在哪台机器执行执行完会怎样这里把整个启动流程和背后的逻辑讲透。4.1 从零启动的标准操作流程先确保三台机器上的hadoop目录结构保持一致配置保持一致。最简单粗暴的做法是在hadoop01上完成全部配置后用scp直接分发到hadoop02和hadoop03。scp -r /usr/local/hadoop/etc/hadoop/ hadoop02:/usr/local/hadoop/etc/ scp -r /usr/local/hadoop/etc/hadoop/ hadoop03:/usr/local/hadoop/etc/然后回到hadoop01上执行NameNode格式化hdfs namenode -format这一步操作习惯要特别注意格式化只做一次以后不要没事就执行。它会清空NameNode上的元数据信息如果已经跑过业务再格式化集群数据就全废了。很多新人犯的错误是启动失败或者因为啥问题看着难受就把格式化当“重启大法”反复用结果把数据搞没了。格式化完成后启动HDFS和YARNstart-dfs.sh start-yarn.sh这两个脚本会按workers文件里的主机名列表自动把DataNode、NodeManager进程启动到对应节点上。NameNode和ResourceManager则留在当前节点hadoop01上启动。4.2 用jps与Web UI完成三重验证启动之后的验证工作很多人只会执行jps看看进程在不在然后就说“好了”。我不建议这样至少要过三关第一关进程检查# 在 hadoop01 上执行 jps # 期望看到 NameNode, SecondaryNameNode, ResourceManager # 在 hadoop02 和 hadoop03 上执行 jps # 期望看到 DataNode, NodeManager这里有个经验如果jps里看不到DataNode优先去它的日志目录通常在Hadoop安装目录下的logs目录看datanode日志而不是到处乱查网络。日志会直接告诉你错误类型比如namenode端口不通、用户名不对之类省很多时间。第二关HDFS状态检查hdfs dfsadmin -report这个命令会输出每个DataNode的信息包括容量、存储使用情况以及“Live datanodes”数量。只要Live节点是2说明数据节点全部正常注册到了NameNode上。第三关Web UI检查在浏览器里输入NameNode UIhttp://192.168.10.101:9870 能看文件系统状态和DataNode列表YARN ResourceManager UIhttp://192.168.10.101:8088 能看集群资源和正在运行的任务这个Web UI值得去认真看看它是判断集群健康状况最直观的窗口。比如从NameNode UI里能看到“Configured Capacity”“DFS Used”“Live Nodes”几个关键指标一眼判断数据块分布和集群容量。第三关相当关键尤其是验证Web UI能正常打开。我第一次搭的时候jps什么都在但浏览器打不开页面排查半天发现是防火墙虽然关了但是某个端口没有被正确识别。虽然那是网络层问题但这提醒我多一层验证就少一分踩坑的隐性成本。5. 跑一个作业验证集群能力以及常见问题的排查心得集群启动、Web UI能看到只是万里长征第一步真正能跑通数据计算才叫“成”。这节我带你跑一个小例子跑完等于全链路验证了一遍并把最常踩的坑和排查方式留在这里。5.1 用WordCount跑通全链路Hadoop自带了一个wordcount示例很适合用来做集群功能的冒烟测试。先把测试文件放到HDFS上echo hello hadoop spark flink /tmp/test.txt echo hello spark hadoop /tmp/test.txt hdfs dfs -mkdir -p /input hdfs dfs -put /tmp/test.txt /input/然后执行自带的示例程序hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /input /output如果没有报错最后的执行统计会显示Map和Reduce阶段都跑完了并且告诉你花费的时间。然后查看结果文件hdfs dfs -cat /output/part-r-00000这个跑通的意义非常实际它同时验证了HDFS的写入读取、YARN的资源调度、Container的启动回收以及MapReduce代码本身在集群里的执行链路。往后你用Spark或者Flink在这个集群上跑任务走的都是同一套底层。5.2 最常踩的坑启动失败、安全模式、类找不到结合我给其他人排过的坑这几个问题的高频程度和解决办法罗列如下你可以直接对照排查现象常见原因解决办法启动后datanode进程消失了格式化后元数据版本不一致删除/tmp残留或自定数据目录下的旧数据重新格式化执行HDFS命令提示“Safe mode is ON”NameNode启动后自动进入安全模式安全模式下只能读不能写等待30秒自动过度也可以执行 hdfs dfsadmin -safemode leave 手动离开跑作业报ClassNotFoundException: MrAppMastermapred-site.xml里classpath没配补充mapreduce.application.classpath配置项并分发到所有节点免密失效启动时要求输密码密钥没分发完整重新执行ssh-copy-id注意目标机器的~/.ssh/authorized_keys要先清掉重复内容NameNode起不来日志报端口占用可能是其他进程占用了8020或9820端口用ss -lntp查找占用进程改hdfs-site.xml里的配置或结束冲突进程datanode全部连不上日志报namenode找不到当前节点的/etc/hosts没正确配置统一三台机器的hosts映射不要用临时ip直接替代主机名关于安全模式再多说一句。NameNode每次启动时都会进入安全模式这个过程本质是DataNode向NameNode汇报块信息NameNode需要统计出合法的副本数量后才允许写入。因此如果你没有看到异常别急着手动退出安全模式给它几分钟自己出来这反而是正常的。但如果你写数据时卡了很久还在安全模式就要检查datanode数量是否足够、副本数是否配得过大、以及dfs.replication数值是否大于集群DataNode总数。这些检查项虽然看起来简单但能解决80%的“集群看起来是活的但是它不能写数据”的烦恼。5.3 从零到一之后还能顺便做点什么集群跑通后大多数人会马不停蹄地往上面叠加组件。这里根据我自己的经验作一个方向指引Hadoop集群就绪之后紧接着可以考虑安装Spark、Hive或者Flink它们都能无缝跑在YARN之上直接对全球HDFS上的数据进行离线或实时的计算。比如装Spark时你只需要下载spark-3.x-bin-hadoop3版本配置SPARK_HOME环境变量和yarn-site.xml中的相关参数然后把Spark的jar包放到所有节点的$SPARK_HOME/jars目录里就能用Spark on YARN跑到这个集群上。K8s集群搭建的经验也很值得做成姊妹篇因为生产规模的资源调度迟早会走到容器化这条路上K8s与Hadoop并存也是当前大数据平台的常见组合形态。如果你是一名想在面试中明确表现出实操能力的候选人这套“从裸机到能跑MapReduce”的完整流程就是实打实的装备。我个人在实际操作中的体会是“30分钟搞定”后面的24个字才是重点——不要急于求成把基础问题一次排查干净比反复试错快得多。上面说到的每一步几乎都对应着我踩过的坑按着这个顺序来你的集群会少很多“莫名其妙的玄学问题”。真遇到说不清的情况永远先看日志日志文件所在目录是$HADOOP_HOME/logs上面的每一条错误信息都比网上任何玄学教程更可靠。集群搭建不是一个黑盒它把细节摊开在配置文件和日志里冷静一点你会很快搞定它。
