centos hdfs配置中如何实现高可用

陆砚码

2026-09-13 • 👁 2人浏览过

在 centos 上配置hdfs（hadoop distributed file system）以实现高可用性，主要涉及到设置多个namenode（主节点）和datanode（数据节点），以及使用zookeeper进行故障转移管理。以下是详细的步骤： 1. 安装Hadoop 首先，确保你已经在所有节点上安装了Hadoop。你可以从Apache Hadoop官方网站下载并按照官方文档进行安装。 2. 配置Hadoop集群编辑Hadoop的配置文件，主要包括core-site.xml、hdfs-site.xml和yarn-site.xml。 core-site.xml

<configuration>
    <property>
        <name>fs.defaultFSname>
        <value>hdfs://myclustervalue>
    property>
    <property>
        <name>ha.zookeeper.quorumname>
        <value>zk1:2181,zk2:2181,zk3:2181value>
    property>
configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.nameservicesname>
        <value>myclustervalue>
    property>
    <property>
        <name>dfs.ha.namenodes.myclustername>
        <value>nn1,nn2value>
    property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1name>
        <value>namenode1:8020value>
    property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2name>
        <value>namenode2:8020value>
    property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1name>
        <value>namenode1:50070value>
    property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2name>
        <value>namenode2:50070value>
    property>
    <property>
        <name>dfs.client.failover.proxy.provider.myclustername>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvidervalue>
    property>
    <property>
        <name>dfs.ha.fencing.methodsname>
        <value>sshfencevalue>
    property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-filesname>
        <value>/path/to/ssh/keyvalue>
    property>
    <property>
        <name>dfs.namenode.shared.edits.dirname>
        <value>qjournal://journalnode1:8485;journalnode2:8485;journalnode3:8485/myclustervalue>
    property>
    <property>
        <name>dfs.journalnode.edits.dirname>
        <value>/path/to/journalnode/datavalue>
    property>
configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.ha.enabledname>
        <value>truevalue>
    property>
    <property>
        <name>yarn.resourcemanager.cluster-idname>
        <value>yarn-clustervalue>
    property>
    <property>
        <name>yarn.resourcemanager.ha.rm-idsname>
        <value>rm1,rm2value>
    property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1name>
        <value>resourcemanager1value>
    property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2name>
        <value>resourcemanager2value>
    property>
    <property>
        <name>yarn.resourcemanager.zk-addressname>
        <value>zk1:2181,zk2:2181,zk3:2181value>
    property>
configuration>

3. 配置JournalNode 在所有JournalNode节点上编辑hdfs-site.xml，添加以下配置：

<property>
    <name>dfs.journalnode.edits.dirname>
    <value>/path/to/journalnode/datavalue>
property>

然后启动JournalNode服务：

$HADOOP_HOME/sbin/hadoop-daemon.sh start journalnode

4. 初始化NameNode元数据在其中一个NameNode节点上执行以下命令来初始化NameNode元数据：

$HADOOP_HOME/sbin/hdfs namenode -format

5. 同步NameNode元数据到其他JournalNode 在所有JournalNode节点上执行以下命令来同步NameNode元数据：

$HADOOP_HOME/sbin/hdfs namenode -bootstrapStandby

6. 启动NameNode和DataNode 在所有NameNode节点上启动NameNode服务： Apache 2.4.62 PHP中文网提供Apache 2.4.62 官方 tar.gz 源码包下载，通过源码编译安装，开发者能够灵活定制模块、优化性能并精准控制安装路径，满足多样化的业务需求。下载

$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode

在所有DataNode节点上启动DataNode服务：

$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode

7. 启动ResourceManager和NodeManager 在所有ResourceManager节点上启动ResourceManager服务：

$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager

在所有NodeManager节点上启动NodeManager服务：

$HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager

8. 验证集群状态使用以下命令验证集群状态：

$HADOOP_HOME/bin/hdfs haadmin -getServiceState nn1
$HADOOP_HOME/bin/hdfs haadmin -getServiceState nn2
$HADOOP_HOME/bin/yarn rmadmin -getServiceState rm1
$HADOOP_HOME/bin/yarn rmadmin -getServiceState rm2

通过以上步骤，你可以在CentOS上配置一个高可用的HDFS集群。确保所有节点的时间同步，并且网络连接正常。

相关文章