HDFS(NameNode)的联盟:Federation,配置HDFS联盟,多个NameNode节点同时存活,根据代理配置的路由规则处理客户端不同的请求,实现负载均衡,同时也可以缓存更多的元信息,它与HA的区别在于,联盟是多个NameNode都是active,可以存储更多的元信息。
创新互联公司服务项目包括阿拉山口网站建设、阿拉山口网站制作、阿拉山口网页制作以及阿拉山口网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,阿拉山口网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到阿拉山口省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!一、联盟与HA的联系和区别
1、也有多个NameNode
2、跟HA的区别:这些NameNode都是active状态
3、作用:
(1)缓存更多的元信息
(2)实现负载均衡
二、搭建HDFS的联盟
(1)规划
NameNode:bigdata112 bigdata113
DataNode:bigdata114 bigdata115
(2)在bigdata112上配置安装hadoop
(2.1)解压
(2.2)配置hadoop-env.sh中的java环境
export JAVA_HOME=/training/jdk1.8.0_144
(2.3)配置core-site.xml
hadoop.tmp.dir
/training/hadoop-2.7.3/tmp
(2.4)配置mapred-site.xml
mapreduce.framework.name
yarn
(2.5)配置yarn-site.xml
(2.6)配置slaves
bigdata14
bigdata15
(2.7)配置hdfs-site.xml
dfs.nameservices
ns1,ns2
dfs.namenode.rpc-address.ns1
bigdata112:9000
dfs.namenode.http-address.ns1
bigdata112:50070
dfs.namenode.secondaryhttp-address.ns1
bigdata112:50090
dfs.namenode.rpc-address.ns2
bigdata113:9000
dfs.namenode.http-address.ns2
bigdata113:50070
dfs.namenode.secondaryhttp-address.ns2
bigdata113:50090
<!--副本-->
dfs.replication
2
dfs.webhdfs.enabled
true
<!--权限-->
dfs.permissions
false
(2.8)配置core-site.xml,增加路由规则
fs.viewfs.mounttable.xdl1.homedir
/home
fs.viewfs.mounttable.xdl1.link./movies
hdfs://bigdata114:9000/movies
fs.viewfs.mounttable.xdl1.link./mp3
hdfs://bigdata115:9000/mp3
fs.default.name
viewfs://xdl1
注意:如果路由规则太多,可以单独创建一个xml文件(mounTable.xml)
(3)将112上的hadoop拷贝到113、114、115上
(4)对NameNode进行格式化
在112和113两个namenode节点上格式化hdfs namenode -format -clusterId xdl1
(5)启动
在112上启动Hadoopstart-all.sh
(6)在DataNode节点上创建响应的目录
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
网页标题:HDFS(NameNode)的联盟:Federation-创新互联
网址分享:http://scgulin.cn/article/cesdes.html