这篇文章将为大家详细讲解有关hadoop如何部署,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
创新互联-专业网站定制、快速模板网站建设、高性价比定南网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式定南网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖定南地区。费用合理售后完善,十载实体公司更值得信赖。Hadoop的三种模式:
Standalone Operation 单机模式 不开发 不生产 没有进程
Pseudo-Distributed Operation 伪分布式 开发 不生产 独立进程 但是只部署在1台机器
Fully-Distributed Operation 分布式 开发 生产 独立进程 但是只部署在n台机器
部署:
1.解压
命令:tar -xzvf hadoop-2.8.1.tar.gz
2.配置hosts文件
vi /etc/hosts 然后再尾部加上自己的IP和机器名字
如:
3.修改权限
4.配置文件
part1:
切换到hadoop用户后再切换到我的hadoop资源目录
从官网获取配置代码,添加到configuration配置里
更改localhost为我们自己的ID
part2:指令:vi etc/hadoop/hdfs-site.xml修改文件hdfs-site.xml
5.无密码ssh
输入指令ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
继续执行cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
指令执行完成后用ssh 192.168.137.252来检查,如果结果仍然是自己的话就成功了。
这里可能会要给hadoop用户设置进入密码,可以去root用户使用命令passwd hadoop(可以是你的hadoop用户名)设定。
6.namenode格式化
首先切换用户到hadoop用户,然后我们跳转到/opt/software/hadoop.... 即hadoop的文件目录下了,输入指令bin/hdfs namenode -format,此事如果报错为(WARN net.DNS: Unable to determine local hostname -falling back to "localhost" java.net.UnknownHostException: ruozehadoop001.localdomain: ruozehadoop001.localdomain: unknown error
),我们需要进入文件/etc/sysconfig/network中,vi编辑它,变成如图:
如果没有报错则结果为:
7.启动
还是在hadoop文件目录下vi进入文件vi etc/hadoop/hadoop-env.sh,按I修改文件尾部添加内容为如图:
输入指令:sbin/start-dfs.sh得到如图结果则为成功:
输入JPS查看结果为:
关于“hadoop如何部署”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。
分享文章:hadoop如何部署-创新互联
链接分享:http://scgulin.cn/article/psjhi.html