汕头网站制作方法,四平网站建设服务,中国菲律宾撤侨,安全认证的机票网站成就怎么做戳蓝字“CSDN云计算”关注我们哦#xff01;前面我们介绍了在Ubuntu上安装Hadoop单机版。但是我们知道#xff0c;Hadoop在实际工作中都是以集群的形式存在的#xff0c;毕竟需要处理大量的数据#xff0c;单机的处理速度显然不能满足。所以这篇文章我们就来介绍一下如何在… 戳蓝字“CSDN云计算”关注我们哦前面我们介绍了在Ubuntu上安装Hadoop单机版。但是我们知道Hadoop在实际工作中都是以集群的形式存在的毕竟需要处理大量的数据单机的处理速度显然不能满足。所以这篇文章我们就来介绍一下如何在Ubuntu上搭建Hadoop集群。准备阶段三台在同一局域网内的Linux机器或者虚拟机。配置好Host文件让三台机器可以通过主机名进行访问。三台机器上都安装了JDK。在其中一台上安装好Hadoop安装方法可以参考前面的文章。配置SSH免密登录你可能很奇怪我要搭建的是Hadoop集群为啥需要配置SSH免密登录呢。有两点原因在启动集群上所有的节点的时候无需重复输入密码。我们在搭建集群的时候需要将Hadoop的文件夹复制到其他机器上如果是一两台的话copy起来很快但是如果是几百台呢所以这个时候如果机器之间可以免密登录的话我们可以很方便的使用脚本完成整个工作。具体的配置方式可以看下我之前的文章SSH免密登录内含批量配置脚本修改单机版的配置文件1、修改core-site.xml只需要修改fs.defaultFS配置项即可hadoop.tmp.dir不需要修改。2、修改hdfs-site.xml主要是修改HDFS存储文件副本的数量之前单机版的时候设置为1现在改为2这个配置项默认的配置为2。安装包复制并设置环境变量其实在我们搭建好一台机器的Hadoop环境后只需要下面几步就可以完成集群环境的搭建了将Hadoop的安装目录拷贝到其他机器上。在其他机器上配置Hadoop环境变量。执行source /etc/profile命令使得环境变量生效。修改namenode的slave文件指定datanode是哪几台机器前面两步我写好了脚本直接执行一下就可以了。第3步中说的slave文件在hadoop的安装目录下的etc/hadoop/slave我这里用的test01和test02两台机器做datanode。脚本地址附上脚本使用说明需要保证脚本文件夹中的两个脚本文件在同一目录下。如果Hadoop的安装目录不为/root/apps/hadoop/hadoop-2.8.5则需要修改脚本中hadoop的安装位置两个脚本中都需要修改。修改脚本中机器名称SERVERS变量。环境启动1、在namenode机器上执行下面的命令2、在浏览器中访问http://{机器IP}:50070查看到如下结果即代表成功。--------------------- 作者名字想好没。 来源CSDN 原文https://blog.csdn.net/sinat_27629035/article/details/85561666 版权声明本文为博主原创文章转载请附上博文链接推荐阅读罗永浩“咬定”微信不放松一篇文章带你快速理解微服务架构由浅入深带你走进微服务架构的核心对不起我就是喜欢问你Spring构造器注入原理程序员有话说 | 程序猿在乘地铁的时候都在想什么?清华北大“世界排名断崖式下跌”SparkAlluxio性能调优十大技巧从云计算到AINetApp的数据网络转型之道1.微信群添加小编微信color_ld备注“进群姓名公司职位”即可加入【云计算学习交流群】和志同道合的朋友们共同打卡学习2.征稿投稿邮箱liudancsdn.net微信号color_ld。请备注投稿姓名公司职位。喜欢就点击“好看”吧
