长治网站页设计制作,做网站的软件有哪些,网络服务商是啥,网页界面设计视觉空间的三维可视化1. 首先用五台机器搭建分布式#xff0c;一个为master#xff0c;剩下四个分别为slave01、slave02、slave03#xff0c; slave04。
2. 修改机器名 五台机器分别都执行sudo vim /etc/hostname命令#xff0c;将文件中的内容分别改为master、slave01、slave02、slave03…1. 首先用五台机器搭建分布式一个为master剩下四个分别为slave01、slave02、slave03 slave04。
2. 修改机器名 五台机器分别都执行sudo vim /etc/hostname命令将文件中的内容分别改为master、slave01、slave02、slave03 slave04。
3. 重启机器发现机器名修改成功。
4. 修改master的hosts文件并拷贝到每台slave上。 1修改hosts文件 sudo vim /etc/hosts 5. 将hosts文件拷贝到另外两台台机器上覆盖原来的hosts文件。 master scp /etc/hosts hadoopslave01的IP:~ scp /etc/hosts hadoopslave02的IP:~ scp /etc/hosts hadoopslave03的IP:~ scp /etc/hosts hadoopslave04的IP:~ slaver sudo mv hosts /etc/hosts
6. 配置master免密登录 master ssh-keygen -t rsa cat .ssh/id_rsa.pub .ssh/authorized_keys scp .ssh/id_rsa.pub hadoopslave01的IP:~/ scp .ssh/id_rsa.pub hadoopslave02的IP:~/ scp .ssh/id_rsa.pub hadoopslave03的IP:~/ scp .ssh/id_rsa.pub hadoopslave04的IP:~/ slave: cat id_rsa.pub .ssh/authorized_keys
7. 将hadoop-2.7.6文件从本地拖拽到虚拟机桌面然后移动到/opt然后进行解压。 sudo mv hadoop-2.7.6.tar.gz /opt cd /opt sudo tar -zxvf hadoop-2.7.6.tar.gz
8. 编辑配置文件 1编辑hadoop-env.sh文件 sudo vim hadoop-env.sh 改为 2编辑core-site.xml文件 sudo vim core-site.xml 3编辑mapred-site.xml文件 首先应通过复制mapred-site.xml.template得到mapred-site.xml文件然后再进行编辑。 cp mapred-site.xml.template mapred-site.xml sudo vim mapred-site.xml 4编辑hdfs-site.xml文件 sudo vim hdfs-site.xml 5编辑masters文件 sudo vim masters 添加masters的IP地址到该文件 6编辑slaves文件 sudo vim slaves 添加slave01、slave02、slave03、slave04的IP地址到该文件并且删除localhost
9. 将配置文件拷贝到到各台slave master scp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves hadoopslave的IP地址:~ slave sudo mv *.xml /opt/hadoop-2.7.6/etc/hadoop sudo mv hadoop-env.sh masters slaves /opt/hadoop-2.7.6/etc/hadoop
10. 设置环境变量 master master上配置环境变量然后将文件发给各台slave sudo vim /etc/profile source /etc/profile scp /etc/profile hadoopslave的ip地址:~ slave: sudo mv profile /etc/profile source /etc/profile
11. 更改hadoop-2.7.6的所属人和所属组root用户 chown hadoop:hadoop -R hadoop-2.7.6/ chmod 775 -R hadoop-2.7.6/
12. master格式化namenode ./hdfs namenode -format 注只格式化一次若格式化多次可能导致VERSION不一致启动namenode和datanode时报错。 解决方法 ① 见https://blog.csdn.net/czw698/article/details/50507265 ② 删除存name和data的目录再重新格式化
13. 运行hadoop ./start-all.sh 14. 查看进程 jps master进程 slave进程 15. 停止hadoop ./stop-all.sh 这里报错是因为防火墙问题自己配置可能会出问题可以选择关闭防火墙。
总结搭建集群时所有机器要拥有共同的用户从而避免权限不够的错误并且配置以及版本都应相同否则可能会出现错误尤其是在ssh免密登录时可能出现的错误最多。
