当前位置: 首页 > news >正文

济宁恒德建设有限公司网站seo如何做网站建设

济宁恒德建设有限公司网站,seo如何做网站建设,成功的营销型网站设计特点,网站建设那里好总体步骤 1、分配机器#xff0c;各安装什么软件 2、每个节点设置时间一致#xff0c;设置开机自动校验时间。 3、每个节点修改主机名。 4、每个节点配置hosts。 5、每个节点关闭防火墙。 6、上传JDK#xff0c;配置JDK 7、创建hadoop用户。 8、给hadoop用户配置root…总体步骤 1、分配机器各安装什么软件 2、每个节点设置时间一致设置开机自动校验时间。 3、每个节点修改主机名。 4、每个节点配置hosts。 5、每个节点关闭防火墙。 6、上传JDK配置JDK 7、创建hadoop用户。 8、给hadoop用户配置root组 -------以下hadoop用户的操作--------- 9、开启ssh免密登录。 10、上传Zookeeper到HA8,解压 11、环境变量配置zookeeper 12、配置zoo.cfg文件。 13、创建zoo.cfg中配置的文件夹 14、配置myid文件 15、删除zookeeper安装目录下无用的帮助文档。 16、scp zookeeper的安装目录到8,9,10节点。 17、修改其他节点上的 myid文件 18、scp 环境变量到其他节点。 19、source 各个节点的环境变量。 20、启动。 21、查看状态。 22、停止Zookeeper 23、上传hadoop 压缩包解压 24、配置hadoop 环境变量 25、配置hadoop-HA参数 26、scp环境变量到1~7节点 27、source 环境变量1~7节点 28、scp hadoop.xxx文件夹到1~7节点 29、启动 *将整个过程编程shell或Python命令 1、分配机器 10台centos 机器名 安装的软件 进程 HA1 JDK,hadoop namenode,zkfc HA2 JDK,hadoop namenode,zkfc HA3 JDK,hadoop resourcemanager HA4 JDK,hadoop resourcemanager HA5 JDK,hadoop datenodenodemanager HA6 JDK,hadoop datenodenodemanager HA7 JDK,hadoop datenodenodemanager HA8 JDK,zookeeper,hadoop JournalNode、QuorumPeerMainzkfc状态值yarn的ha状态值 HA9 JDK,zookeeper,hadoop JournalNode、QuorumPeerMainzkfc状态值yarn的ha状态值 HA10 JDK,zookeeper,hadoop JournalNode、QuorumPeerMainzkfc状态值yarn的ha状态值 2、每个节点设置时间一致设置开机自动校验时间。 chkconfig --list chkconfig --level 12345 ntpdate on service ntpdate start 3、每个节点修改主机名。 vi /etc/sysconfig/network hostname HA123456...10 4、每个节点配置hosts。 vi /etc/hosts 192.168.18.136 HA1 192.168.18.137 HA2 192.168.18.138 HA3 192.168.18.139 HA4 192.168.18.140 HA5 192.168.18.141 HA6 192.168.18.142 HA7 192.168.18.143 HA8 192.168.18.144 HA9 192.168.18.145 HA10 //要编写一个shell脚本如果集群里有几十台怎么办 5、每个节点关闭防火墙。 chkconfig iptables off service iptables stop 6、新建application文件夹上传JDK配置JDK 每台机器都需要 1、HA1上传JDK压缩包到根目录 2、解压到根目录 tar -xzvf jdk-8u73-linux-x64.tar.gz vi /etc/profile export JAVA_HOME/jdk1.8.0_73 export PATH$PATH:$JAVA_HOME/bin 删除一些无用的文件 拷贝到其他机器在向所有窗口发送中输入 scp -r HA1:/jdk1.8.0_73/ $HOSTNAME:/ 拷贝 /etc/profile 到其他机器 scp HA1:/etc/profile $HOSTNAME:/etc/profile source /etc/profile 7、 创建hadoop账号 adduser hadoop passwd hadoop 123456 8、给hadoop用户配置root组 vi /etc/sudoers ## Allow root to run any commands anywhere root ALL(ALL) ALL 在这里添加 hadoop ALL(ALL) ALL ------------以下hadoop用户的操作----------------- 9、开启ssh免密登录。 ssh-keygen -t rsa touch authorized_keys 修改authorized_keys文件权 限为 600命令chmod 600 authorized_keys 如果不修改权限通不过linux的权限认证ssh会无效的 这个ssh免密登录是针对hadoop用户。root用户没有配置不能免密登录对方。ssh免密是用户有效 10、上传Zookeeper到HA8,解压 上传到home文件夹下 解压到home文件夹下 tar -xzvf zookeeper-3.3.6.tar.gz 11、环境变量配置zookeeper sudo vi /etc/profile export ZOOKEEPER_HOME/home/hadoop/zookeeper-3.3.6 export PATH$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin 12、配置zoo.cfg文件。 cd conf/ cp zoo_sample.cfg zoo.cfg vi zoo.cfg dataDir/home/hadoop/zookeeper-3.3.6/data dataLogDir/application/zookeeper-3.3.6/log server.1HA8:2888:3888 server.2HA9:2888:3888 server.3HA10:2888:3888 13、创建zoo.cfg中配置的文件夹 [hadoopHA8 zookeeper-3.3.6]$ mkdir data [hadoopHA8 zookeeper-3.3.6]$ mkdir log 14、配置myid文件 cd data vi myid 1 不能带有空格或空行 15、删除zookeeper安装目录下无用的帮助文档。 rm -rf docs dist-maven/ rm -rf src.zip *.txt javafx-src.zip *.html rm -rf *.xml *.txt src zookeeper-3.3.6.jar.* 16、scp zookeeper的安装目录到8,9,10节点。 [hadoopHA8 ~]$ scp -r zookeeper-3.3.6 HA9:/home/hadoop [hadoopHA8 ~]$ scp -r zookeeper-3.3.6 HA10:/home/hadoop 17、修改其他节点上的 myid文件 cd data vi myid  2  另一台 3 不能带有空格或空行 18、scp 环境变量到其他节点。 sudo scp /etc/profile HA9:/etc/profile sudo scp /etc/profile HA10:/etc/profile 19、source 各个节点的环境变量。 source /etc/profile 20、启动。 8910三台机器都要运行 zkServer.sh start 21、查看状态。 8910三台都要运行 jsp zkServer.sh status 22、停止Zookeeper Zookeeper安装启动成功后先stop。 8910三台都要运行 zkServer.sh stop 23、上传hadoop 压缩包解压 [hadoopHA1 hadoop-2.7.3]$ tar -xzvf hadoop-2.7.3.tar.gz 24、配置hadoop 环境变量 sodu vi /etc/profile export HADOOP_HOME/home/hadoop/hadoop-2.7.3 export PATH$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 除了配置HA1还要配置 HA8,9,10 25、配置hadoop-HA参数 25.1修改hadoop-env.sh vi hadoop-env.sh #export JAVA_HOME${JAVA_HOME} export JAVA_HOME/jdk1.8.0_73 25.2修改core-site.xml configuration !-- 指定hdfs的nameservice为nbdo -- property namefs.defaultFS/name valuehdfs://nbdo//value /property !-- 指定hadoop临时目录 -- property namehadoop.tmp.dir/name value/home/hadoop/app/hdpdata//value /property !-- 指定zookeeper地址 -- property nameha.zookeeper.quorum/name valueHA8:2181,HA9:2181,HA10:2181/value /property /configuration 25.3修改hdfs-site.xml configuration !--指定hdfs的nameservice为nbdo需要和core-site.xml中的保持一致 -- property namedfs.nameservices/name valuenbdo/value /property !-- nbdo下面有两个NameNode分别是nn1nn2 -- property namedfs.ha.namenodes.nbdo/name valuenn1,nn2/value /property !-- nn1的RPC通信地址 -- property namedfs.namenode.rpc-address.nbdo.nn1/name valueHA1:9000/value /property !-- nn1的http通信地址 -- property namedfs.namenode.http-address.nbdo.nn1/name valueHA1:50070/value /property !-- nn2的RPC通信地址 -- property namedfs.namenode.rpc-address.nbdo.nn2/name valueHA2:9000/value /property !-- nn2的http通信地址 -- property namedfs.namenode.http-address.nbdo.nn2/name valueHA2:50070/value /property !-- 指定NameNode的edits元数据在JournalNode上的存放位置 -- property namedfs.namenode.shared.edits.dir/name valueqjournal://HA8:8485;HA9:8485;HA10:8485/nbdo/value /property !-- 指定JournalNode在本地磁盘存放数据的位置 -- property namedfs.journalnode.edits.dir/name value/home/hadoop/journaldata/value /property !-- 开启NameNode失败自动切换 -- property namedfs.ha.automatic-failover.enabled/name valuetrue/value /property !-- 配置失败自动切换实现方式 -- property namedfs.client.failover.proxy.provider.nbdo/name valueorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider/value /property !-- 配置隔离机制方法多个机制用换行分割即每个机制暂用一行防止脑裂问题-- property namedfs.ha.fencing.methods/name value sshfence shell(/bin/true) /value /property !-- 使用sshfence隔离机制时需要ssh免登陆 -- property namedfs.ha.fencing.ssh.private-key-files/name value/home/hadoop/.ssh/id_rsa/value /property !-- 配置sshfence隔离机制超时时间 -- property namedfs.ha.fencing.ssh.connect-timeout/name value30000/value /property /configuration 25.4修改mapred-site.xml [hadoopHA1 hadoop]$ cp mapred-site.xml.template mapred-site.xml [hadoopHA1 hadoop]$ vi mapred-site.xml configuration !-- 指定mr框架为yarn方式 -- property namemapreduce.framework.name/name valueyarn/value /property /configuration 25.5修改yarn-site.xml configuration !-- 开启RM高可用 -- property nameyarn.resourcemanager.ha.enabled/name valuetrue/value /property !-- 指定RM的cluster id -- property nameyarn.resourcemanager.cluster-id/name valueyrc/value /property !-- 指定RM的名字 -- property nameyarn.resourcemanager.ha.rm-ids/name valuerm1,rm2/value /property !-- 分别指定RM的地址 -- property nameyarn.resourcemanager.hostname.rm1/name valueHA3/value /property property nameyarn.resourcemanager.hostname.rm2/name valueHA4/value /property !-- 指定zk集群地址 -- property nameyarn.resourcemanager.zk-address/name valueHA8:2181,HA9:2181,HA10:2181/value /property property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property /configuration 25.5修改slaves (slaves是指定子节点的位置因为要在HA1和HA2上启动HDFS、在HA3和HA4启动yarn所以HA1和HA2上的slaves文件指定的是datanode的位置HA3和HA4上的slaves文件指定的是nodemanager的位置) HA5 HA6 HA7 26、scp环境变量到1~7节点 sudo scp HA1:/etc/profile $HOSTNAME:/etc/profile 27、source 环境变量1~7节点 source /etc/profile 28、scp hadoop.xxx文件夹其他9台机器 删除share文件下的doc文件夹 rm -rf doc scp -r HA1:/home/hadoop/hadoop-2.7.3 $HOSTNAME:/home/hadoop/ 29、启动 顺序严格按照 29.1启动Zookeeper HA8,9,10 zkServer.sh start 29.2启动journalnode HA8,9,10 hadoop-daemon.sh start journalnode 29.3格式化HDFS #在HA1上执行命令: hdfs namenode -format #格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件这里我配置的是/home/hadoop/app/hdpdata/然后将/home/hadoop/app/hdpdata/拷贝到HA2的/home/hadoop/app/hdpdata/。 scp -r ##也可以这样建议HA2上运行hdfs namenode -bootstrapStandby 29.4格式化ZKFC(在HA1上执行一次即可) hdfs zkfc -formatZK 29.5启动HDFS(在HA1上执行) sbin/start-dfs.sh 29.6启动YARN (#####注意#####是在HA3上执行start-yarn.sh把namenode和resourcemanager分开是因为性能问题因为他们都要占用大量资源所以把他们分开了他们分开了就要分别在不同的机器上启动) HA3上sbin/start-yarn.sh HA4上yarn-daemon.sh start resourcemanager yarn-ha还需要手动启动HA4上yarn-daemon.sh start resourcemanager第二个resourcemanager 因为start-yarn.sh不具备启动第二个resourcemanager的功能 [hadoopHA1 .ssh]$ jps 2949 DFSZKFailoverController 3064 Jps 2622 NameNode [hadoopHA1 .ssh]$ [hadoopHA2 .ssh]$ jps 2040 NameNode 2154 DFSZKFailoverController 2287 Jps [hadoopHA3 ~]$ jps 2593 ResourceManager 2859 Jps [hadoopHA4 ~]$ jps 2320 ResourceManager 2376 Jps [hadoopHA4 ~]$ [hadoopHA5 ~]$ jps 2331 Jps 2220 NodeManager 2015 DataNode [hadoopHA5 ~]$ [hadoopHA6 ~]$ jps 2317 Jps 2206 NodeManager 2015 DataNode [hadoopHA6 ~]$ [hadoopHA7 ~]$ jps 2419 NodeManager 2551 Jps 2008 DataNode [hadoopHA7 ~]$ [hadoopHA8 ~]$ jps 2187 Jps 1979 QuorumPeerMain 2031 JournalNode [hadoopHA8 ~]$ [hadoopHA9 ~]$ jps 2001 JournalNode 2157 Jps 1951 QuorumPeerMain [hadoopHA9 ~]$ [hadoopHA10 ~]$ jps 2178 Jps 2019 JournalNode 1961 QuorumPeerMain [hadoopHA10 ~]$ http://192.168.18.136:50070/HDFS管理界面 http://192.168.18.138:8088/ MR管理界面
http://www.huolong8.cn/news/29552/

相关文章:

  • 大学一学一做视频网站网站建设珠江摩尔
  • asp.net 个人网站个人网站规划书
  • 微网站建设的第一步是进行首页的设置我国中小企业500强
  • 佛山企业网站制作跨境电商软件下载
  • 邯郸网站优化技巧信息图制作网站
  • 网站建设费用文档怎么样做网站代理商
  • 分析网站建设的论文简单大气的网站
  • 商城微网站创建目前最流行的拓客方法
  • 包装盒在线设计网站wordpress+dns预读
  • 湖北建设厅网站怎么打不开php做网站需要html
  • 建设电视台微信网站必要性官方网站重要性
  • 珠海品牌机械网站建设php网站怎么搭建环境配置
  • 工商银行门户网站是什么意思wordpress分类页打不开
  • 紫金网站制作东莞常平房价2023最新楼盘消息
  • 网站文章编辑器代码甘肃交通工程建设监理公司网站
  • 一个人建设小型网站口碑营销话题
  • 为什么网站建设要将access数据库文件变成asa网站百度地图
  • 顺德网站设计石材做网站
  • 编辑网站教程网络推广技术培训
  • 延庆区加工网站建设推广低代码开发平台公司
  • 建设银行陕西分行网站城市建设理论研究网站
  • 网站的推广方式包括成都互联网公司数量排名
  • html5模板网站福州医社保增减员在什么网站做
  • 企业如何做网站建站商品推广软文800字
  • 做网站的公司济南赛博科技市场泵网站建设
  • 网站建设对比分析网站建设测评报告
  • 淘宝网发布网站建设深圳专业网站开发
  • 网站seo在线诊断wordpress 自动上传插件
  • 广东省东莞市建设培训中心网站深圳网站建设开发需要多少钱
  • 网站建设项目结构分析多推网怎么推广