怎么找网站建设公司,建设学校网站多钱,凉山州规划和建设局网站,有哪些做企业网站的目录 部署说明MapReduce配置文件YARN配置文件分发配置文件集群启动命令开始启动YARN集群 查看YARN的WEB UI页面保存快照YARN集群的启停命令一键启动脚本单进程启停 提交MapReduce任务到YARN执行提交wordcount示例程序查看运行日志提交求圆周率示例程序 p41~43 https://www.bili… 目录 部署说明MapReduce配置文件YARN配置文件分发配置文件集群启动命令开始启动YARN集群 查看YARN的WEB UI页面保存快照YARN集群的启停命令一键启动脚本单进程启停 提交MapReduce任务到YARN执行提交wordcount示例程序查看运行日志提交求圆周率示例程序 p41~43 https://www.bilibili.com/video/BV1WY4y197g7/?p41
部署说明
Hadoop HDFS分布式文件系统我们会启动 NameNode进程作为管理节点DataNode进程作为工作节点SecondaryNamenode作为辅助 同理Hadoop YARN分布式资源调度会启动 ResourceManager进程作为管理节点NodeManager进程作为工作节点ProxyServer、JobHistoryServer这两个辅助节点 那么MapReduce呢 MapReduce运行在YARN容器内无需启动独立进程
所以关于MapReduce和YARN的部署其实就是2件事情
关于MapReduce 修改相关配置文件但是没有进程可以启动关于YARN 修改相关配置文件 并启动ResourceManager、NodeManager进程以及辅助进程代理服务器、历史服务器 有3台服务器其中node1配置较高 集群规划如下
主机角色node1ResourceManager、NodeManager、ProxyServer、JobHistoryServernode2NodeManagernode3NodeManager
MapReduce配置文件
在 $HADOOP_HOME/etc/hadoop 文件夹内修改
mapred-env.sh文件
su - hadoopcd /export/server/hadoop/etc/hadoop/vim mapred-env.sh在顶部添加以下内容
export JAVA_HOME/export/server/jdk
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE1000
export HADOOP_MAPRED_ROOT_LOGGERINFO,RFA设置JDK路径 设置JobHistoryServer进程内存为1G 设置日志级别为INFO mapred-site.xml文件
vim mapred-site.xml在configuration/configuration之间添加以下内容
propertynamemapreduce.framework.name/namevalueyarn/valuediscriptionMapReduce的运行框架运行为YARN/discription
/propertypropertynamemapreduce.jobhistory.address/namevaluenode1:10020/valuediscription历史服务器通讯端口为node1:10020/discription
/propertypropertynamemapreduce.jobhistory.webapp.address/namevaluenode1:19888/valuediscription历史服务器端口为node1的19888/discription
/propertypropertynamemapreduce.jobhistory.intermediate-done-dir/namevalue/data/mr-history/tmp/valuediscription历史信息在HDFS的记录临时路径/discription
/propertypropertynamemapreduce.jobhistory.done-dir/namevalue/data/mr-history/done/valuediscription历史信息在HDFS的记录路径/discription
/propertypropertynameyarn.app.mapreduce.am.env/namevalueHADOOP_MAPRED_HOME$HADOOP_HOME/valuediscriptionMapRedece HOME设置为HADOOP_HOME/discription
/propertypropertynamemapreduce.map.env/namevalueHADOOP_MAPRED_HOME$HADOOP_HOME/valuediscriptionMapRedece HOME设置为HADOOP_HOME/discription
/propertypropertynamemapreduce.reduce.env/namevalueHADOOP_MAPRED_HOME$HADOOP_HOME/valuediscriptionMapRedece HOME设置为HADOOP_HOME/discription
/propertyYARN配置文件
vim yarn-env.sh在顶部添加以下内容
export JAVA_HOME/export/server/jdk
export HADOOP_HOME/export/server/hadoop
export HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR$HADOOP_HOME/logs设置JDK路径的环境变量 设置HADOOP_HOME的环境变量 设置配置文件路径的环境变量 设置日志文件路径的环境变量 vim yarn-site.xml在configuration/configuration之间添加以下内容
propertynameyarn.resourcemanager.hostname/namevaluenode1/valuediscriptionResourceManager设置在node1节点/discription
/propertypropertynameyarn.nodemanager.local-dirs/namevalue/data/nm-local/valuediscriptionNodeManager中间数据本地存储路径/discription
/propertypropertynameyarn.nodemanager.log-dirs/namevalue/data/nm-log/valuediscriptionNodeManager数据日志本地存储路径/discription
/propertypropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/valuediscription为MapReduce程序开启Shuffle服务/discription
/propertypropertynameyarn.log.server.url/namevaluehttp://node1:19888/jobhistory/logs/valuediscription历史服务器URL/discription
/propertypropertynameyarn.web-proxy.address/namevaluenode1:8089/valuediscription代理服务器主机和端口/discription
/propertypropertynameyarn.log-aggregation-enable/namevaluetrue/valuediscription开启日志聚合/discription
/propertypropertynameyarn.nodemanager.remote-app-log-dir/namevalue/tmp/logs/valuediscription程序日志HDFS的存储路径/discription
/propertypropertynameyarn.resourcemanager.scheduler.class/namevalueorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler/valuediscription选择公平调度器/discription
/property分发配置文件
把配置好的文件分发到其他服务器节点中
scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node2:pwd/scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node3:pwd/集群启动命令
常用的进程启动命令如下
一键启动YARN集群 $HADOOP_HOME/sbin/start-yarn.sh 会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager会基于workers文件配置的主机启动NodeManager 一键停止YARN集群 $HADOOP_HOME/sbin/stop-yarn.sh在当前机器单独启动或停止进程 $HADOOP_HOME/bin/yarn --daemon start|stop resourcemanager|nodemanager|proxyserverstart和stop决定启动和停止可控制resourcemanager、nodemanager、proxyserver三种进程 历史服务器启动和停止 $HADOOP_HOME/bin/mapred --daemon start|stop historyserver
开始启动YARN集群
在node1服务器以hadoop用户执行
start-dfs.shstart-yarn.shjpsmapred --daemon start historyserver日志文件在/export/server/hadoop/logs出问题可以查看日志来排查问题。 查看YARN的WEB UI页面
打开 http://node1:8088 即可看到YARN集群的监控页面ResourceManager的WEB UI
保存快照
三个服务器都关机退出保存快照
su -init 0刚刚部署好YARN集群
YARN集群的启停命令
一键启动脚本
启动 $HADOOP_HOME/sbin/start-yarn.sh 从yarn-site.xml中读取配置确定ResourceManager所在机器并启动它。 读取workers文件确定机器启动全部的NodeManager。 在当前机器启动ProxyServer代理服务器。 关闭 $HADOOP_HOME/sbin/stop-yarn.sh
start-yarn.shjpsstop-yarn.sh单进程启停
除了一键启停外也可以单独控制进程的启停。
$HADOOP_HOME/bin/yarn此程序也可以用以单独控制所在机器的进程的启停 用法yarn --daemon (start|stop) (resourcemanager|nodemanager|proxyserver)
yarn --daemon start resourcemanageryarn --daemon stop resourcemanageryarn --daemon start nodemanageryarn --daemon stop nodemanageryarn --daemon start proxyserveryarn --daemon stop proxyserver$HADOOP_HOME/bin/mapred此程序也可以用以单独控制所在机器的历史服务器的启停 用法mapred --daemon (start|stop) historyserver
mapred --daemon stop historyservermapred --daemon start historyserver提交MapReduce任务到YARN执行
YARN作为资源调度管控框架其本身提供资源供许多程序运行常见的有MapReduce程序、Spark程序、Flink程序
Hadoop官方内置了一些预置的MapReduce程序代码我们无需编程只需要通过命令即可使用。
常用的有2个MapReduce内置程序
wordcount单词计数程序。 统计指定文件内各个单词出现的次数pi求圆周率 通过蒙特卡罗算法统计模拟法求圆周率
这些内置的示例MapReduce程序代码都在 $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar 这个文件内。
cd /export/server/hadoop/share/hadoop/mapreduce/llcd可以通过 hadoop jar 命令来运行它提交MapReduce程序到YARN中。
语法 hadoop jar 程序文件 java类名 [程序参数] … [程序参数]
提交wordcount示例程序
单词计数示例程序的功能很简单
给定数据输入的路径HDFS、给定结果输出的路径HDFS将输入路径内的数据中的单词进行计数将结果写到输出路径
我们可以准备一份数据文件并上传到HDFS中。
hadoop it bigdata hello world
hello bigdata hdfs
it is hadoop hdfs
hdfs mapreduce yarn
hadoop yarn将上面内容保存到Linux中为words.txt文件并上传到HDFS
start-dfs.shvim words.txthadoop fs -mkdir -p /inputhadoop fs -mkdir /outputhadoop fs -ls /hadoop fs -put words.txt /input/hadoop fs -ls /input/执行如下命令提交示例MapReduce程序WordCount到YARN中执行
start-yarn.shmapred --daemon start historyserverhadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount hdfs://node1:8020/input hdfs://node1:8020/output/wc注意 参数wordcount表示运行jar包中的单词计数程序Java Class 参数1是数据输入路径hdfs://node1:8020/input/wordcount/) 参数2是结果输出路径(hdfs://node1:8020/output/wc) 需要确保输出的文件夹不存在 提交程序后可以在YARN的WEB UI页面看到运行中的程序http://node1:8088/cluster/apps) 执行完成后可以查看HDFS上的输出结果
hadoop fs -ls /output/wchadoop fs -cat /output/wc/*_SUCCESS文件是标记文件表示运行成功本身是空文件part-r-00000是结果文件结果存储在以part开头的文件中
执行完成后可以借助历史服务器查看到程序的历史运行信息 ps如果没有启动历史服务器和代理服务器此操作无法完成页面信息由历史服务器提供鼠标点击跳转到新网页功能由代理服务器提供 查看运行日志
点击logs链接可以查看到详细的运行日志信息。 此功能基于
配置文件中配置了日志聚合功能并设置了历史服务器 启动了代理服务器和历史服务器历史服务器进程会将日志收集整理形成可以查看的网页内容供我们查看。
所以如果发现无法查看程序运行历史以及无法查看程序运行日志信息请检查上述1、2、3是否都正确设置。
提交求圆周率示例程序
可以执行如下命令使用蒙特卡罗算法模拟计算求PI圆周率
hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 3 1000参数pi表示要运行的Java类这里表示运行jar包中的求pi程序 参数3表示设置几个map任务 参数1000表示模拟求PI的样本数越大求的PI越准确但是速度越慢 样本1000太小不够精准
