tk网站的dns修改,中国科技成就新闻,抖音小程序开发一个多少钱,市场营销计划方案文章目录 一、Hadoop部署模式#xff08;一#xff09;独立模式#xff08;二#xff09;伪分布式模式#xff08;三#xff09;完全分布式模式 二、搭建伪分布式Hadoop#xff08;一#xff09;登录虚拟机#xff08;二#xff09;上传安装包#xff08;三#xf… 文章目录 一、Hadoop部署模式一独立模式二伪分布式模式三完全分布式模式 二、搭建伪分布式Hadoop一登录虚拟机二上传安装包三配置免密登录1、生成密钥对2、将生成的公钥发送到本机3、验证虚拟机是否能免密登录自己 四配置JDK1、解压到指定目录1解压到指定目录2查看java解压目录 2、配置JDK环境变量3、让环境变量配置生效4、查看JDK版本5、玩一玩Java程序 五配置Hadoop1、解压hadoop安装包1解压到指定目录2查看hadoop解压目录3常用目录和文件 2、配置hadoop环境变量3、让环境变量配置生效4、查看hadoop版本5、编辑Hadoop环境配置文件 - hadoop-env.sh6、编辑Hadoop核心配置文件 - core-site.xml7、编辑HDFS配置文件 - hdfs-site.xml8、编辑MapReduce配置文件 - mapred-site.xml9、编辑YARN配置文件 - yarn-site.xml10、编辑workers文件确定数据节点 六格式化名称节点七启动Hadoop服务1、启动hdfs服务2、启动yarn服务3、查看Hadoop进程 八查看Hadoop WebUI九关闭Hadoop服务1、关闭hdfs服务2、关闭yarn服务 一、Hadoop部署模式
一独立模式
在独立模式下所有程序都在单个JVM上执行调试Hadoop集群的MapReduce程序也非常方便。一般情况下该模式常用于学习或开发阶段进行调试程序。
二伪分布式模式
在伪分布式模式下 Hadoop程序的守护进程都运行在一台节点上该模式主要用于调试Hadoop分布式程序的代码以及程序执行是否正确。伪分布式模式是完全分布式模式的一个特例。
三完全分布式模式
在完全分布式模式下Hadoop的守护进程分别运行在由多个主机搭建的集群上不同节点担任不同的角色在实际工作应用开发中通常使用该模式构建企业级Hadoop系统。
二、搭建伪分布式Hadoop
一登录虚拟机
登录ied虚拟机
二上传安装包 上传jdk和hadoop安装包 查看上传的安装包
三配置免密登录
1、生成密钥对
执行命令ssh-keygen 执行命令后连续敲回车生成节点的公钥和私钥生成的密钥文件会自动放在/root/.ssh目录下。
2、将生成的公钥发送到本机
执行命令ssh-copy-id rootied
3、验证虚拟机是否能免密登录自己
执行命令ssh ied
四配置JDK
1、解压到指定目录
1解压到指定目录
执行命令tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local
2查看java解压目录
执行命令ll /usr/local/jdk1.8.0_231
2、配置JDK环境变量
执行命令vim /etc/profile
export JAVA_HOME/usr/local/jdk1.8.0_231
export PATH$JAVA_HOME/bin:$PATH
export CLASSPATH.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar存盘退出
3、让环境变量配置生效
执行命令source /etc/profile 查看环境变量JAVA_HOME
4、查看JDK版本
执行命令java -version
5、玩一玩Java程序
编写源程序执行命令vim HelloWorld.java 编译成字节码文件执行命令javac HelloWorld.java 解释执行类执行命令java HelloWorld
五配置Hadoop
1、解压hadoop安装包
1解压到指定目录
执行命令tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local
2查看hadoop解压目录
执行命令ll /usr/local/hadoop-3.3.4
3常用目录和文件
bin目录 - 存放命令脚本 etc/hadoop目录 - 存放hadoop的配置文件 lib目录 - 存放hadoop运行的依赖jar包 sbin目录 - 存放启动和关闭Hadoop等命令 libexec目录 - 存放的也是hadoop命令但一般不常用
2、配置hadoop环境变量
执行命令vim /etc/profile 说明hadoop 2.x用不着配置用户只需要前两行即可
3、让环境变量配置生效
执行命令source /etc/profile
4、查看hadoop版本
执行命令hadoop version
5、编辑Hadoop环境配置文件 - hadoop-env.sh
执行命令cd etc/hadoop进入hadoop配置目录 执行命令vim hadoop-env.sh添加三条环境变量配置 存盘退出后执行命令source hadoop-env.sh让配置生效
6、编辑Hadoop核心配置文件 - core-site.xml
执行命令vim core-site.xml
configuration!--用来指定hdfs的老大--propertynamefs.defaultFS/namevaluehdfs://ied:9000/value/property!--用来指定hadoop运行时产生文件的存放目录--propertynamehadoop.tmp.dir/namevalue/usr/local/hadoop-3.3.4/tmp/value/property
/configuration由于配置了IP地址主机名映射因此配置HDFS老大节点可用hdfs://ied:9000否则必须用IP地址hdfs://192.168.1.100:9000
7、编辑HDFS配置文件 - hdfs-site.xml
执行命令vim hdfs-site.xml
configuration!--设置名称节点的目录--propertynamedfs.namenode.name.dir/namevalue/usr/local/hadoop-3.3.4/tmp/namenode/value/property!--设置数据节点的目录--propertynamedfs.datanode.data.dir/namevalue/usr/local/hadoop-3.3.4/tmp/datanode/value/property!--设置辅助名称节点--propertynamedfs.namenode.secondary.http-address/namevalueied:50090/value/property!--hdfs web的地址默认为9870可不配置--!--注意如果使用hadoop2默认为50070--propertynamedfs.namenode.http-address/namevalue0.0.0.0:9870/value/property!--副本数默认为3--propertynamedfs.replication/namevalue1/value/property!--是否启用hdfs权限当值为false时代表关闭--propertynamedfs.permissions.enabled/namevaluefalse/value/property
/configuration8、编辑MapReduce配置文件 - mapred-site.xml
执行命令vim mapred-site.xml
configuration!--配置MR资源调度框架YARN--propertynamemapreduce.framework.name/namevalueyarn/value/propertypropertynameyarn.app.mapreduce.am.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value/propertypropertynamemapreduce.map.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value/propertypropertynamemapreduce.reduce.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value/property
/configuration后三个属性如果不设置在运行Hadoop自带示例的词频统计时会报错Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
9、编辑YARN配置文件 - yarn-site.xml
执行命令vim yarn-site.xml
configuration!--配置资源管理器ied--propertynameyarn.resourcemanager.hostname/namevalueied/value/property!--配置节点管理器上运行的附加服务--propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property!--关闭虚拟内存检测在虚拟机环境中不做配置会报错--propertynameyarn.nodemanager.vmem-check-enabled/namevaluefalse/value/property
/configuration10、编辑workers文件确定数据节点
说明hadoop-2.x里配置slaves文件hadoop-3.x里配置workers文件执行命令vim workers 只有1个数据节点正好跟副本数配置的1一致
六格式化名称节点
执行命令hdfs namenode -format Storage directory /usr/local/hadoop-3.3.4/tmp/namenode has been successfully formatted. 表明名称节点格式化成功。
七启动Hadoop服务
1、启动hdfs服务
执行命令start-dfs.sh
2、启动yarn服务
执行命令start-yarn.sh
3、查看Hadoop进程 执行命令jps 说明start-dfs.sh与start-yarn.sh可以用一条命令start-all.sh来替换
八查看Hadoop WebUI
在浏览器里访问http://ied:9870 查看文件系统 根目录下没有任何内容
九关闭Hadoop服务
1、关闭hdfs服务
执行命令stop-dfs.sh
2、关闭yarn服务 执行命令stop-yarn.sh 说明stop-dfs.sh与stop-yarn.sh可以用一条命令stop-all.sh来替换
