当前位置: 首页 > news >正文

四川省建设厅网站电话做电影资源网站有哪些内容

四川省建设厅网站电话,做电影资源网站有哪些内容,ppt接单兼职网站,个人怎么见个网站Hadoop Single Node Cluster的安装 安装JDK查看java -version更新本地软件包安装JDK查看java安装位置 设置SSH无密码登录安装hadoop下载安装设置hadoop环境变量修改hadoop配置设置文件设置core-site.xml设置YARN-site.xml设置mapred-site.xml设置HDFS分布式文件系统创建并格式化… Hadoop Single Node Cluster的安装 安装JDK查看java -version更新本地软件包安装JDK查看java安装位置 设置SSH无密码登录安装hadoop下载安装设置hadoop环境变量修改hadoop配置设置文件设置core-site.xml设置YARN-site.xml设置mapred-site.xml设置HDFS分布式文件系统创建并格式化HDFS目录 启动hadoop打开hadoop resource-manager web页面 安装JDK hadoop是基于java开发的所以要先安装java环境 查看java -version 打开terminal执行命令java -version如果显示如下图所示说明没有安装java。 更新本地软件包 要安装Java 先更新一下本地软件包使用如下命令 sudo apt update安装JDK 执行以下命令安装 OpenJDK: sudo apt install default-jre安装完成后验证一下安装 JDK 的版本: java -versionsudo apt-get install default-jdk查看java安装位置 update-alternatives --display java其中/usr/lib/jvm/java-11-openjdk-amd64/bin/java就是java的路径 设置SSH无密码登录 Hadoop是有很多台服务器组成的当我们启动hadoop系统时namenode必须与datanode连接并管理这些节点datanode。此时系统会要求用户输入密码。为了让系统顺利运行而不手动输入密码需要将SSH设置成无密码登录。注意无密码登录并非不需要密码而是事先交换SSH Key(密钥)来进行身份认证。 安装ssh sudo apt-get install ssh安装rsync sudo apt-get install rsync产生ssh key密钥进行后续身份验证 ssh-keygen -t dsa -P -f ~/.ssh/id_dsa查看产生的SSH Key(密钥) ll ~/.ssh其中id_dsa和id_dsa.pub为产生的密钥文件 将产生的公钥加入许可证文件 cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys重定向符号“”会将命令运行产生后的标准输出stdout重定向附加在该文件之后当上述命令运行后会将/.ssh/id_dsa.pub附加到/.ssh/authorized_keys许可证文件之后。 安装hadoop 下载 来到下载页面 https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/ 选中hadoop-2.6.4.tar.gz 右键选复制链接 复制后的链接如下 https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz使用wget执行下载命令 wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz其实更好的方法是直接下载下来然后传到虚拟机上 安装 解压压缩包 sudo tar -zxvf hadoop-2.6.4.tar.gz移动文件夹 将解压出的文件夹移动到 /usr/local/hadoop目录 sudo mv hadoop-2.6.4 /usr/local/hadoop查看hadoop安装目录 ll /usr/local/hadoop 常用目录说明 目录说明bin/各项运行文件包括hadoop、hdfs、yarn等sbin/各项shell运行文件包括start-all.sh、stop-all.shetc/etc/hadoop子目录包括hadoop配置文件例如hadoop-env.sh、core-site.xml、yarn-site.xml、mapred-site.xml、hdfs-site.xmllib/hadoop函数库logs/系统日志可以查看系统运行情况运行有问题时可以从日志找出错误原因 设置hadoop环境变量 编辑 ~/.bashrc sudo gedit ~/.bashrc打开结果如下 在后边加入输入以下内容然后保存 export JAVA_HOME/usr/lib/jvm/java-11-openjdk-amd64 export HADOOP_HOME/usr/local/hadoop export PATH$PATH:$HADOOP_HOME/bin export PATH$PATH:$HADOOP_HOME/sbin export HADOOP_MAPRED_HOME$HADOOP_HOME export HADOOP_COMMON_HOME$HADOOP_HOME export HADOOP_HDFS_HOME$HADOOP_HOME export YARN_HOME$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR$HADOOP_HOME/lib/native export HADOOP_OPTS-Djava.library.path$HADOOP_HOME/lib export JAVA_LIBRARY_PATH$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH 其含义为 设置JDK安装路径需要读者根据自己安装的java版本自行调整 export JAVA_HOME/usr/lib/jvm/java-11-openjdk-amd64Hadoop的安装路径 export HADOOP_HOME/usr/local/hadoop设置PATH export PATH$PATH:$HADOOP_HOME/bin export PATH$PATH:$HADOOP_HOME/sbin设置HADOOP其他环境变量 export HADOOP_MAPRED_HOME$HADOOP_HOME export HADOOP_COMMON_HOME$HADOOP_HOME export HADOOP_HDFS_HOME$HADOOP_HOME export YARN_HOME$HADOOP_HOME链接库相关设置 export HADOOP_COMMON_LIB_NATIVE_DIR$HADOOP_HOME/lib/native export HADOOP_OPTS-Djava.library.path$HADOOP_HOME/lib export JAVA_LIBRARY_PATH$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH 使得~/.bashrc设置生效 source ~/.bashrc 修改hadoop配置设置文件 sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh 打开如下 原本文件中的JAVA_HOME的设置为 export JAVA_HOME${JAVA_HOME}修改为 export JAVA_HOME/usr/lib/jvm/java-11-openjdk-amd64保存并关闭 设置core-site.xml sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml打开后如下 添加以下配置 configuration propertynamefs.default.name/namevaluehdfs://localhost:9000/value /property /configuration修改后结果如下 设置YARN-site.xml 输入以下命令 sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml输入以下配置 propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value /property propertynameyarn.nodemanager.aux-services.mapreduce.shuffle.class/namevalueorg.apache.hadoop.mapred.ShuffleHandler/value /property添加结果如下 设置mapred-site.xml Mapred-site.xml用于设置监控Map与Reduce程序的JobTracker任务分配情况以及TaskTraker任务的运行情况。Hadoop提供了设置的模板文件可以自行复制修改 sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml 编辑mapred-site.xml sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml打开后的结果如下 添加以下配置 propertynamemapreduce.framework.name/namevalueyarn/value /property添加后的结果如下 设置HDFS分布式文件系统 打开hdfs-site.xml sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml插入以下内容 propertynamedfs.replication/namevalue3/value /property propertynamedfs.namenode.name.dir/namevaluefile:/usr/local/hadoop/hadoop_data/hdfs/namenode/value /property propertynamedfs.datanode.data.dir/namevaluefile:/usr/local/hadoop/hadoop_data/hdfs/datanode/value /property默认的blocks副本备份数量是每一个文件在其他node的备份数量默认值为3。编辑完成后先保存再关闭gedit。 创建并格式化HDFS目录 创建namenode数据存储目录 sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode创建datanode数据存储目录 sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode将hadoop目录的所有者更换为当前用户名 我这里用户名是aixing大家可以自行更换 sudo chown aixing:aixing -R /usr/local/hadoop格式化HDFS 如果HDFS已有数据执行会删除掉所有数据 hadoop namenode -format启动hadoop 启动HDFS start-dfs.sh启动hadoop mapreduce 框架yarn start-yarn.sh同时启动HDFS、yarn start-all.sh查看namenode、datanode进程是否启动 其中ResourceManager和NodeManager是Yarn相关进程NameNode、SecondNameNode、DataNode是HDFS相关进程 打开hadoop resource-manager web页面 打开Hadoop ResourceManager web 点开浏览器访问链接:http://localhost:8088/ 打开后页面如下 点击Nodes就会显示当前所有节点不过我们安装的是single Node Cluster所有只有一个节点 Namenode HDFS Web 界面 打开浏览器访问http://localhost:50070/ 查看Live Nodes可以看到启动了1个节点 查看DataNode
http://www.huolong8.cn/news/130887/

相关文章:

  • 做logo的ppt模板下载网站乐清网吧什么时候恢复营业
  • 建设银行积分网站海淀做网站设计的公司
  • dede淘宝客网站模板便利的邯郸网站建设
  • 中山网站建设金科用word 做网站
  • 江西建网站温州做网站最好的
  • 做网站软件的义乌简游网络科技有限公司
  • u网站建设微信小程序怎么做网站
  • 公司网站建设合同要交印花税吗品牌策划案范本
  • wordpress 站外链接一般做网站用什么字体比较合适
  • 赚钱平台网站创意工作室网站
  • 鲜花网站源码企业生产erp软件公司
  • 网站策划初级方案模板网站版式布局
  • 东莞网站建设推广方案代做网页设计作业价格
  • 花店网站建设的工作流程二级建造师注册查询官网入口
  • 大良营销网站建设机构做一个网站平台的流程是什么
  • 网站建设与管理 十四五国规教材seo优化软件有哪些
  • 电子商务网站建设的结论wordpress 用户登录ip
  • dede旅游网站模板edm营销网站
  • 飞沐网站建设北京做图片的软件app
  • 网站建设意义模板找推广平台需要多少钱
  • 北京网站设计公司飞沐黑龙江省建设网
  • 做网站设计需要多少钱陕西手机网站建设
  • 安徽中擎建设公司网站广州市律师网站建设价格
  • 无锡网站推广排名怎么做自己的快递查询网站
  • html5个人网站模板企业网站分析报告
  • 站长之家alexa排名新郑网站优化
  • 不同的网站前缀就是不同的域名吗wordpress换主题后打不开
  • 广州市建设工程检测中心网站常州网站建设软件
  • 网站不备案违法吗工业产品设计展板
  • 网站空间上传教程网站自定义链接怎么做