免费的查企业的网站,湖南省建设部网站,平台制作专业网站制作,wordpress推广得积分目录一、准备的资源#xff1a;二、安装配置过程 目录
本章就说下各种软件的安装和配置。
一、准备的资源#xff1a;
1、tomcat(如用于在网页上查看HDFS的存储等) 地址#xff1a;http://pan.baidu.com/s/1miC93ny 密码#xff1a;52dd 2、jdk 地址#xff1a;ht…目录一、准备的资源二、安装配置过程 目录
本章就说下各种软件的安装和配置。
一、准备的资源
1、tomcat(如用于在网页上查看HDFS的存储等) 地址http://pan.baidu.com/s/1miC93ny 密码52dd 2、jdk 地址http://pan.baidu.com/s/1mhVWiM0 密码fmn1 3、Hadoop最好用centos6.5系统否则配置时会出现各种BUG 地址http://pan.baidu.com/s/1qXXPUdm 密码5zqe
二、安装配置过程
在安装这些软件之前再介绍个比较好用的软件给大家 SecureCRT7.3.3 x64(SSH工具)http://pan.baidu.com/s/1gfzm7Fd 密码5zy0 先说下这个软件这个软件是安装在windows环境下用于在Windows环境下通过SSH协议来控制Linux系统。 简单介绍下使用的过程 打开软件按照下图进行操作
按照以上操作完毕后你就可以在右边的命令行下来控制Linux该软件支持命令行的命令粘贴等功能,详细的使可以自行百度。 接下来介绍各个软件的安装
1、安装JDK
1.上传jdk-7u45-linux-x64.tar.gz到Linux上 2.解压jdk到/usr/local目录 tar -zxvf jdk-7u45-linux-x64.tar.gz -C /usr/local/ 3.设置环境变量在/etc/profile文件最后追加相关内容 vi /etc/profile export JAVA_HOME/usr/local/jdk1.7.0_45 export PATHPATH:PATH:PATH:JAVA_HOME/bin 4.刷新环境变量 source /etc/profile 5.测试java命令是否可用 java -version
2、安装Tomcat
1.上传apache-tomcat-7.0.68.tar.gz到Linux上 2.解压tomcat tar -zxvf apache-tomcat-7.0.68.tar.gz -C /usr/local/ 3.启动tomcat /usr/local/apache-tomcat-7.0.68/bin/startup.sh ./startup.sh 4.查看tomcat进程是否启动 jps 5.查看tomcat进程端口 netstat -anpt | grep 2465 6.通过浏览器访问tomcat http://192.168.0.101:8080/
3、安装hadoop
先上传hadoop的安装包到服务器上去/home/hadoop/ 注意hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop 伪分布式需要修改5个配置文件
3.1配置hadoop第一个hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME/usr/java/jdk1.7.0_65 第二个core-site.xml!-- 指定HADOOP所使用的文件系统schemaURIHDFS的老大NameNode的地址 --propertynamefs.defaultFS/namevaluehdfs://weekend-1206-01:9000/value/property!-- 指定hadoop运行时产生文件的存储目录 --propertynamehadoop.tmp.dir/namevalue/home/hadoop/hadoop-2.4.1/tmp/value/property第三个hdfs-site.xml !-- 指定HDFS副本的数量 --propertynamedfs.replication/namevalue1/value/propertypropertynamedfs.secondary.http.address/namevalue192.168.1.152:50090/value/property第四个mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)mv mapred-site.xml.template mapred-site.xmlvim mapred-site.xml!-- 指定mr运行在yarn上 --propertynamemapreduce.framework.name/namevalueyarn/value/property第五个yarn-site.xml!-- 指定YARN的老大ResourceManager的地址 --propertynameyarn.resourcemanager.hostname/namevalueweekend-1206-01/value/property!-- reducer获取数据的方式 --propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property3.2将hadoop添加到环境变量vim /etc/proflieexport JAVA_HOME/usr/java/jdk1.7.0_65export HADOOP_HOME/itcast/hadoop-2.4.1export PATH$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profile3.3格式化namenode是对namenode进行初始化hdfs namenode -format (hadoop namenode -format)3.4启动hadoop先启动HDFSsbin/start-dfs.sh再启动YARNsbin/start-yarn.sh3.5验证是否启动成功使用jps命令验证27408 NameNode28218 Jps27643 SecondaryNameNode28066 NodeManager27803 ResourceManager27512 DataNodehttp://192.168.1.101:50070 HDFS管理界面http://192.168.1.101:8088 MR管理界面 在下面的章节中会介绍下HDFS的原理和基本操作等知识
