中铁建设门户网站,厦门最早做网站的公司,技术支持 东莞网站建设机械加工,搭建网站公司哪家好一、添加插件将hadoop-eclipse-plugin-2.7.5.jar放入eclipse的plugins文件夹中二、在Windows上安装Hadoop2.7.5版本最好与Linux集群中的hadoop版本保持一致1、将hadoop-2.7.5-centos-6.7.tar.gz解压到Windows上的C盘software目录中2、配置hadoop的环境变量HADOOP_HOMEC:\softwa…一、添加插件将hadoop-eclipse-plugin-2.7.5.jar放入eclipse的plugins文件夹中二、在Windows上安装Hadoop2.7.5版本最好与Linux集群中的hadoop版本保持一致1、将hadoop-2.7.5-centos-6.7.tar.gz解压到Windows上的C盘software目录中2、配置hadoop的环境变量HADOOP_HOMEC:\software\hadoop-2.7.5PathC:\software\hadoop-2.7.5\bin3、修改Hadoop安装目录C:\software\hadoop-2.7.5\etc\hadoop中hadoop-env.cmd4、查看Hadoop版本5、添加Windows支持文件因为安装的Hadoop编译的版本是CentOS6.7的版本在Windows上运行需要添加文件1)winutils.exe 放在windows平台中你安装的hadoop的bin目录下2) hadoop.dll 放在windows操作系统的 c:/windows/system32目录下6、重新启动eclipse三、eclipse中的配置1、重新启动eclipse,打开windows-Preferences的Hadoop Map/Reduce中设置安装目录2、打开Windows-Open Perspective中的Map/Reduce在此perspective下进行hadoop程序开发3、打开Windows-Show View中的Map/Reduce Locations如下图右键选择New Hadoop location…新建hadoop连接。4、配置相关信息5、配置成功之后再右侧显示如下四、创建HDFS项目1、创建一个java project2、添加jar包这里使用第二种有三种方式可以往项目中添加jar依赖:1)直接创建一个lib文件夹然后放入对应的依赖包最后add build path优点移植方便缺点项目臃肿2)在eclipse中创建user libarary, 然后引入优点解决了不同项目中的相同jar的重复依赖问题 不是直接放入是引入的方式缺点移植不方便3)最后直接使用maven管理jar依赖完美解决方案使用maven 我们在项目中只需要编写好pom.xml文件即可目前只是操作HDFS所以只需要引入common和HDFS相关的jar包即可。Hadoop的common、hdfs、MapReduce、yarn的相关jar包的位置在安装目录的C:\software\hadoop-2.7.5\share\hadoop文件夹中各自文件夹下的jar包是核心jar包lib下的jar包是核心jar包的依赖jar包都需要引入hdfs的jar包用相同的方法引入这样项目就成功引入了common和hdfs相关的jar包3、创建测试类packagecn.study.hdfs;importjava.net.URI;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;public classTestHdfsDemo1 {public static void main(String[] args) throwsException {Configuration conf newConfiguration();FileSystem fs FileSystem.get(new URI(hdfs://hadoop1:9000),conf,hadoop);//System.out.println(fs instanceof DistributedFileSystem);//truefs.copyFromLocalFile(new Path(D:/abc.txt), new Path(/a/));fs.close();}}View Code测试之前测试之后
