怎么才能自己做网站,网站建设分为哪几个步骤,科技网站小编,杭州公司注册地址租赁一般多少钱Required Software1. 安装Java环境推荐的版本在链接中有介绍HadoopJavaVersions.2. 安装ssh以使用hadoop脚本管理远程Hadoop daemons.Download HadoopInstalling Software安装JDK#xff0c;网上的教程比较多#xff0c;不做详述安装ssh#xff0c;在Ubuntu Linux系统上通过…Required Software1. 安装Java环境推荐的版本在链接中有介绍HadoopJavaVersions.2. 安装ssh以使用hadoop脚本管理远程Hadoop daemons.Download HadoopInstalling Software安装JDK网上的教程比较多不做详述安装ssh在Ubuntu Linux系统上通过如下指令安装$ sudo apt-get install ssh$ sudo apt-get install rsync对于mac操作系统需要在偏好设置中开启远程登录服务。Configuration配置Hadoop环境变量export HADOOP_HOME/Users/majun/mysoftware/hadoop272export PATH$PATH:/Users/majun/mysoftware/scala/bin:$HADOOP_HOME/binexport HADOOP_OPTS$HADOOP_OPTS -Djava.library.path/usr/local/hadoop/lib/native修改etc/hadoop/core-site.xml:fs.defaultFShdfs://localhost:9000etc/hadoop/hdfs-site.xml:dfs.replication1Setup passphraseless ssh使用如下命令来判断是否需要输入密码来ssh登陆ssh localhost如果无法登陆在不输密码的情况下可以执行下面的语句$ ssh-keygen -t dsa -P -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keysExecution序列化数据$ bin/hdfs namenode -format启动namenode和datanode daemon$ sbin/start-dfs.sh打开NameNode的webNameNode - http://localhost:50070/创建hdfs目录$ bin/hdfs dfs -mkdir /user$ bin/hdfs dfs -mkdir /user/将本地input拷进hdfs系统中$ bin/hdfs dfs -put etc/hadoop input运行官方提供的sample$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output dfs[a-z.]检验输出文件将hdfs文件拷到本地$ bin/hdfs dfs -get output output$ cat output/*Reference
