做黑帽需不需要搭建网站,供电局招聘2023社招,wordpress 搜狐视频播放,个人建站一、给计算机集群起别名——互通 总纲#xff1a; 1、准备3台客户机#xff08;关闭防火墙、静态IP、主机名称都设置好#xff09; 2、安装JDK#xff08;可点击#xff09; 3、配置环境变量 4、安装Hadoop 5、配置hadoop的环境变量 6、配置集群 7、群起测试 1.1、环境准备…一、给计算机集群起别名——互通 总纲 1、准备3台客户机关闭防火墙、静态IP、主机名称都设置好 2、安装JDK可点击 3、配置环境变量 4、安装Hadoop 5、配置hadoop的环境变量 6、配置集群 7、群起测试 1.1、环境准备
下载安装虚拟机以及安装centOS系统一文搞定 先配置好一台机器其他机器直接从这一台克隆过去注意一定要改IP地址不能两两之间发生冲突 修改Linux系统IP地址vim /etc/sysconfig/network-scripts/ifcfg-enp0s3 #如果是VMware后缀应该是/ifcfg-ens33 修改主机名称vim /etc/hostname #直接键入命令hostname就可以查看当前主机的名称 修改主机映射实现主机与主机之间用别名互联互通vim /etc/hosts 针对上面三个命令如下三个参考文本
TYPEEthernet
PROXY_METHODnone
BROWSER_ONLYno
BOOTPROTOstatic
DEFROUTEyes
IPV4_FAILURE_FATALno
IPV6INITyes
IPV6_AUTOCONFyes
IPV6_DEFROUTEyes
IPV6_FAILURE_FATALno
IPV6_ADDR_GEN_MODEstable-privacy
NAMEenp0s3
UUID8b0a9ecf-ce7c-4568-ab9b-e8f7fbc75c0a
DEVICEenp0s3
ONBOOTyes
# 重点
IPADDR192.168.2.113
NETMASK225.225.225.0
GATEWAY192.168.2.2
DNS1192.168.2.2
DNS2223.5.5.5# 直接将内容localhost.localdomain改为本台机器取的别名如hadoop113
hadoop113
#修改之后键入hostname查看当前主机的名称如果没有生效就重启一下虚拟机命令reboot或者shutdown -r now127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
# 上面那2行不动它的下面注重IP与别名的映射
192.168.2.113 hadoop113
192.168.2.114 hadoop114
192.168.2.115 hadoop115
192.168.2.123 hadoop123
192.168.2.124 hadoop124
192.168.2.125 hadoop125
1.2、环境变量配置
以前我们把环境变量都配置在vim /etc/profile里面现在都配置在vim /etc/profile.d目录下面文件的名字见名知意 如下图我将我的环境变量全都配置在my_env.sh里面
二、集群分发脚本xsync——互联
2.1、SCP (secure copy) 安全拷贝
(1)scp定义 scp可以实现服务器与服务器之间的数据拷贝。(from serverl to server2) (2)基本语法 SCP -r $pdir/$fname $userhost:$pdir/$fname 命令 递归 要拷贝的文件路径/名称 目的地用户主机:目的地路径/名称 重点说明Linux对权限管控很严一定要看被接收的用户是否具备相应权限如:创建文件夹的权限等等 (3)案例说明 将hadoop-3.1.3分发到hadoop114服务器 scp -r hadoop-3.1.3/ roothadoop114:/usr/local/ 这里又有一个大坑因为hadoop不能用root用户启动集群而我又喜欢把软件安装在/usr/local目录下面直接执行命令【scp -r hadoop-3.1.3/ zhuhadoop114:/usr/local/】是复制不过去的会报这个错误【scp: /usr/local//hadoop-3.1.3: Permission denied】所以我在根目录下面创建了一个中转文件夹transfer修改其权限为【sudo chown zhu:zhu transfer】zhu用户然后再使用scp复制到hadoop114和hadoop115上面再用mv命令移动【mv hadoop-3.1.3/ /usr/local/】 将hadoop113服务器的hadoop-3.1.3文件拉到当前目录下 scp -r roothadoop113:/usr/local/hadoop-3.1.3 ./ 在一个中间机器执行 scp -r roothadoop102:/opt/module/* roothadoop104:/opt/module/
2.2、rsync远程同步工具
rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync和scp区别用rsync做文件的复制要比scp的速度快rsync只对差异文件做变更。scp是把所有文件都复制过去。 (1)基本语法 rsync -av $pdir/$fname $user$host:$pdir/$fname 命令 选项参数 要拷贝的文件路径/名称 目的地用户主机:目的地的路径/名称 选项参数说明
选项功能-a归档拷贝-v显示复制过程
2.3、xsync集群分发脚本
集群分发文件和脚本
#!/bin/bash#1.判断参数个数
if [ $# -lt 1 ]
thenecho Not Enough Arguement!exit;
fi
#2.遍历集群所有机器
for host in hadoop113 hadoop114 hadoop115
doecho $host #3.遍历所有目录挨个发送for file in $do#4.判断文件是否存在if [ -e $file ]then#5.获取父目录pdir$(cd -P $(dirname $file); pwd)#6.获取当前文件的名称fname$(basename $file)ssh $host mkdir -p $pdirrsync -av $pdir/$fname $host:$pdirelseecho $file does not exists!fi done
done真心搞醉#!bin/bash这个看上去人畜无害的实际上报这个错-bash: /usr/local/bin/xsync: bin/bash: 坏的解释器: 没有那个文件或目录最后在chatGPT的帮助下找到了错误。 echo $PATH查看Linux系统变量
2.4、ssh免密登录 Linux的根目录是 /下面有个root文件夹也就是~路径 命令查看隐藏文件ls -al Linux服务器生成公私钥命令ssh-keygen -t rsa 连续三次回车即可生成
使用命令将生成的公钥发给各个服务器——免密登录
ssh-copy-id hadoop114 #将公钥发给hadoop114
ssh-copy-id hadoop115 #将公钥发给hadoop115
ssh-copy-id hadoop113 #将公钥发给自己所在的服务器#执行完成之后在~/.ssh/目录下面也可以看到这个authorized_keys文件里面的公钥配置如下图就有本机和hadoop114可以免密登录本机 至此免密登录xsync集群分发脚本全套已完成直接使你效率起飞。
三、Hadoop集群搭建
本集群搭建目标
hadoop113hadoop114hadoop115HDFSNameNode DataNodeDataNodeSecondaryNameNode DataNodeYARNNodeManagerResourceManager NodeManagerNodeManager
4.1、修改hadoop配置文件
声明本人hadoop安装在/usr/local文件夹下面你可以安装在自己熟悉的目录 路径/usr/local/hadoop-3.1.3/etc/hadoop core-site.xml配置
configuration!-- 指定NameNode的地址 --propertynamefs.defaultFS/namevaluehdfs://hadoop113:8020/value/property!-- 指定hadoop数据的存储目录 --propertynamehadoop.tmp.dir/namevalue/usr/local/hadoop-3.1.3/data/value/property
/configurationhdfs-site.xml配置
configuration!-- nn web端访问地址--propertynamedfs.namenode.http-address/namevaluehadoop113:9870/value/property!-- 2nn web端访问地址--propertynamedfs.namenode.secondary.http-address/namevaluehadoop115:9868/value/property
/configurationyarn-site.xml配置
configuration!-- 指定MR走shuffle --propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property!-- 指定ResourceManager的地址--propertynameyarn.resourcemanager.hostname/namevaluehadoop114/value/property!-- 环境变量的继承 --propertynameyarn.nodemanager.env-whitelist/namevalueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME/value/property
/configurationmapred-site.xml配置
configuration!-- 指定MapReduce程序运行在Yarn上 --propertynamemapreduce.framework.name/namevalueyarn/value/property
/configuration4.2、启动集群
4.2.1、启动hdfs
注意所有的这些命令都是在zhu(非root用户)用户下hadoop的根目录执行的即在笔者的linux上是/usr/local/hadoop3.1.3路径 第一步注意第一次启动集群一定要初始化命令hdfs namenode -format后续启动就不需要执行了 第二步直接在hadoop根目录下键入命令 sbin/start-dfs.sh 如果看到一下信息就说明启动成功了也可以输入hadoop113:9870可以看到web页面也表示成功了
[zhuhadoop113 hadoop-3.1.3]$ sbin/start-dfs.sh
Starting namenodes on [hadoop113]
Starting datanodes
Starting secondary namenodes [hadoop115]
[zhuhadoop113 hadoop-3.1.3]$ jps
12386 DataNode
12850 Jps
12223 NameNode如果报以下错误就是不能用root启动权限太大了 Starting namenodes on [hadoop113] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes ERROR: Attempting to operate on hdfs datanode as root ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation. Starting secondary namenodes [hadoop115] ERROR: Attempting to operate on hdfs secondarynamenode as root ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation. ①没有用户就新增用户 [roothadoop114 local] # useradd zhu [roothadoop114 local]# passwd zhu 更改用户 zhu 的密码 。 新的 密码 重新输入新的 密码 passwd所有的身份验证令牌已经成功更新。 修改hadoop3.1.3文件夹权限要保证整个目录下的所有文件及文件夹都是zhu用户的权限才行
# 如果权限不够记得加上sudo
chown zhu:zhu hadoop3.1.3/②有用户就切换用户 su zhu然后再次启动 解决之后又报这个错误我只配了root用户得免密登录没有配置zhu用户的免密登录于是乎我去~/.ssh/authorized_keys文件一看果然只有root的免密登录最后我把zhu用户的免密登录也加上了 Starting namenodes on [hadoop113] hadoop113: Warning: Permanently added ‘hadoop113,192.168.2.113’ (ECDSA) to the list of known hosts. hadoop113: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). Starting datanodes hadoop115: Warning: Permanently added ‘hadoop115,192.168.2.115’ (ECDSA) to the list of known hosts. hadoop114: Warning: Permanently added ‘hadoop114,192.168.2.114’ (ECDSA) to the list of known hosts. hadoop115: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). hadoop113: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). hadoop114: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). Starting secondary namenodes [hadoop115] hadoop115: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). zhu用户也要拥有root权限 vim /etc/sudoers
注意: zhu这一行不要直接放到 root 行下面因为所有用户都属于 wheel 组你先配置了 zhu 具有免密功能但是程序执行到%wheel 行时该功能又被覆盖回需要密码。所以 zhu 要放到%wheel 这行下面。
4.2.2、启动yarn
第一步直接在hadoop114机器上hadoop根目录下键入命令 sbin/start-yarn.sh启动yarn输入hadoop114:8088出现web页面也表示成功 如果执行上述命令jps查看进程如下说明yarn没有启动成功 [zhuhadoop114 hadoop-3.1.3]$ sbin/start-yarn.sh Starting resourcemanager Starting nodemanagers [zhuhadoop114 hadoop-3.1.3]$ jps 24692 Jps 12158 DataNode 问题排查如下核对这4个core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml文件的配置再就是检查jdk版本与hadoop版本是否兼容我就是jdk11和hadoop3.1.3不兼容哭死。 风卷江湖雨暗村四山声作海涛翻。溪柴火软蛮毡我与狸奴不出门。——《十一月四日风雨大作》陆游 君不见青海头古来白骨无人收。——《兵车行》杜甫
