网络基础知识大全,wordpress 缩略图优化,扬中网站建设开发,手机h5是什么意思learn from 从0开始学大数据#xff08;极客时间#xff09; 1. HDFS 架构 DataNode 负责数据的存储、读写#xff0c;HDFS 将文件分割成若干数据块#xff08;Block#xff09;#xff0c;每个 DataNode 存储一部分数据块#xff0c;文件就分布存储在整个 HDFS 服务器集… learn from 从0开始学大数据极客时间 1. HDFS 架构 DataNode 负责数据的存储、读写HDFS 将文件分割成若干数据块Block每个 DataNode 存储一部分数据块文件就分布存储在整个 HDFS 服务器集群中
NameNode 负责分布式文件系统的元数据MetaData 管理也就是文件路径名、数据块的 ID 以及存储位置等信息相当于操作系统中文件分配表FAT的角色 2. HDFS 的高可用设计 数据存储故障容错 对 DataNode 上的数据块计算并存储校验和CheckSum。 读取时重新计算读出数据的校验和如果校验抛出异常程序捕获异常后就到其他 DataNode 上读取备份数据 磁盘故障容错 DataNode 监测到本机某块磁盘损坏将该块磁盘上存储的所有 BlockID 报告给 NameNodeNameNode 检查在哪些 DataNode 上有备份复制备份到其他服务器上保证备份数量 DataNode 故障容错 DataNode 会通过心跳和 NameNode 保持通信如果 DataNode 超时未发送心跳NameNode 就认为 DataNode 已经宕机失效进行查找、复制一份到其他服务器 NameNode 故障容错 NameNode 是整个 HDFS 的核心记录着 HDFS 文件分配表信息 NameNode 故障整个 HDFS 系统集群都无法使用 常用的保证系统可用性的策略 冗余备份数据备份请求分发发哦任何一个数据中心 失效转移数据无法访问时转移请求到备份数据所在服务器 降级限流大量请求到达计算资源有限拒绝部分请求限流关闭部分功能降级如双11关闭评价保证下单功能
