hadoop HDFS文件系统角色及文件读写流程
发布日期:2021-10-24 14:20:47 浏览次数:3 分类:技术文章

本文共 338 字,大约阅读时间需要 1 分钟。

hadoop集群—HDFS文件系统  角色及其特点

  • 角色==进程

–  namenode

  • 数据元数据
  • 内存存储,不会有磁盘交换
  • 持久化(fsimage,eidts log)

–  不会持久化block的位置信息

  • block:偏移量,因为block不可以调整大小,hdfs,不支持修改文件

–  偏移量不会改变

–  datanode

  • block块
  • 磁盘
  • 面向文件,大小一样,不能调整
  • 副本数,调整,(备份,高可用,容错/可以调整很多个,为了计算向数据移动)

–  SN

–  NN&DN

  • 心跳机制
  • DN向NN汇报block信息
  • 安全模式

HDFS文件写入流程

 

 

HDFS文件读取流程

 

转载于:https://www.cnblogs.com/eric666666/p/11006072.html

转载地址:https://blog.csdn.net/weixin_30791095/article/details/98015421 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:交换两个变量的值,不使用第三个变量的四种法方
下一篇:Fedora安装VirtualBox时出现错误Kernel driver not installed (rc=-1908)的解决办法

发表评论

最新留言

做的很好,不错不错
[***.243.131.199]2024年04月04日 16时32分55秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章