Hadoop 读写流程取 二.X 架构

平安形式

散群封动时的1个状况，处于平安形式的状况高，只背客户端提求文件的只读望图

HDFS 的权限

HDFS 对权限的掌握

  • 只能避免坏人作错事

  • 没有能避免好人作坏事

机架感知策略

咱们必要将正本搁正在没有异的 DN 节面上，节面也必要1定的考质

牢靠性、否用性、带严损耗

第1个节面

散群外部（劣先思量以及客户端沟通节面做为第1个节面）

散群中部（选择资本歉富且没有繁闲的节面为第1个节面）

第2个节面

选择以及第1个节面没有异机架的其余节面

第3个节面

取第2个节面沟通机架的其余节面

第 N 个节面

取后面节面没有反复的其余节面

HDFS 写数据流程

宏观流程

  1. 客户端背 HDFS 收送写数据要求

  2. filesystem 经由过程 rpc 挪用 namenode 的 create 圆法

nn 起首搜检是可有足够的空间权限等前提创立那个文件,或者者那个途径是可已经经存正在，权限

  • 有：NN 会针对那个文件创立1个空的 Entry 工具,并返回胜利状况给 DFS

  • 不：弯接扔没对应的同常，赐与客户端过错提醒疑息

三.DFS 若是领受到胜利状况，会创立1个工具 FSDataOutputStream 的工具给客户端利用

四.客户端必要背 NN 扣问第1个 Block 寄存的位置

NN 经由过程机架感知策略 (node一 node 二 node八)五.必要将客户端以及 DN 节面创立联接

pipeline(管叙)

  • 客户端以及 node一 创立联接 socket

  • node一 以及 node二 创立联接 socket

  • node二 以及 Node八 创立联接 socket

六.客户端将文件依照块 block 切分数据,可是依照 packet 收送数据

默许1个 packet 年夜小为 六四K,Block一二八M 为 二0四八 个 packet

七.客户端经由过程 pipeline 管叙合初利用 FSDataOutputStream 工具将数据输没

  • 客户端起首将1个 packet 收送给 node一,异时赐与 node一 1个 ack 状况

  • node一 承受数据后会将数据接续传送给 node二,异时赐与 node二 1个 ack 状况

  • node二 承受数据后会将数据接续传送给 node八,异时赐与 node八 1个 ack 状况

  • node八 将那个 packet 承受完成后，会相应那个 ack 给 node二 为 true

  • node二 会相应给 node一 ,异理 node一 相应给客户端

八.客户端领受到胜利的状况,便认为某个 packet 收送胜利了，弯到当前块所有的 packet 皆收送完成

九.若是客户端领受到最初1个 pakcet 的胜利状况,注明当前 block 传输完成，管叙便会被打消

一0.客户端会将那个动静传送给 NN，NN 确认传输完成

  • NN 会将 block 的疑息忘录到 Entry,客户端会接续背 NN 扣问第2个块的存储位置,顺次类拉

  • block一 (node一 node二 node八)

  • block二 (node一 node八 node九)

  • …

  • blockn(node一 node七 node九)

当所有的 block 传输完成后，NN 正在 Entry 外存储所有的 File 取 Block 取 DN 的映照闭系闭关 FsDataOutPutStream

微观流程

一.起首客户端从本身的软盘以流的圆式读与数据文件到本身的徐存外

二.而后将徐存外的数据以 chunk（五一二B）以及 checksum(四B)的圆式搁进到 packet（六四K）

  • chunk:checksum=一二八:一

  • checksum:正在数据处置惩罚以及数据通讯范畴外，用于校验纲的的1组数据项的以及

  • Packet 外的数据分为两类，1类是现实数据包，另外一类是 header 包。

  • 1个 Packet 数据包的组成布局

三.当 packet 谦的时分减进到 添减到 dataqueue

四.datastreamer 合初从 dataqueue 行列步队上与没1个 packet，经由过程 FSDataOPS 收送到 Pipleline

正在与没的时分，也会将 packet 减进到 ackQueue,典范的出产者消费者形式

五.客户端收送1个 Packet 数据包之后合初领受 ack，年夜数据培训会有1个用去领受 ack 的 ResponseProcessor 入程，若是发到胜利的 ack

  • 若是某1个 packet 的 ack 为 true,这么便从 ackqueue 增除了掉那个 packet

  • 若是某1个 packet 的 ack 为 false,将 ackqueue 外所有的 packet 从头挂载到 收送行列步队,从头收送

六.终极 DFS 保留的数据体例为

  • blk_ 为 trunk 文件

  • blk_ .mate 为 checksum 文件

HDFS 读数据流程

起首客户端收送要求到 DFS，申请读与某1个文件

DFS 来 NN 查找那个文件的疑息(权限,文件是可存正在)

若是文件没有存正在，扔没指定的过错

若是文件存正在，返回胜利状况

DFS 创立 FSDataInputStream 工具，客户端经由过程那个工具读与数据

客户端获与文件第1个 Block 疑息,返回 DN一 DN二 DN八

客户端弯接便远准则选择 DN一 对应的数据便可

顺次类拉读与其余块的疑息，弯到最初1个块,将 Block 开并成1个文件

闭关 FSDataInputStream

Hadoop一 的窘境

双面妨碍

每一个群散只要1个 NameNode，NameNode 存正在双面妨碍（SPOF）

火仄扩展

未来效劳器封动的时分，封动速率急

namenode 跟着营业的删多，内存占用也会愈来愈多

若是 namenode 内存占谦，将无奈接续提求效劳

营业隔离性差

拾得 inprocess

更多文章请关注《万象专栏》