加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 百科 > 正文

Merkle Hash Tree

发布时间:2020-12-13 13:49:29 所属栏目:百科 来源:网络整理
导读:分布式存储系统设计 - 反熵 (Anti-Entropy) Anti-Entropy 机制被用来保证在不同节点上的备份( replica)都持有最新版本。 由于涉及的处理很大,一般情况下,这种机制只用于永久性的错误恢复,而不用于普通的readrepair。如同amazondynamo 一样。 另外,为了将

分布式存储系统设计 - 反熵 (Anti-Entropy)

Anti-Entropy 机制被用来保证在不同节点上的备份(replica)都持有最新版本。

由于涉及的处理很大,一般情况下,这种机制只用于永久性的错误恢复,而不用于普通的readrepair。如同amazondynamo一样。

另外,为了将节点间的数据传输降到最低,在实际数据传输前,各节点交换的是自己那份数据的messagedigest。实现中将采用MerkleTree (其叶子节点存储的是数据文件,而非叶子节点存储的是其子节点的MessageDigest)。


处理流程

1. recover过程从 Node A 创建一个repair session

2. recover过程从 Node A 开始 repair

3. Node A从请求信息中得到数据 replica所在的节点(例子中,除了 Node A外,还有 Node B 和 Node C)

4. 迭代这个 replica 节点列表

4.1.通过本地的消息服务发送 anti-entropy 请求到 Node B

4.1.1 Node B接收并执行请求

4.2.通过本地的消息服务发送 anti-entropy 请求到 Node C

4.2.1 Node C接收并执行请求

4.3.通过本地的消息服务发送 anti-entropy 请求到 本地 Node A(自己)

4.3.1本地 Node A接收并执行请求

5. 初始化 MerkleTree

6. 对每行数据计算其 hash 值并加入到 merkleTree

7. 各节点将自己的MerkleTree作为 anti-entropy response 送给本地的消息服务

7.1各节点的本地的消息服务将 anti-entropy response 返回给 Node A 的消息服务

8. ode A收集各个 anti-entropy response 中的MerkleTree与本地的 MerkleTree (4.3.1 收到为本地的) 的不同 (diff)

9. 如果需要,通过 pipelineOut向 远程节点发送更加新的数据

10. 如要需要,通过 pipelineIn向远程节点请求理加新的数据

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读