文章目录引言设计需求系统架构 引言 Amazon Dynamo描述了一个满足高可用性的分布式键值系统，这是一篇非常精彩的论文，这一个不同于Redis集群的分布式键值系统，但它们都有一个共同点，就是它们都有着非常优雅的设计，都完美的解决了摆在作者眼前的现实问题，值得仔细推敲。而且感觉DDIA第五章的无主节点部分虽然没有明说，但是确实是围绕着这篇论文讨论的，这也是个复习的好机会；初此之外这也是我第一次看到实际工程中应用一致性哈希，这样也可以更加深入的看看当时有疑惑的地方；并且其中满足高可用的设计实在可以说是精巧

文章目录引言一致性的分类客户角度的一致性线性一致性前缀一致性单调读一致性读己之写服务器角度的一致性强一致性顺序一致性单主节点多主节点因果一致性总结 引言 这是一个很大的主题。我相信每一个初学分布式的人开始时都像我一样深深的思考过这个问题，但是却仍然是一头雾水，然后每经历一次“顿悟”，又会因为某个新的问题再次陷入沉思，所幸在经历过几个这样的来回以后算是对这个问题在脑子里有了一个简单且算是全面的印象，遂记录这一篇博客以帮助更多的人能够对这个问题有着更为深入的理解。事实上我在一个月以前就想写下这篇文章了，可是当时

引言 首先要说Spark并不是一种解决问题的框架，而是这个框架的具体实现，而论文中提出的新框架的名字叫做RDD（Resilient Distributed Datasets 弹性分布式数据集），众所周知分布式计算框架例如Map/Reduce在实际中应用如此广泛，为什么要重新设计一个新的框架呢？原因在paper中有所提到，原因就是在很多的计算场景下用户会对相同的数据集进行多次不同的查询或者其他操作，但是现有的计算框架都是把中间数据直接存放在一个可靠稳定的系统中，比如分布式文件系统，如果这部分数据存储在内存中的

引言 这篇文章用于记录在学习6.824过程中所涉及到的论文的翻译，以帮助像我一样的英语蒻蒻愉快的享受6.824。以下。 lec paper lec4 The Design of a Practical System for Fault-Tolerant Virtual Machines

文章目录引言TrueTime事务读写事务快照读只读事务总结 引言 Spanner是一个全球分布式的数据库，从数据模型来看Spanner很像BigTable，都是类似于key对应着一行数据，但是却并不一样，Spanner中衍生出了“目录”的概念（把两张表合并存储）。这并不是重点，Spanner的重是它是第一个在全球范围内传递数据且保证外部一致的分布式事务的系统，且支持几种特定的事务，这显然是一个很困难的问题，我们会在文章中加以描述，这篇文章主要对Spanner的事务以及实现事务所使用的 TrueTime AP

引言 这三篇论文可以说是非常经典了,Hadoop就是依据这些被开源社区开发出来的,对于英文蒻蒻来说直接读原文效率实在是不高,这是我找到几篇高质量翻译,无论是从排版还是内容的准确性上来说都是很不错的,如下: GFS： https://blog.csdn.net/hguisu/article/details/7244798?ops_request_misc=&request_id=&b...

文章目录引言BigTable是什么数据模型基本实现思路优化总结 引言 其实对于这篇论文的简单介绍网上已经有很多了，所以这篇文章并不想去陈述其设计，而是想简单说一说我认为的亮点所在，虽说如此，我还是觉得我并没有get到什么其他人没有get到的东西，所以这是一篇比较无聊的纯记录性质的文章，方便过一段时间能够更快的会想起相关内容的细节。 BigTable是什么 这个问题在paper的开头就下了定义，即：Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB

文章目录lec3 GFSlec4 VMware FTlec6 Raft1lec7 Raft2 lec3 GFS Q：为什么原子附加是至少一个不是恰好一次？ 在论文3.1，第七步中，如果第一次写入失败，客户端会进行重试，这会导致数据在没有出现失败的副本中多次追加，所以可能会检测到重复的客户请求。但至少可以看到一条 Q：应用程序如何知道块的哪些部分由填充和重复记录组成？ 为了检测出填充，引用可以设置一个可预测的长度在记录的开头（我认为是长度有效数据长度之类的东西），或者包含一个checksum。为了检测出

引言 Zookeeper最早诞生于雅虎研究院，后捐赠给Apche，于2010年11月正式成为Apache的顶级项目。很多人认为Zookeeper像HDFS，MapReduce一样是谷歌论文的产物，即是Chubby的开源实现，毕竟从API来看它们的差别就是acquire/release和open/close，且主要数据结构极其类似。其实不然，从paper中来看Zookeeper其实是一个无阻塞的分布式协调中心，这与Chubby的分布式锁的定义就完全不同。其次Zookeeper实际实现的是一个功能强大的同步原语

文章目录引言Replication关于paper问题需要注意的几点Q&A总结 引言 写这篇文章的目的是整理一下看了这篇论文和课程视频以后的一些问题理解与思考，因为是个人的想法，难免出现疏漏，错误之处还请读者斧正。 Replication 首先这节课的主题是复制，所以挑选了《The Design of a Practical System for Fault-Tolerant Virtual Machines》这篇文章从一个容错虚拟机的角度来阐述复制与容错。但其实在我看来其实容错虚拟机确实从“状态”的