流处理系统

原 作者 李兆龙 | 发表于 | 分类于 2018级
文章目录引言如何发送事件流流处理不可靠的时钟容错总结 引言 清楚数据的类型有助于我们设计一个性能更高，更有针对性的数据系统，比如在线系统，离线系统（批处理）。近实时系统(流处理)等等。比如说批处理系统，这显然就适合用户对实时性要求不高，而对于吞吐量邀请较高，且数据流可以分为多个数据块，比如生成索引...
阅读全文 »

夜来风雨声，MapReduce知多少？

原 作者 李兆龙 | 发表于 | 分类于 2018级
引言 正如DDIA上所说,MapReduce论文发表时从某种意义上来说其实并不新鲜.因为其策略很多都已经在大规模并行数据库上得到了实现,但是作为"三驾马车"之一的MapReduce与分布式文件系统的结合确使其的功能性大大提升.在了解MapReduce之前,我们首先需要了解批处理...
阅读全文 »

再识负载均衡

原 作者 李兆龙 | 发表于 | 分类于 2018级
引言 在上一篇文章<<如何选择合理的负载均衡算法>>中我介绍了负载均衡分为基于请求的负载均衡和基于数据的负载均衡,写下那篇文章的原因是因为在学习数据的分片的时候第一次认识到了选择合理负载均衡算法的条件,那篇文章也稍偏向于基于数据的负载均衡,说白了就是数据如何合理的分片,但随...
阅读全文 »

Raft算法: 集群成员变更问题

原 作者 李兆龙 | 发表于 | 分类于 2018级
引言 成员变更问题也是Raft非常重要的一部分,但却有些不好理解,在论文中第一次看到的时候确实是有些不知所云,而且机缘巧合的情况有看到了另一种方法,遂回头又整理了一下的思路,所以专门记录一篇文章,以帮助其他有相同疑问的朋友. 问题描述 Raft算法我们一直都假设节点数目是不变的,就算节点减少其实...
阅读全文 »

Paxos算法概述与推导

原 作者 李兆龙 | 发表于 | 分类于 2018级
文章目录引言问题描述算法描述算法推导Proposer生成提案Accpeter接收提案活锁multi-Paxosmulti-Paxos与Raft 引言 Paxos是一个经典的分布式共识算法,可以说在很长一段时间内都是分布式共识算法的代名词.在介绍Paxos算法之前我不得不介绍下它的作者,Leslie...
阅读全文 »

如何选择合理的负载均衡算法

原 作者 李兆龙 | 发表于 | 分类于 2018级
引言 负载均衡是什么呢,我们首先来看看wiki对这个名词的解释: 负载均衡（Load balancing）是一种计算机技术，用来在多个计算机（计算机集群）、网络连接、CPU、磁盘驱动器或其他资源中分配负载，以达到最优化资源使用、最大化吞吐率、最小化响应时间、同时避免过载的目的。 使用带有负载均衡...
阅读全文 »

2020年了还不知道结构化数据，非结构化数据，半结构化数据的区别吗？！！

原 作者 李兆龙 | 发表于 | 分类于 2018级
引言 在繁杂的计算机数据中我们可以把数据分为三类,即: 结构化数据 非结构化数据 半结构化数据 结构化数据 这类数据其实其实就是数据之间满足某种关系,这里称其为结构化,而在关系型数据库中关系的实体就是表,所以这类数据一般我们使用关系型数据库进行管理.结构化数据首先依赖于建立一个数据模型,数据模...
阅读全文 »

神一样的CAP理论如何应用到分布式中去

转 作者 李兆龙 | 发表于 | 分类于 2018级
突然在刷博客的时候看到这篇文章,可以说帮助实在是巨大的,但是其原文访问量并不高,颇有一种这么好的文章被埋没的感觉,遂转载希望能够让更多的人能看到这篇文章,原文在这里SpringCloud(6)之CAP理论在微服务的运用 文章目录引言一、CAP定理1.1一致性（Consistency）1.2 可用性...
阅读全文 »