我的新博客地址:geekgao.cn
RDD被设计为可以记录依赖关系,关系可以分为两类:窄依赖和宽依赖。
窄依赖:表示父亲 RDD 的一个分区最多被子 RDD 一个分区所依赖。
宽依赖:表示父亲 RDD 的一个分区可以被子 RDD 的多个子分区所依赖。
如下图,左边是窄依赖,右边是宽依赖:
Free Open Share
我的新博客地址:geekgao.cn
RDD被设计为可以记录依赖关系,关系可以分为两类:窄依赖和宽依赖。
窄依赖:表示父亲 RDD 的一个分区最多被子 RDD 一个分区所依赖。
宽依赖:表示父亲 RDD 的一个分区可以被子 RDD 的多个子分区所依赖。
如下图,左边是窄依赖,右边是宽依赖: