私人项目指引

原 作者 高朴 | 发表于 | 分类于 2013级
目录私人博客阿里云 私人博客 geekgao.cn 这是我使用wordpress搭建的个人博客，回不定期更新博文，欢迎访问。 阿里云 我的私人博客搭建使用了【阿里云】作为服务器，阿里云目前在搞活动，如果你也想拥有自己的博客用于学习，推荐你使用。 ...
阅读全文 »

Spark内存管理概览

原 作者 高朴 | 发表于 | 分类于 2013级
翻译自Spark官网文档，版本：2.3.0 spark内存管理概览 Spark很大一部分内存用于storage和execution，即存储和执行任务。execution memory指的是在shuffle，join，sorts，aggregation操作中使用的内存，storage memor...
阅读全文 »

找出数组所有子数组

原 作者 高朴 | 发表于 | 分类于 2013级
题目是：给一个数组：[1, 2, 2]，找出所有子数组，例如这个数组的子数组有：[], [1], [2], [1, 2], [2, 2], [1, 2, 2] 看这篇博客得到了思路：巧用递归求字符串的子集 基本思想就是：求子集，每一位都只有两种状态，在子集中或不在子集中。那把每种情况都...
阅读全文 »

装饰器模式之抽象装饰器的作用

原 作者 高朴 | 发表于 | 分类于 2013级
今天要搞清楚的问题是为什么需要上面那个被黄色框圈住的“抽象装饰器类”。 装饰器模式实现了不破坏原有类的情况下动态扩展一个类的功能。 “为什么需要抽象装饰器类”，搞清楚这个问题最好的办法是手写一个装饰器模式，然后去掉中间的抽象装饰器类，看看会发生什么。 下面根据最上面的UML图写一下代...
阅读全文 »

避免创建不必要的对象(Effective Java第5条)

原 作者 高朴 | 发表于 | 分类于 2013级
避免创建不必要的对象，这一条告诉我们，要尽可能的重用对象。书中举了几个例子来讲解一些无意识的创建不必要的对象的情况。 1. String类的使用 String str = new String("abc"); 上面这条代码执行过后，会生成两个对象，参数”abc”本...
阅读全文 »

周志华《机器学习》 版本空间

原 作者 高朴 | 发表于 | 分类于 2013级
第一章1.3节提出了一个概念“版本空间”，搞明白之后其实是蛮简单的一个东西，按书上说的西瓜问题的假设空间如下（Ø表示不存在好瓜坏瓜之分）： 编号 色泽 根蒂 敲声 1 * * * 2 青绿 * * 3 乌黑 * ...
阅读全文 »

Spark的Job、Stage、Task是按何种规则产生的

原 作者 高朴 | 发表于 | 分类于 2013级
上面这张图就可以很清晰的说明这个问题。（图中最小的方块代表一个partition，包裹partition的方块是RDD，忽略颜色） Job Spark的Job来源于用户执行action操作，就是从RDD中获取结果的操作，而不是将一个RDD转换成另一个RDD的transformation操作。 ...
阅读全文 »

spark RDD 宽依赖与窄依赖

原 作者 高朴 | 发表于 | 分类于 2013级
我的新博客地址：geekgao.cn RDD被设计为可以记录依赖关系，关系可以分为两类：窄依赖和宽依赖。 窄依赖：表示父亲 RDD 的一个分区最多被子 RDD 一个分区所依赖。 宽依赖：表示父亲 RDD 的一个分区可以被子 RDD 的多个子分区所依赖。 如下图，左边是窄依赖，右...
阅读全文 »

maven打包如何包含本地jar包内容

原 作者 高朴 | 发表于 | 分类于 2013级
下面使用到了两个插件，maven-shade-plugin和addjars-maven-plugin。凡是讲到打包，前一个插件基本都有说，但是第二个插件很少提到。 后面这个插件解决了这样一个问题：我有一些本地jar包，不是使用maven引入的，我该如何将这些本地jar包打入最终的jar包中呢？ ...
阅读全文 »

flume消费文件夹消费不及处理办法

原 作者 高朴 | 发表于 | 分类于 2013级
文件生产速度过快，flume会出现消费不及的现象，下面这个参数调节一下应该会有改善： maxBackoff 这个参数代表当source向channel放数据时检测到channel满了后等待多久再进行重试，默认是4秒。如果已经出现消费不及现象，channel频繁被撑满，然而满了后还要等很久，造成...
阅读全文 »