初识HBase

原 作者 周攀 | 发表于 | 分类于 2014级
HBase是一个开源的，分布式的，多版本的，面向列的存储模型。 面向列：简单来说，就是指在存储数据库中的数据时，以列为单位来存储，把一列的数据串在一起存储起来，而非把一行的数据作为一个单元存储起来。 HBase的特点： HBase是构建在HDFS上的列式存储系统 基于Google的BigTabl...
阅读全文 »

行式数据库与列式数据库

转 作者 周攀 | 发表于 | 分类于 2014级
开发用了很久的Vertica，知道它是“列式数据库”但一直没有去研究过列式数据库的一些特性，现在来总结一下。 列式数据库是以列相关存储架构进行数据存储的数据库，主要适合于批量数据处理和即时查询。相对应的是行式数据库，数据以行相关的存储体系架构进行空间分配，主要适合于小批量的数据处理，常用于联机事务...
阅读全文 »

初识Hive

原 作者 周攀 | 发表于 | 分类于 2014级
Hive是什么Hive是一个基于Hadoop文件系统的数据仓库，提供了对数据进行ETL（抽取，转换，加载）的工具、数据存储管理和大型数据集的查询分析能力。Hive提供了类SQL语言-HiveQL，可使用关系数据库提供的的SQL语句来操作Hive。Hive擅长做什么？ Hive擅长在不变的、大规模的...
阅读全文 »

Hadoop分布式集群搭建

原 作者 周攀 | 发表于 | 分类于 2014级
前面分享了hadoop伪分布式的搭建方法，这次来分享一下分布式方式的搭建方法。 主机安装或虚拟机安装这里就不再赘述，下面直接进入正题：1.下面是网络配置，全部为静态：master : 192.168.80.128 slave-1 : 192.168.80.129 slave-2 : 192.16...
阅读全文 »

HDFS的架构设计

原 作者 周攀 | 发表于 | 分类于 2014级
HDFS为是Apache Hadoop Core项目的一部分，是Hadoop的核心项目，今天我们就来讨论以下关于HDFS架构设计问题。分布式既然HDFS标榜为一个分布式文件系统，那首要解决的就是分布式的问题。分布式，简单来说就是分布在各个节点，这些节点可能在不同的主机上，也可能在不同的数据中心，甚...
阅读全文 »

Hadoop学习笔记之--Hadoop的安装

原 作者 周攀 | 发表于 | 分类于 2014级
由于没有集群环境，只能在一台电脑上进行Hadoop的搭建，因此只能以伪分布式的方式进行搭建。 准备工作 操作系统：CentOS 7 JDK版本：1.8.0_131 Hadoop版本：2.8.0 操作系统安装 系统最好为Linux，推荐CentOS，关于系统安装，这里不赘述。 ...
阅读全文 »

fork源码简析

原 作者 周攀 | 发表于 | 分类于 2014级
好久没写博客了，正好最近老师布置了看linux源码的任务，于是决定写一篇关于看fork源码的相关博客，废话少说，进入正题\ 准备工作 首先，你需要一份linux的源代码，我下载的是linux-3.10.108版本的代码，下载链接：linux-3.10.108 其次，你需要一个优秀的IDE，...
阅读全文 »

更新GitHub上自己 Fork 的代码与原作者的项目进度一致

转 作者 周攀 | 发表于 | 分类于 2014级
在GitHub上我们会去fork别人的一个项目，这就在自己的Github上生成了一个与原作者项目互不影响的副本，自己可以将自己Github上的这个项目再clone到本地进行修改，修改后再push，只有自己Github上的项目会发生改变，而原作者项目并不会受影响，避免了原作者项目被污染。但经过一段时...
阅读全文 »

CMCC-EDU一个帐号，多设备共享解决方案

原 作者 周攀 | 发表于 | 分类于 2014级
用过CMCC-EDU的同鞋都清楚，CMCC-EDU一般情况下只能一个设备连接登陆认证上网，但是如果你只有一个帐号，但是有多个设备，且都对网速要求不是很高的话，你可以选择使用下面方法实现一个帐号，多设备功用 所需硬件设备： 闲置无线路由器一台 下面是步骤： 无线路由器接上电源，重置路由...
阅读全文 »