Java网络爬虫（十一）--重构定时爬取以及IP代理池（多线程+Redis+代码优化）
一直觉得自己之前写的使用定时抓取构建IP代理池实在过于简陋，并且有一部分的代码写的并不合理，刚好最近又在学习多线程，就将之前的代码进行了重构，也方便对抓取代理ip有需求的人。之前自己写的那篇文章就不删除了，里面用到了MySQL以及循环调用ip的方法（一些东西也是值得了解的。取其精华，弃其糟粕吧），...
JVM--解析Java内存区域及数据的内存分配与线程安全之间的一些联系
最近一直在看《Java多线程编程核心技术》的第二章，主要讲的是线程共享变量与线程私有变量以及如何写出线程安全的代码。看这部分一开始没太注意，只是记住了一条规则，“类中的成员变量，也叫实例变量，也叫全局变量，它是非线程安全，是所有线程共享的变量，定义在方法中的私有变量是线程安全的，是每个线程私有的”...
Java并发--详解this与Thread.currentThread()的区别
注：本系列博客参考《Java多线程编程核心技术》，主要是对书上的知识点进行总结，并记录学习过程。 一直对并发这块比较感兴趣，也到了系统学习Java多线程的时间。目前所学习的书籍是《Java多线程编程核心技术》，买回来之后听说这本书不怎么样，豆瓣评分也就7点几，目前读完了第一章，感觉确实不是很好，...
查找--二叉查找树分析与实现
为什么我们需要掌握这些“高端”的树型结构 事实上，大型数据库的组织结构一般采用树型结构，我们必须要解决频繁更新数据的能力，要求支持高效的动态查找能力，包括记录的插入，删除，精确匹配查询，范围查询和最大值、最小值查询。但是由于数据库中包含了大量的记录，所以线性表的查询本身会因为记录太大而无法存储到...
排序--快速排序分析
快速排序实现代码：快速排序可以看到我的代码有一个错误版，我在这里给大家分析一下为什么会出现错误，并且将之记录以便今后进行查阅。快速排序（错误版分析）int Quick :: process(int array[], int l, int r) { int temp = array[l]; ...
Linux--记录使用Centos 7 的坑点
设定防火墙开放指定端口由于自己的腾讯云突然无法访问8080端口，在网上查阅了相关资料之后发现是防火墙的问题，因为Centos 7防火墙默认是不开放任何端口的，所以我们要对防火墙进行设置。Centos 7 不在使用以前的iptables，而是对防火墙进行了加强，现在使用的是firewalld，它的位...
Java网络爬虫（十）--使用多线程提升爬虫性能的思路小结
在开始说正事之前我先给大家介绍一下这份代码的背景，以免大家有一种雾里看花的感觉。在本系列的前几篇博客中有一篇是用多线程进行百度图片的抓取，但是当时使用的多线程是非常粗略的，只是开了几个线程让抓取的速度提升了一些（其实提升了很多），初步的使用了一下线程，这篇博客将线程的使用进行了一些深入。 ...
Redis数据库--快速入门手册
注：本篇博客的所有测试环境均为Ubuntu16.04之下，本篇博客总结自Redis教程。数据库的安装与配置Ubuntu下安装 $sudo apt-get update $sudo apt-get install redis-server 服务端启动命令 redis-serv...
Java网络爬虫（九）--海量URL去重之布隆过滤器
简介布隆过滤器 当我们要对海量URL进行抓取的时候，我们常常关心一件事，就是URL的去重问题，对已经抓取过的URL我们不需要在进行重新抓取。在进行URL去重的时候，我们的基本思路是将拿到的URL与已经抓取过的URL队列进行比对，看当前URL是否在此队列中，如果在已抓取过的队列中，则将此URL进行...