Java--final关键字
final数据 在Java中，编译器可以将final常量代入任何可能用到它的计算式中，也就是说，可以在编译时进行计算，这减轻了一些运行时的负担。final常量必须是基本类型。 对于对象引用，final使引用恒定不变。一旦引用被初始化指向一个对象，就无法再把它改为指向另一个对象。然而，对象其自身...
Java网络爬虫（六）--JSON数据的解析
有时候，我们抓取下来一个html页面，发现浏览器页面可以显示的东西在html源码中却没有，这时候我们就要考虑服务器是以JSON格式将这部分数据发送到客户端的，对于这种情况的处理方式我们一般是在chrome的开发者工具中找到对应的JSON包，然后构建其URL，对JSON数据所在的源地址进行访问，然后...
Java--this关键字
this调用所操作对象的引用 问题1：假如统一类型的两个对象，分别是a和b，其中还有一个方法peel()，那么我们怎么才能分辨这个方法到底是被a调用还是被b调用呢？ 其实，在这期间编译器做了一些事后工作，它暗自把“所操作对象的引用”作为地一个参数传递给了peel()。假设你希望在方法的内部获得...
Java网络爬虫（五）--使用Jsoup的select语法进行元素查找
使用Jsoup进行元素的查找有两种方法。有使用DOM方法来遍历一个文档，也有使用选择器语法来查找元素，而后者类似于CSS或jQuery的语法来查找和操作元素。对于这两个方法到底使用哪个感觉好上手我觉得因人而异，在我尝试了两种方法之后我还是选择select，所以我就只总结select的语法使用了，对...
Java网络爬虫（四）--使用Jsoup解析html
在前面几章，我已经对HttpClient的基本使用进行了总结，而且对于一般性的需要登录的网站大家怎么进行模拟登录也有了一定的了解，也就是说，通过前几篇的学习，你已经学会了通过HttpClient进行网站的访问，并且知道怎么返回网页的html，可是爬虫的需求一般都是在html中提取我们想要的信息，我...
Java--一些小问题
赋值 将一个对象赋值给另一个对象，实际是将“引用”从一个地方复制到另一个地方，也就是倘若c=d，那么c和d都将指向原本只有d指向的那个对象。 方法参数传递 将对象作为实参传递至方法中，实际上传递的是一个引用，而并不是在作用域内复制参数的一个副本，所以说如果我们在方法内通过引用改变其中...
Java网络爬虫（三）--如何判断自己的模拟登录是否成功
“怎么判断模拟登陆是否成功”我最开始的时候也问过这个问题，当时对所有流程都还不熟悉，而且写的代码没一个能成功的，就给自己提了一大堆的问题，也在论坛上发表提问，在这个过程中，我遇到了很多的情况，好多都能作为判断的依据，这里跟大家分享一下：1.代码不报错但是完全没有输出的，这是没得怀疑的了，有可能是你...
Java网络爬虫（二）--HttpClient设置头部信息与模拟登录策略
在网络爬虫中我们经常需要设置一些头部信息，使我们进行网页抓取的行为更加像浏览器的行为，并且我们有时需要将头部信息设置正确，才能得到正确的数据，要不然有可能得到和浏览器所展示的页面有出入的信息。设置头部还可以进行模拟登录，我们可以设置cookie，来得到登录后的页面，有些时候一些网站需要进行登录才能...
Java网络爬虫（一）--使用HttpClient请求资源并抓取响应
觉得自己是时候该沉淀了。。。说起来，自学Java网络爬虫也有两个月了，期间走了很多弯路，我也不仅对Java和Python这两们同样都能搞爬虫的语言但与之相关的文档与书籍的差别感到惊讶，对于Java来说，目前我知道的有关介绍Java网络爬虫这方面的书籍只有《自己动手写网络爬虫》，对于其中的内容，我觉...
Java网络爬虫--HTML DOM（HTML 基础）
最近一直在学习Java方面的网络爬虫，然后要使用Jsoup解析html页面（htmlparse已经不建议使用了），但是对于Jsoup中的很多类和方法都很疑惑，查阅相关资料后发现使用Jsoup之前首先要了解一些HTML DOM方面的知识，就决定将网上的HTML DOM相关知识进行汇总，方便和我有相同...