Scrapy简明教程(五)——命令行传参爬取淘宝商品数据
首先我们先来看一下淘宝搜索商品的页面，这里以糖炒板栗为例: 可以看到搜索到了很多糖炒板栗，显示有100页，但真正搜索到的商品超过了100页，给用户只显示前100页，后面编写的爬虫只爬取前50页，url构造这里就不讲了，之前的博客已经讲过了，需要更多可以自己更改页数，然后我们检查网页元素，...
Python爬取淘宝商品详情页数据
在讲爬取淘宝详情页数据之前，先来介绍一款 Chrome 插件：Toggle JavaScript (它可以选择让网页是否显示 js 动态加载的内容)，如下图所示： 当这个插件处于关闭状态时，待爬取的页面显示的数据如下: 当这个插件处于打开状态时，待爬取的页面显示的数据如下: ...
GitHub参与开源项目图文教程
1. 在GitHub上找到自己想要参与的开源项目，然后Fork一份到自己的仓库，这里我们以目前相当火的开源项目LEP为例，先简单介绍一下LEP: LEP 的全称是 Linux Easy Profiling(Linux 易用剖析器)，核心特点在于 Easy(简单)，主要功能在乎 Profiling(...
Scrapy简明教程(四)——爬取CSDN博客专家所有博文并存入MongoDB
首先，我们来看一下CSDN博客专家的链接: http://blog.csdn.net/experts.html 上图为 CSDN 所有博客专家页面，点击下一页后发现每次 url 都不会改变，但是已经翻页了，检查网页元素如下图: 我们发现可以通过 value 值来构造 url 实现翻页，&...
Scrapy简明教程(三)——爬取CSDN博文并写入文件
本篇博文将介绍 Scrapy 爬取 CSDN 博文详情页并写入文件，这里以 http://blog.csdn.net/oscer2016/article/details/78007472 这篇博文为例: 1. 先执行以下几个命令：scrapy startproject csdnblog cd cs...
Scrapy简明教程(二)——开启Scrapy爬虫项目之旅
1. 启动项目: 安装好 Scrapy 以后， 我们可以运行 startproject 命令生成该项目的默认结构。具体步骤为: 打开终端进入想要存储 Scrapy 项目的目录，然后运行 scrapy startproject 。这里我们用 FirstPro...
Scrapy简明教程(一)——简介与安装
1. 认识 Scrapy 框架: 中文文档: http://scrapy-chs.readthedocs.io/zh_CN/0.24/index.html 英文文档: https://doc.scrapy.org/en/latest/index.html Scrapy是一个为了爬取网站数据，...
MongoDB3.4远程连接
1. MongoDB简介: MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。它是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。MongoDB中的一条记录就是一个文档，是一个数据结构...
C语言操作MySQL数据库
MySQL C API: 官方英文版 中文参考手册代码示例:#include #include #include #include #...
Linux下JDK中文乱码解决
首先找到你需要的字体，比如我就是从 windows 系统里拷出来的，C:\WINDOWS\Fonts 这里有很多字体，我只拷贝了simhei.ttf 和 simsun.ttc。 安装 Java 后，在 Java 的安装目录 /usr/local/jdk1.6.0_45/jre/lib/fonts...