爬虫相关技术，真的只有这么简单？（上）

lsekfe

什么是爬虫
　　我们先看看维基百科的定义：
　　网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。
　　通俗的说爬虫就是通过一定的规则策略，自动抓取、下载互联网上网页，在按照某些规则算法对这些网页进行数据抽取、 索引。  像百度、谷歌、今日头条、包括各类新闻站都是通过爬虫来抓取数据。

　　题外话
　　博客园里偶尔看到爬虫的文章，其实很多都称不上为爬虫。 只能叫玩具或者叫http请求下载程序吧。严格来说爬虫是一个系统，它包含了爬取策略、更新策略、队列、排重、存储模块等部分。

　　爬虫的分类
　　按照抓取网站对象来分类，可以分为2类爬虫。

　　1. 通用爬虫
　　类似百度、谷歌这样的爬虫，抓取对象是整个互联网，对于网页没有固定的抽取规则。 对于所有网页都是一套通用的处理方法。

　　2. 垂直爬虫
　　这类爬虫主要针对一些特定对象、网站，有一台指定的爬取路径、数据抽取规则。比如今日头条，它的目标网站就是所有的新闻类网站。 比如Etao比价、网易的慧慧购物助手，他们的目标网站就是 淘宝、京东、天猫等等电商网站。
　　通用爬虫和垂直爬虫显著的区别：
　　抓取范围，通用爬虫的抓取范围要比垂直爬虫大得多，一个是整个互联网，一个是指定的网站。
　　爬取路线，一个通用爬虫要不按照深度爬取、要不是按广度爬取。 而垂直爬虫则可能是按照指定路线爬取。
　　数据处理，通用爬虫一般就是分词、索引到数据库。 而垂直爬虫则通过特定的规则来抽取更加精细的数据 。

　　一般爬虫的构成
　　那么一个完整的爬虫程序由哪些东西组成呢？

　　1. HTTP下载器
　　顾名思义就是负责HTTP下载，别小瞧它，要做好还挺不容易，因为你面对的复杂而无序、甚至包含错误的互联网。

　　2. 抓取队列
　　就是存储新产生的URL队列（queue），队列可以是多种形式的，他可以是redis的队列、数据库中的表、内存中的队列。根据场景，你可以自行选择。

　　3. 调度器
　　调度嘛，就是负责管理工作的，它通过制定策略，规定哪些URL优先执行、哪些URL靠后。

　　4. 多线程模块
　　对我来说，一个爬虫必须要支持多线程，并且可控。

　　5. 排重集合
　　排重，这是一个爬虫必不可少的部分，你必须记录下哪些URL已经采集过、哪些是未采集过的，复杂点的爬虫，你可能还需要记录上次抓取时间。

　　6. 页面解析器
　　就是定义如何解析抓取到的页面，对于通用爬虫，它可能对于所有页面都是一套逻辑，就是分词、索引。 但对于垂直爬虫，则需要指定规则。手段可能有正则、XPath、正文识别等等。

　　7.存储数据
　　定义以什么方式存储抓取到的数据， 一般情况下都是存储到数据库啦。当然，是一般的关系数据库，还是NoSQL 就看需求了。

　　一般爬虫的流程
　　通用爬虫、垂直爬虫他们的流程都是相似的，下面我们简单说说一个爬虫到底是怎么运行的。
　　首先，我们用一张一般爬虫的流程结构图来看看。

英文我就不翻译了。 大概说说流程吧。
　　指定起始URLs。 也就是指定一个入口。不管是通用爬虫还是垂直爬虫，都需要一个入口。
　　下载、解析URL。 这里分为2个操作，1. 抽取数据，存储到数据库；2. 解析出页面中包含的URL。
　　将解析的新URL放到队列中。
　　调度器从URL队列中，按照一定策略，取出要下载的URL，添加到HTTP下载中。
　　重复执行第二步，直到URL队列为空。