一文谈谈我对Python爬虫的理解（1）

lsekfe

不知从何时起，Python这门语言和爬虫就像一对恋人，二者如胶似漆 ，形影不离，你中有我、我中有你，一提起爬虫，就会想到Python，一说起Python，就会想到人工智能……和爬虫
　　所以，一般说爬虫的时候，大部分程序员潜意识里都会联想为Python爬虫，为什么会这样，我觉得有两个原因：
　　·Python生态极其丰富，诸如Request、Beautiful Soup、Scrapy、PySpider等第三方库实在强大
　　·Python语法简洁易上手，分分钟就能写出一个爬虫（有人吐槽Python慢，但是爬虫的瓶颈和语言关系不大）
　　任何一个学习Python的程序员，应该都或多或少地见过甚至研究过爬虫，我当时写Python的目的就非常纯粹——为了写爬虫。所以本文的目的很简单，就是说说我个人对Python爬虫的理解与实践，作为一名程序员，我觉得了解一下爬虫的相关知识对你只有好处，所以读完这篇文章后，如果能对你有帮助，那便再好不过

　　什么是爬虫
　　爬虫是一个程序，这个程序的目的就是为了抓取万维网信息资源，比如你日常使用的谷歌等搜索引擎，搜索结果就全都依赖爬虫来定时获取。

　看上述搜索结果，除了wiki相关介绍外，爬虫有关的搜索结果全都带上了Python，前人说Python爬虫，现在看来果然诚不欺我～
　　爬虫的目标对象也很丰富，不论是文字、图片、视频，任何结构化非结构化的数据爬虫都可以爬取，爬虫经过发展，也衍生出了各种爬虫类型：
　　·通用网络爬虫：爬取对象从一些种子 URL 扩充到整个 Web，搜索引擎干的就是这些事
　　·垂直网络爬虫：针对特定领域主题进行爬取，比如专门爬取小说目录以及章节的垂直爬虫
　　·增量网络爬虫：对已经抓取的网页进行实时更新
　　·深层网络爬虫：爬取一些需要用户提交关键词才能获得的 Web 页面
　　不想说这些大方向的概念，让我们以一个获取网页内容为例，从爬虫技术本身出发，来说说网页爬虫，步骤如下：
　　·模拟请求网页资源
　　从HTML提取目标元素
　　·数据持久化
　　什么是爬虫，这就是爬虫：

1. """让我们根据上面说的步骤来完成一个简单的爬虫程序"""
   
2. import requests
   
3. 
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. target_url = 'http://www.baidu.com/s?wd=爬虫'
   
7. 
   
8. # 第一步 发起一个GET请求
   
9. res = requests.get(target_url)
   
10. 
    
11. # 第二步 提取HTML并解析想获取的数据 比如获取 title
    
12. soup = BeautifulSoup(res.text, "lxml")
    
13. # 输出 soup.title.text
    
14. title = soup.title.text
    
15. 
    
16. # 第三步 持久化 比如保存到本地
    
17. with open('title.txt', 'w') as fp:
    
18.     fp.write(title)

复制代码

加上注释不到20行代码，你就完成了一个爬虫，简单吧~