51Testing软件测试论坛

标题: 一文谈谈我对Python爬虫的理解（1） [打印本页]

作者: lsekfe 时间: 2021-10-20 14:50
标题: 一文谈谈我对Python爬虫的理解（1）
不知从何时起，Python这门语言和爬虫就像一对恋人，二者如胶似漆，形影不离，你中有我、我中有你，一提起爬虫，就会想到Python，一说起Python，就会想到人工智能……和爬虫
　　所以，一般说爬虫的时候，大部分程序员潜意识里都会联想为Python爬虫，为什么会这样，我觉得有两个原因：
　　·Python生态极其丰富，诸如Request、Beautiful Soup、Scrapy、PySpider等第三方库实在强大
　　·Python语法简洁易上手，分分钟就能写出一个爬虫（有人吐槽Python慢，但是爬虫的瓶颈和语言关系不大）
　　任何一个学习Python的程序员，应该都或多或少地见过甚至研究过爬虫，我当时写Python的目的就非常纯粹——为了写爬虫。所以本文的目的很简单，就是说说我个人对Python爬虫的理解与实践，作为一名程序员，我觉得了解一下爬虫的相关知识对你只有好处，所以读完这篇文章后，如果能对你有帮助，那便再好不过

　　什么是爬虫
　　爬虫是一个程序，这个程序的目的就是为了抓取万维网信息资源，比如你日常使用的谷歌等搜索引擎，搜索结果就全都依赖爬虫来定时获取。
[attach]134875[/attach]
　看上述搜索结果，除了wiki相关介绍外，爬虫有关的搜索结果全都带上了Python，前人说Python爬虫，现在看来果然诚不欺我～
　　爬虫的目标对象也很丰富，不论是文字、图片、视频，任何结构化非结构化的数据爬虫都可以爬取，爬虫经过发展，也衍生出了各种爬虫类型：
　　·通用网络爬虫：爬取对象从一些种子 URL 扩充到整个 Web，搜索引擎干的就是这些事
　　·垂直网络爬虫：针对特定领域主题进行爬取，比如专门爬取小说目录以及章节的垂直爬虫
　　·增量网络爬虫：对已经抓取的网页进行实时更新
　　·深层网络爬虫：爬取一些需要用户提交关键词才能获得的 Web 页面
　　不想说这些大方向的概念，让我们以一个获取网页内容为例，从爬虫技术本身出发，来说说网页爬虫，步骤如下：
　　·模拟请求网页资源
　　从HTML提取目标元素
　　·数据持久化
　　什么是爬虫，这就是爬虫：

"""让我们根据上面说的步骤来完成一个简单的爬虫程序"""
import requests
from bs4 import BeautifulSoup
target_url = 'http://www.baidu.com/s?wd=爬虫'
# 第一步发起一个GET请求
res = requests.get(target_url)
# 第二步提取HTML并解析想获取的数据比如获取 title
soup = BeautifulSoup(res.text, "lxml")
# 输出 soup.title.text
title = soup.title.text
# 第三步持久化比如保存到本地
with open('title.txt', 'w') as fp:
fp.write(title)

复制代码

加上注释不到20行代码，你就完成了一个爬虫，简单吧~

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)