51Testing软件测试论坛

标题: Python + PySpider 抓取百度图片搜索的图片 [打印本页]

---

作者: 测试积点老人    时间: 2018-11-29 14:17
标题: Python + PySpider 抓取百度图片搜索的图片
说明:

1. 1、PySpider 是一个方便并且功能强大的Python爬虫框架
   
2. 2、PySpider 依赖于PhantomJS
   
3. 3、windows平台，PySpider 与64位的Python兼容不太好，需要使用32位Python
   
4. 4、本文环境：Python3.5(32位)+PhantomJS2.1.1+PySpider 0.4.0

复制代码

环境配置
1.安装Python（32位）
  下载地址：https://www.python.org/downloads/windows/
  下载Windows x86 executable installer后按指示安装，并将安装路径加入环境变量
2.列表内容
  下载地址：http://phantomjs.org/download.html
  下载后解压，并将bin目录放入环境变量（命令行phantomjs -v测试）
3.安装PySpider
  使用pip安装：命令行输入 pip install pyspider
  验证安装结果：
    安装完成后，命令行输入 pyspider all，然后浏览器访问http://localhost:5000
    如果正常出现PySpider页面，则说明安装成功

开始抓取
1.获取抓取链接
  在百度图片http://image.baidu.com/里随便输入搜索，将搜索结果页地址作为我们抓取的链接。我这里输入“猫咪”，然后获取到的链接是https://image.baidu.com/search/i ... =%E7%8C%AB%E5%92%AA

2.新建PySpider项目
  命令行输入 pyspider all，然后浏览器访问http://localhost:5000
  点击右下角的“Create”按钮
[attach]119684[/attach]



输入项目名称和我们第一步获取到的URL
[attach]119685[/attach]

然后点击“Create”即可完成创建，并打开项目的编辑界面。具体使用方式请自行百度
[attach]119686[/attach]

3.抓取思路
  搜索结果页面本身已包含所有的图片，通过图片标签就可以获取到。但此种方法获取的图片分辨率较低，我们需要获取分辨率较高的图片。
  搜索结果页，点击图片，会进入图片详情页，这里展示的图片分辨率较高，符合我们的要求。
  所以，我们的目标就是：搜索结果页获取图片详情页的地址列表，然后再遍历进入详情页获取图片的URL，最后下载保存到本地。
  下面正式开始抓取

4.index_page中获取图片详情页地址列表
  使用PySpider内置的PyQuery，通过css匹配到我们要找的链接标签，然后获取链接的地址，通过PySpider的crawl方法传递给detail_page处理图片详情页数据。
  crawl方法的save参数会传递给detail_page数据，可通过detail_page方法的response参数获取

1. def index_page(self, response):
   
2.         count = 1
   
3.         #获取图片详情链接标签列表
   
4.         for each in response.doc('.imgbox a').items():
   
5.             url = each.attr.href
   
6.             #进入图片详情页
   
7.             self.crawl(url, callback=self.detail_page,validate_cert=False, fetch_type="js",save={"count":count})
   
8.             count +=1

复制代码

5. detail_page中获取图片地址并下载
  此处也是通过PyQuery匹配到图片标签，然后获取图片地址，最后交由自定义的下载方法save_img去下载图片并保存本地

1. def detail_page(self, response):
   
2.         #获取图片标签
   
3.         imgElem = response.doc(".currentImg")
   
4.         #获取图片地址
   
5.         imgUrl = imgElem.attr.src
   
6.         if imgUrl:
   
7.             #获取图片文件后缀
   
8.             extension = self.tool.get_extension(imgUrl)
   
9.             #拼接图片名
   
10.             file_name = str(response.save["count"]) + "." + extension
    
11.             self.crawl(imgUrl,callback=self.save_img,save={"file_name":file_name},validate_cert=False)

复制代码

 6. 保存图片方法

1. #保存图片
   
2.     def save_img(self,response):
   
3.         content = response.content
   
4.         file_name = response.save["file_name"]
   
5.         file_path = self.dir_path + os.path.sep + file_name
   
6.         self.tool.save_img(content,file_path)

复制代码

 7. 创建文件夹、保存图片的工具类

1. #工具类   
   
2. class Tool:
   
3.     def __init__(self):
   
4.         self.dir = DIR_PATH
   
5.         #创建文件夹（如果不存在）
   
6.         if not os.path.exists(self.dir):                        
   
7.             os.makedirs(self.dir)                                         
   
8.     #保存图片
   
9.     def save_img(self,content,path):
   
10.         f = open(path,"wb" )
    
11.         f.write(content)
    
12.         f.close()
    
13. 
    
14.     #获取url后缀名
    
15.     def get_extension(self,url):                           
    
16.         extension = url.split(".")[-1]
    
17.         return extension   

复制代码

 8. 完整代码

1. #!/usr/bin/env python
   
2. # -*- encoding: utf-8 -*-
   
3. # Created on 2017-03-29 14:56:10
   
4. # Project: BaiduPictures
   
5. 
   
6. from pyspider.libs.base_handler import *
   
7. import os
   
8. 
   
9. #图片存放目录
   
10. DIR_PATH = "D:\python_workspace\pyspider_baiduPicture"
    
11. class Handler(BaseHandler):
    
12.     crawl_config = {
    
13.     }
    
14. 
    
15.     def __init__(self):
    
16.         self.base_url = "https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=index&fr=&hs=0&xthttps=111111&sf=1&fmq=&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&word=%E7%8C%AB%E5%92%AA&oq=%E7%8C%AB%E5%92%AA&rsp=-1"
    
17.         self.dir_path = DIR_PATH
    
18.         self.tool = Tool()
    
19. 
    
20.     @every(minutes=24 * 60)
    
21.     def on_start(self):
    
22.         #validate_cert:是否验证SSL；fetch_type：为了支持JS
    
23.         self.crawl(self.base_url, callback=self.index_page, validate_cert=False, fetch_type="js")
    
24. 
    
25.     @config(age=10 * 24 * 60 * 60)
    
26.     def index_page(self, response):
    
27.         count = 1
    
28.         #获取图片详情链接标签列表
    
29.         for each in response.doc('.imgbox a').items():
    
30.             url = each.attr.href
    
31.             #进入图片详情页
    
32.             self.crawl(url, callback=self.detail_page,validate_cert=False, fetch_type="js",save={"count":count})
    
33.             count +=1
    
34. 
    
35.     @config(priority=2)
    
36.     def detail_page(self, response):
    
37.         #获取图片标签
    
38.         imgElem = response.doc(".currentImg")
    
39.         #获取图片地址
    
40.         imgUrl = imgElem.attr.src
    
41.         if imgUrl:
    
42.             #获取图片文件后缀
    
43.             extension = self.tool.get_extension(imgUrl)
    
44.             #拼接图片名
    
45.             file_name = str(response.save["count"]) + "." + extension
    
46.             self.crawl(imgUrl,callback=self.save_img,save={"file_name":file_name},validate_cert=False)
    
47. 
    
48.     #保存图片
    
49.     def save_img(self,response):
    
50.         content = response.content
    
51.         file_name = response.save["file_name"]
    
52.         file_path = self.dir_path + os.path.sep + file_name
    
53.         self.tool.save_img(content,file_path)
    
54. 
    
55. #工具类   
    
56. class Tool:
    
57.     def __init__(self):
    
58.         self.dir = DIR_PATH
    
59.         #创建文件夹（如果不存在）
    
60.         if not os.path.exists(self.dir):                        
    
61.             os.makedirs(self.dir)                                         
    
62.     #保存图片
    
63.     def save_img(self,content,path):
    
64.         f = open(path,"wb" )
    
65.         f.write(content)
    
66.         f.close()
    
67. 
    
68.     #获取url后缀名
    
69.     def get_extension(self,url):                           
    
70.         extension = url.split(".")[-1]
    
71.         return extension      

复制代码

---

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)

Powered by Discuz! X3.2