Python爬虫Scrapy测试

胖虎

1. # -*- coding:utf-8 -*-
   
2. import urllib
   
3. import urllib2
   
4. import re
   
5. import thread
   
6. import time
   
7. 
   
8. #糗事百科爬虫类
   
9. class QSBK:
   
10.     #初始化方法，定义一些变量
    
11.     def __init__(self):
    
12.         self.pageIndex = 1
    
13.         self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
    
14.         #初始化headers
    
15.         self.headers = { 'User-Agent' : self.user_agent }
    
16.         #存放段子的变量，每一个元素是每一页的段子们
    
17.         self.stories = []
    
18.         #存放程序是否继续运行的变量
    
19.         self.enable = False
    
20.     #传入某一页的索引获得页面代码
    
21.     def getPage(self,pageIndex):
    
22.         try:
    
23.             url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
    
24.             #构建请求的request
    
25.             request = urllib2.Request(url,headers = self.headers)
    
26.             #利用urlopen获取页面代码
    
27.             response = urllib2.urlopen(request)
    
28.             #将页面转化为UTF-8编码
    
29.             pageCode = response.read().decode('utf-8')
    
30.             return pageCode
    
31. 
    
32.         except urllib2.URLError, e:
    
33.             if hasattr(e,"reason"):
    
34.                 print u"连接糗事百科失败,错误原因",e.reason
    
35.                 return None
    
36. 
    
37. 
    
38.     #传入某一页代码，返回本页不带图片的段子列表
    
39.     def getPageItems(self,pageIndex):
    
40.         pageCode = self.getPage(pageIndex)
    
41.         if not pageCode:
    
42.             print "页面加载失败...."
    
43.             return None
    
44.         pattern = re.compile('<div.*?author.*?>.*?<a.*?<img.*?</a>.*?<a.*?<h2>(.*?)</h2>.*?</div>.*?<div.*?' +
    
45.                              'content">(.*?)</div>', re.S)
    
46.         items = re.findall(pattern,pageCode)
    
47.         #用来存储每页的段子们
    
48.         pageStories = []
    
49.         #遍历正则表达式匹配的信息
    
50.         for item in items:
    
51.             #是否含有图片
    
52.             haveImg = re.search("img",item[1])
    
53.             #如果不含有图片，把它加入list中
    
54.             if not haveImg:
    
55.                 replaceBR = re.compile('<br/>')
    
56.                 text = re.sub(replaceBR,"\n",item[1])
    
57.                 #item[0]是一个段子的发布者，item[1]是内容，item[2]是发布时间,item[4]是点赞数
    
58.                 pageStories.append([item[0].strip(),text.strip()])
    
59.         return pageStories
    
60. 
    
61. 
    
62.     #加载并提取页面的内容，加入到列表中
    
63.     def loadPage(self):
    
64.         #如果当前未看的页数少于2页，则加载新一页
    
65.         if self.enable == True:
    
66.             if len(self.stories) < 2:
    
67.                 #获取新一页
    
68.                 pageStories = self.getPageItems(self.pageIndex)
    
69.                 #将该页的段子存放到全局list中
    
70.                 if pageStories:
    
71.                     self.stories.append(pageStories)
    
72.                     #获取完之后页码索引加一，表示下次读取下一页
    
73.                     self.pageIndex += 1
    
74.    
    
75.     #调用该方法，每次敲回车打印输出一个段子
    
76.     def getOneStory(self,pageStories,page):
    
77.         #遍历一页的段子
    
78.         for story in pageStories:
    
79.             #等待用户输入
    
80.             input = raw_input()
    
81.             #每当输入回车一次，判断一下是否要加载新页面
    
82.             self.loadPage()
    
83.             #如果输入Q则程序结束
    
84.             if input == "Q":
    
85.                 self.enable = False
    
86.                 return
    
87.             print u"第%d页\t发布人:%s\t内容:%s" %(page,story[0],story[1])
    
88.    
    
89.     #开始方法
    
90.     def start(self):
    
91.         print u"正在读取糗事百科,按回车查看新段子，Q退出"
    
92.         #使变量为True，程序可以正常运行
    
93.         self.enable = True
    
94.         #先加载一页内容
    
95.         self.loadPage()
    
96.         #局部变量，控制当前读到了第几页
    
97.         nowPage = 0
    
98.         while self.enable:
    
99.             if len(self.stories)>0:
    
100.                 #从全局list中获取一页的段子
     
101.                 pageStories = self.stories[0]
     
102.                 #当前读到的页数加一
     
103.                 nowPage += 1
     
104.                 #将全局list中第一个元素删除，因为已经取出
     
105.                 del self.stories[0]
     
106.                 #输出该页的段子
     
107.                 self.getOneStory(pageStories,nowPage)
     
108. 
     
109. 
     
110. spider = QSBK()
     
111. spider.start()

复制代码

海海豚

谢谢分享！

libingyu135

6666

梦想家

Miss_love

支持分享

梦想家