51Testing软件测试论坛

标题: Pyspider实例之抓取数据并保存到MySQL数据库 [打印本页]

---

作者: 测试积点老人    时间: 2018-11-29 14:05
标题: Pyspider实例之抓取数据并保存到MySQL数据库
1、在Pyspider的脚本开头引入：

1. from pyspider.database.mysql.mysqldb import SQL

复制代码

2、重写on_result方法：

1. def on_result(self,result):
   
2.         if not result or not result['original_id']:
   
3.             return
   
4.         sql = SQL()
   
5.         sql.insert('t_dream_xm_project',**result)  

复制代码

3、编写数据库脚本(放入/usr/lib/python2.7/site-packages/pyspider/database/mysql/下)：

1. #!/usr/bin/env python
   
2. # -*- encoding: utf-8 -*-
   
3. from six import itervalues
   
4. import MySQLdb
   
5. 
   
6. class SQL():
   
7.     #数据库初始化
   
8.     def __init__(self):
   
9.         #数据库连接相关信息
   
10.         hosts    = '数据库地址'  
    
11.         username = '数据库用户名'
    
12.         password = '数据库密码'
    
13.         database = '数据库名'
    
14.         charsets = 'utf8'
    
15. 
    
16.         self.connection = False
    
17.         try:
    
18.             self.conn = MySQLdb.connect(host = hosts,user = username,passwd = password,db = database,charset = charsets)
    
19.             self.cursor = self.conn.cursor()
    
20.             self.cursor.execute("set names "+charsets)
    
21.             self.connection = True
    
22.         except Exception,e:
    
23.             print "Cannot Connect To Mysql!/n",e
    
24. 
    
25.     def escape(self,string):
    
26.         return '%s' % string
    
27.     #插入数据到数据库   
    
28.     def insert(self,tablename=None,**values):
    
29. 
    
30.         if self.connection:
    
31.             tablename = self.escape(tablename)  
    
32.             if values:
    
33.                 _keys = ",".join(self.escape(k) for k in values)
    
34.                 _values = ",".join(['%s',]*len(values))
    
35.                 sql_query = "insert into %s (%s) values (%s)" % (tablename,_keys,_values)
    
36.             else:
    
37.                 sql_query = "replace into %s default values" % tablename
    
38.             try:
    
39.                 if values:
    
40.                     self.cursor.execute(sql_query,list(itervalues(values)))
    
41.                 else:      
    
42.                     self.cursor.execute(sql_query)
    
43.                 self.conn.commit()
    
44.                 return True
    
45.             except Exception,e:
    
46.                 print "An Error Occured: ",e
    
47.                 return False

复制代码

说明：这里使用的是MySQLdb驱动

4、数据库新建数据库以及对应的表，表的字段名称和Pyspider脚本中detail_page方法中return返回的字段名称对应。
OK，完成这项步骤就可以启动服务器进行测试了。
完整的Pyspider脚本：

1. #!/usr/bin/env python
   
2. # -*- encoding: utf-8 -*-
   
3. # Created on 2017-07-14 10:36:36
   
4. # Project: xiaomi
   
5. 
   
6. from pyspider.libs.base_handler import *
   
7. from pyspider.database.mysql.mysqldb import SQL
   
8. import urllib
   
9. import time
   
10. import json
    
11. 
    
12. class Handler(BaseHandler):
    
13.     #配置通用的请求属性
    
14.     crawl_config = {
    
15.         'headers' : {'Connection':'keep-alive','Accept-Encoding':'gzip, deflate, br','Accept-Language':'zh-CN,zh;q=0.8','content-type':'application/x-www-form-urlencoded','Referer':'//home.mi.com/crowdfundinglist?id=78&title=%E4%BC%97%E7%AD%B9','User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'}
    
16.     }
    
17. 
    
18.     @every(minutes=24 * 60)
    
19.     def on_start(self):
    
20.         #获取所有的产品详细产品地址
    
21.         param = 'data=%7B%22HomeList%22%3A%7B%22model%22%3A%22Homepage%22%2C%22action%22%3A%22BuildHome%22%2C%22parameters%22%3A%7B%22id%22%3A12%7D%7D%7D'
    
22.         self.crawl('https://home.mi.com/app/shopv3/pipe',method="GET",params=param,callback=self.index_page)
    
23. 
    
24. 
    
25.     @config(age=60 * 60)  
    
26.     def index_page(self, response):
    
27.         #获取单个产品的详细信息
    
28.         for each in response.json['result']['HomeList']['data']:
    
29.             gid = each['gid']
    
30.             detailparm = "{\"detail\":{\"model\":\"Shopv2\",\"action\":\"getDetail\",\"parameters\":{\"gid\":\"%s\"}},\"comment\":{\"model\":\"Comment\",\"action\":\"getList\",\"parameters\":{\"goods_id\":\"%s\",\"orderby\":\"1\",\"pageindex\":\"0\",\"pagesize\":3}},\"activity\":{\"model\":\"Activity\",\"action\":\"getAct\",\"parameters\":{\"gid\":\"%s\"}}}" % (gid,gid,gid)
    
31.             detailreq = urllib.quote(detailparm)
    
32.             detailreq = "data=" + detailreq
    
33.             detailurl = "https://home.mi.com/app/shop/pipe?gid=%s" % gid
    
34.             #print detailurl
    
35.             self.crawl(detailurl,method='POST',data=detailreq ,callback=self.detail_page)
    
36. 
    
37.     @config(priority=2)
    
38.     def detail_page(self, response):
    
39.         #转换成Json格式的字符串
    
40.         resultjsonstr = json.dumps(response.json)
    
41.         result = json.loads(resultjsonstr)['result']['detail']['data']['good']
    
42.         #将返回的结果保存到文件
    
43.         resultfile = open("/tmp/xiaomi/%s.txt" % result['gid'].encode('utf-8'),'w')
    
44.         resultfile.write(resultjsonstr)
    
45.         resultfile.close()
    
46.         #将返回的结果保存到MySQL数据库
    
47.         return {
    
48.             "original_id": result['gid'].encode('utf-8'),
    
49.             "project_name": result['name'].encode('utf-8'),
    
50.             "project_desc": result['summary'].encode('utf-8'),
    
51.             "curr_money":result['saled'].encode('utf-8'),
    
52.             "begin_date":time.strftime("%Y-%m-%d %H:%M:%S",time.localtime(float(result['ctime'].encode('utf-8'))))
    
53.         }
    
54. 
    
55.     def on_result(self,result):
    
56.         if not result or not result['original_id']:
    
57.             return
    
58.         sql = SQL()
    
59.         sql.insert('t_dream_xm_project',**result)

复制代码

---

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)

Powered by Discuz! X3.2