51Testing软件测试论坛

标题: scrapy爬虫框架简单Demo [打印本页]

---

作者: 八戒你干嘛    时间: 2019-6-18 09:31
标题: scrapy爬虫框架简单Demo
settings.py

• 修改Mysql的配置信息
  

1. #Mysql数据库的配置信息
   
2. MYSQL_HOST = '127.0.0.1'
   
3. MYSQL_DBNAME = 'testdb'         #数据库名字，请修改
   
4. MYSQL_USER = 'root'             #数据库账号，请修改
   
5. MYSQL_PASSWD = '123456'         #数据库密码，请修改
   
6. 
   
7. MYSQL_PORT = 3306               #数据库端口，在dbhelper中使用

复制代码

• 指定pipelines
  

1. 
   
2. ITEM_PIPELINES = {
   
3.     'webCrawler_scrapy.pipelines.WebcrawlerScrapyPipeline': 300,#保存到mysql数据库
   
4.     'webCrawler_scrapy.pipelines.JsonWithEncodingPipeline': 300,#保存到文件中
   

复制代码

items.py

• 声明需要格式化处理的字段
  

1. class WebcrawlerScrapyItem(scrapy.Item):
   
2.     '''定义需要格式化的内容（或是需要保存到数据库的字段）'''
   
3.     # define the fields for your item here like:
   
4.     # name = scrapy.Field()
   
5.     name = scrapy.Field()   #修改你所需要的字段

复制代码

pipelines.py一、保存到数据库的类WebcrawlerScrapyPipeline（在settings中声明）

• 定义一个类方法from_settings，得到settings中的Mysql数据库配置信息，得到数据库连接池dbpool
  1. @classmethod
     
  2.     def from_settings(cls,settings):
     
  3.         '''1、@classmethod声明一个类方法，而对于平常我们见到的则叫做实例方法。
     
  4.            2、类方法的第一个参数cls（class的缩写，指这个类本身），而实例方法的第一个参数是self，表示该类的一个实例
     
  5.            3、可以通过类来调用，就像C.f()，相当于java中的静态方法'''
     
  6.         dbparams=dict(
     
  7.             host=settings['MYSQL_HOST'],#读取settings中的配置
     
  8.             db=settings['MYSQL_DBNAME'],
     
  9.             user=settings['MYSQL_USER'],
     
  10.             passwd=settings['MYSQL_PASSWD'],
      
  11.             charset='utf8',#编码要加上，否则可能出现中文乱码问题
      
  12.             cursorclass=MySQLdb.cursors.DictCursor,
      
  13.             use_unicode=False,
      
  14.         )
      
  15.         dbpool=adbapi.ConnectionPool('MySQLdb',**dbparams)#**表示将字典扩展为关键字参数,相当于host=xxx,db=yyy....
      
  16.         return cls(dbpool)#相当于dbpool付给了这个类，self中可以得到

  复制代码
  
  

• __init__中会得到连接池dbpool
  

1. def __init__(self,dbpool):
   
2.         self.dbpool=dbpool

复制代码

• process_item方法是pipeline默认调用的，进行数据库操作
  

1. #pipeline默认调用
   
2.     def process_item(self, item, spider):
   
3.         query=self.dbpool.runInteraction(self._conditional_insert,item)#调用插入的方法
   
4.         query.addErrback(self._handle_error,item,spider)#调用异常处理方法
   
5.         return item

复制代码

• 插入数据库方法_conditional_insert
  

1.     #写入数据库中
   
2.     def _conditional_insert(self,tx,item):
   
3.         #print item['name']
   
4.         sql="insert into testpictures(name,url) values(%s,%s)"
   
5.         params=(item["name"],item["url"])
   
6.         tx.execute(sql,params)

复制代码

• 错误处理方法_handle_error
  

1. #错误处理方法
   
2.     def _handle_error(self, failue, item, spider):
   
3.         print failue

复制代码

---

作者: 八戒你干嘛    时间: 2019-6-18 09:37
二、保存到文件中的类JsonWithEncodingPipeline（在settings中声明）

• 保存为json格式的文件，比较简单，代码如下
  

1. class JsonWithEncodingPipeline(object):
   
2.     '''保存到文件中对应的class
   
3.        1、在settings.py文件中配置
   
4.        2、在自己实现的爬虫类中yield item,会自动执行'''   
   
5.     def __init__(self):
   
6.         self.file = codecs.open('info.json', 'w', encoding='utf-8')#保存为json文件
   
7.     def process_item(self, item, spider):
   
8.         line = json.dumps(dict(item)) + "\n"#转为json的
   
9.         self.file.write(line)#写入文件中
   
10.         return item
    
11.     def spider_closed(self, spider):#爬虫结束时关闭文件
    
12.         self.file.close()

复制代码

dbhelper.py

• 自己实现的操作Mysql数据库的类
• init方法，获取settings配置文件中的信息
  

1. def __init__(self):
   
2.         self.settings=get_project_settings() #获取settings配置，设置需要的信息
   
3. 
   
4.         self.host=self.settings['MYSQL_HOST']
   
5.         self.port=self.settings['MYSQL_PORT']
   
6.         self.user=self.settings['MYSQL_USER']
   
7.         self.passwd=self.settings['MYSQL_PASSWD']
   
8.         self.db=self.settings['MYSQL_DBNAME']
   

复制代码

• 连接到Mysql
  

1. #连接到mysql，不是连接到具体的数据库
   
2.     def connectMysql(self):
   
3.         conn=MySQLdb.connect(host=self.host,
   
4.                              port=self.port,
   
5.                              user=self.user,
   
6.                              passwd=self.passwd,
   
7.                              #db=self.db,不指定数据库名
   
8.                              charset='utf8') #要指定编码，否则中文可能乱码
   
9.         return conn
   

复制代码

• 连接到settings配置文件中的数据库名（MYSQL_DBNAME）
  

1.     #连接到具体的数据库（settings中设置的MYSQL_DBNAME）
   
2.     def connectDatabase(self):
   
3.         conn=MySQLdb.connect(host=self.host,
   
4.                              port=self.port,
   
5.                              user=self.user,
   
6.                              passwd=self.passwd,
   
7.                              db=self.db,
   
8.                              charset='utf8') #要指定编码，否则中文可能乱码
   
9.         return conn
   

复制代码

• 创建数据库（settings文件中配置的数据库名）
  

1. #创建数据库
   
2.     def createDatabase(self):
   
3.         '''因为创建数据库直接修改settings中的配置MYSQL_DBNAME即可，所以就不要传sql语句了'''
   
4.         conn=self.connectMysql()#连接数据库
   
5. 
   
6.         sql="create database if not exists "+self.db
   
7.         cur=conn.cursor()
   
8.         cur.execute(sql)#执行sql语句
   
9.         cur.close()
   
10.         conn.close()
    

复制代码

• 还有一些数据库操作方法传入sql语句和参数即可（具体看代码）
  

实现具体的爬虫.py（即模板中的pictureSpider_demo.py文件）

• 继承scrapy.spiders.Spider 类
• 声明三个属性
  

1. name="webCrawler_scrapy"    #定义爬虫名，要和settings中的BOT_NAME属性对应的值一致
   
2. 
   
3.     allowed_domains=["desk.zol.com.cn"] #搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页
   
4. 
   
5.     start_urls=["http://desk.zol.com.cn/fengjing/1920x1080/1.html"]   #开始爬取的地址
   

复制代码

• 实现parse方法，该函数名不能改变，因为Scrapy源码中默认callback函数的函数名就是parse
  

1. def parse(self, response):

复制代码

• 返回item
  

1.   item=WebcrawlerScrapyItem()  #实例item（具体定义的item类）,将要保存的值放到事先声明的item属性中
   
2.     item['name']=file_name
   
3.     item['url']=realUrl
   
4.     print item["name"],item["url"]   
   
5. 
   
6.     yield item  #返回item,这时会自定解析item

复制代码

---

作者: Miss_love    时间: 2020-12-30 15:12
支持分享

---

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)

Powered by Discuz! X3.2