51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 1776|回复: 2
打印 上一主题 下一主题

scrapy爬虫框架简单Demo

[复制链接]
  • TA的每日心情
    无聊
    2024-9-19 09:07
  • 签到天数: 11 天

    连续签到: 2 天

    [LV.3]测试连长

    跳转到指定楼层
    1#
    发表于 2019-6-18 09:31:07 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    settings.py
    • 修改Mysql的配置信息
    1. #Mysql数据库的配置信息
    2. MYSQL_HOST = '127.0.0.1'
    3. MYSQL_DBNAME = 'testdb'         #数据库名字,请修改
    4. MYSQL_USER = 'root'             #数据库账号,请修改
    5. MYSQL_PASSWD = '123456'         #数据库密码,请修改

    6. MYSQL_PORT = 3306               #数据库端口,在dbhelper中使用
    复制代码
    • 指定pipelines

    1. ITEM_PIPELINES = {
    2.     'webCrawler_scrapy.pipelines.WebcrawlerScrapyPipeline': 300,#保存到mysql数据库
    3.     'webCrawler_scrapy.pipelines.JsonWithEncodingPipeline': 300,#保存到文件中
    复制代码
    items.py
    • 声明需要格式化处理的字段
    1. class WebcrawlerScrapyItem(scrapy.Item):
    2.     '''定义需要格式化的内容(或是需要保存到数据库的字段)'''
    3.     # define the fields for your item here like:
    4.     # name = scrapy.Field()
    5.     name = scrapy.Field()   #修改你所需要的字段
    复制代码
    pipelines.py一、保存到数据库的类WebcrawlerScrapyPipeline(在settings中声明)
    • 定义一个类方法from_settings,得到settings中的Mysql数据库配置信息,得到数据库连接池dbpool
      1. @classmethod
      2.     def from_settings(cls,settings):
      3.         '''1、@classmethod声明一个类方法,而对于平常我们见到的则叫做实例方法。
      4.            2、类方法的第一个参数cls(class的缩写,指这个类本身),而实例方法的第一个参数是self,表示该类的一个实例
      5.            3、可以通过类来调用,就像C.f(),相当于java中的静态方法'''
      6.         dbparams=dict(
      7.             host=settings['MYSQL_HOST'],#读取settings中的配置
      8.             db=settings['MYSQL_DBNAME'],
      9.             user=settings['MYSQL_USER'],
      10.             passwd=settings['MYSQL_PASSWD'],
      11.             charset='utf8',#编码要加上,否则可能出现中文乱码问题
      12.             cursorclass=MySQLdb.cursors.DictCursor,
      13.             use_unicode=False,
      14.         )
      15.         dbpool=adbapi.ConnectionPool('MySQLdb',**dbparams)#**表示将字典扩展为关键字参数,相当于host=xxx,db=yyy....
      16.         return cls(dbpool)#相当于dbpool付给了这个类,self中可以得到
      复制代码

    • __init__中会得到连接池dbpool
    1. def __init__(self,dbpool):
    2.         self.dbpool=dbpool
    复制代码
    • process_item方法是pipeline默认调用的,进行数据库操作
    1. #pipeline默认调用
    2.     def process_item(self, item, spider):
    3.         query=self.dbpool.runInteraction(self._conditional_insert,item)#调用插入的方法
    4.         query.addErrback(self._handle_error,item,spider)#调用异常处理方法
    5.         return item
    复制代码
    • 插入数据库方法_conditional_insert
    1.     #写入数据库中
    2.     def _conditional_insert(self,tx,item):
    3.         #print item['name']
    4.         sql="insert into testpictures(name,url) values(%s,%s)"
    5.         params=(item["name"],item["url"])
    6.         tx.execute(sql,params)
    复制代码
    • 错误处理方法_handle_error
    1. #错误处理方法
    2.     def _handle_error(self, failue, item, spider):
    3.         print failue
    复制代码










    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    收藏收藏
    回复

    使用道具 举报

  • TA的每日心情
    无聊
    2024-9-19 09:07
  • 签到天数: 11 天

    连续签到: 2 天

    [LV.3]测试连长

    2#
     楼主| 发表于 2019-6-18 09:37:17 | 只看该作者
    二、保存到文件中的类JsonWithEncodingPipeline(在settings中声明)
    • 保存为json格式的文件,比较简单,代码如下
    1. class JsonWithEncodingPipeline(object):
    2.     '''保存到文件中对应的class
    3.        1、在settings.py文件中配置
    4.        2、在自己实现的爬虫类中yield item,会自动执行'''   
    5.     def __init__(self):
    6.         self.file = codecs.open('info.json', 'w', encoding='utf-8')#保存为json文件
    7.     def process_item(self, item, spider):
    8.         line = json.dumps(dict(item)) + "\n"#转为json的
    9.         self.file.write(line)#写入文件中
    10.         return item
    11.     def spider_closed(self, spider):#爬虫结束时关闭文件
    12.         self.file.close()
    复制代码
    dbhelper.py
    • 自己实现的操作Mysql数据库的类
    • init方法,获取settings配置文件中的信息
    1. def __init__(self):
    2.         self.settings=get_project_settings() #获取settings配置,设置需要的信息

    3.         self.host=self.settings['MYSQL_HOST']
    4.         self.port=self.settings['MYSQL_PORT']
    5.         self.user=self.settings['MYSQL_USER']
    6.         self.passwd=self.settings['MYSQL_PASSWD']
    7.         self.db=self.settings['MYSQL_DBNAME']
    复制代码
    • 连接到Mysql
    1. #连接到mysql,不是连接到具体的数据库
    2.     def connectMysql(self):
    3.         conn=MySQLdb.connect(host=self.host,
    4.                              port=self.port,
    5.                              user=self.user,
    6.                              passwd=self.passwd,
    7.                              #db=self.db,不指定数据库名
    8.                              charset='utf8') #要指定编码,否则中文可能乱码
    9.         return conn
    复制代码
    • 连接到settings配置文件中的数据库名(MYSQL_DBNAME)
    1.     #连接到具体的数据库(settings中设置的MYSQL_DBNAME)
    2.     def connectDatabase(self):
    3.         conn=MySQLdb.connect(host=self.host,
    4.                              port=self.port,
    5.                              user=self.user,
    6.                              passwd=self.passwd,
    7.                              db=self.db,
    8.                              charset='utf8') #要指定编码,否则中文可能乱码
    9.         return conn
    复制代码
    • 创建数据库(settings文件中配置的数据库名)
    1. #创建数据库
    2.     def createDatabase(self):
    3.         '''因为创建数据库直接修改settings中的配置MYSQL_DBNAME即可,所以就不要传sql语句了'''
    4.         conn=self.connectMysql()#连接数据库

    5.         sql="create database if not exists "+self.db
    6.         cur=conn.cursor()
    7.         cur.execute(sql)#执行sql语句
    8.         cur.close()
    9.         conn.close()
    复制代码
    • 还有一些数据库操作方法传入sql语句和参数即可(具体看代码)
    实现具体的爬虫.py(即模板中的pictureSpider_demo.py文件)
    • 继承scrapy.spiders.Spider 类
    • 声明三个属性
    1. name="webCrawler_scrapy"    #定义爬虫名,要和settings中的BOT_NAME属性对应的值一致

    2.     allowed_domains=["desk.zol.com.cn"] #搜索的域名范围,也就是爬虫的约束区域,规定爬虫只爬取这个域名下的网页

    3.     start_urls=["http://desk.zol.com.cn/fengjing/1920x1080/1.html"]   #开始爬取的地址
    复制代码
    • 实现parse方法,该函数名不能改变,因为Scrapy源码中默认callback函数的函数名就是parse
    1. def parse(self, response):
    复制代码
    • 返回item
    1.   item=WebcrawlerScrapyItem()  #实例item(具体定义的item类),将要保存的值放到事先声明的item属性中
    2.     item['name']=file_name
    3.     item['url']=realUrl
    4.     print item["name"],item["url"]   

    5.     yield item  #返回item,这时会自定解析item
    复制代码










    回复 支持 反对

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-11-13 03:55 , Processed in 0.064301 second(s), 23 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表