TA的每日心情 | 无聊 2024-9-19 09:07 |
---|
签到天数: 11 天 连续签到: 2 天 [LV.3]测试连长
|
settings.py- #Mysql数据库的配置信息
- MYSQL_HOST = '127.0.0.1'
- MYSQL_DBNAME = 'testdb' #数据库名字,请修改
- MYSQL_USER = 'root' #数据库账号,请修改
- MYSQL_PASSWD = '123456' #数据库密码,请修改
-
- MYSQL_PORT = 3306 #数据库端口,在dbhelper中使用
复制代码
- ITEM_PIPELINES = {
- 'webCrawler_scrapy.pipelines.WebcrawlerScrapyPipeline': 300,#保存到mysql数据库
- 'webCrawler_scrapy.pipelines.JsonWithEncodingPipeline': 300,#保存到文件中
复制代码 items.py- class WebcrawlerScrapyItem(scrapy.Item):
- '''定义需要格式化的内容(或是需要保存到数据库的字段)'''
- # define the fields for your item here like:
- # name = scrapy.Field()
- name = scrapy.Field() #修改你所需要的字段
复制代码 pipelines.py一、保存到数据库的类WebcrawlerScrapyPipeline(在settings中声明)- 定义一个类方法from_settings,得到settings中的Mysql数据库配置信息,得到数据库连接池dbpool
- @classmethod
- def from_settings(cls,settings):
- '''1、@classmethod声明一个类方法,而对于平常我们见到的则叫做实例方法。
- 2、类方法的第一个参数cls(class的缩写,指这个类本身),而实例方法的第一个参数是self,表示该类的一个实例
- 3、可以通过类来调用,就像C.f(),相当于java中的静态方法'''
- dbparams=dict(
- host=settings['MYSQL_HOST'],#读取settings中的配置
- db=settings['MYSQL_DBNAME'],
- user=settings['MYSQL_USER'],
- passwd=settings['MYSQL_PASSWD'],
- charset='utf8',#编码要加上,否则可能出现中文乱码问题
- cursorclass=MySQLdb.cursors.DictCursor,
- use_unicode=False,
- )
- dbpool=adbapi.ConnectionPool('MySQLdb',**dbparams)#**表示将字典扩展为关键字参数,相当于host=xxx,db=yyy....
- return cls(dbpool)#相当于dbpool付给了这个类,self中可以得到
复制代码
- def __init__(self,dbpool):
- self.dbpool=dbpool
复制代码- process_item方法是pipeline默认调用的,进行数据库操作
- #pipeline默认调用
- def process_item(self, item, spider):
- query=self.dbpool.runInteraction(self._conditional_insert,item)#调用插入的方法
- query.addErrback(self._handle_error,item,spider)#调用异常处理方法
- return item
复制代码- 插入数据库方法_conditional_insert
- #写入数据库中
- def _conditional_insert(self,tx,item):
- #print item['name']
- sql="insert into testpictures(name,url) values(%s,%s)"
- params=(item["name"],item["url"])
- tx.execute(sql,params)
复制代码- #错误处理方法
- def _handle_error(self, failue, item, spider):
- print failue
复制代码
|
|