51Testing软件测试论坛

标题: python scrapy 腾讯社会招聘爬虫摘要 [打印本页]

---

作者: 姿态    时间: 2019-3-25 14:29
标题: python scrapy 腾讯社会招聘爬虫摘要
一 . 编写scrapy爬虫

创建项目：D:\scrapy>scrapy startproject Tencent
D:\scrapy> cd Tentcent
创建爬虫：D:\scrapy\Tentcent>scrapy genspider tencent hr.tencent.com
#　腾讯社招 https://hr.tencent.com/position.php?&start=0#a

职位名 positionName

职位详情连接　positionLink

职位类别  positionType

招聘人数  peopleNumber

工作地点  workLocation

发布时间  publishTime

scrapy启动，会先读取配置文件 setting.py

编写items.py，明确需要提取的数据。

编写spiders/xxxx.py爬虫文件，处理请求和响应，以及提取数据（yield item）。

编写pipelines.py，编写管道文件，处理spider返回item数据。

编写setting.py, 启动管道文件，以及其他相关设置

执行爬虫，调试等。



二 、配置mysql数据库

1. 安装pymysql

cmd下：pip install pymysql
然后python >>> import pymysql 检查是否安装完成，安装成功！


2. 查看items.py

1. class TencentItem(scrapy.Item):
   
2.     # name = scrapy.Field()
   
3.     # 职位名
   
4.     positionName = scrapy.Field()
   
5.     # 职位详情连接　
   
6.     positionLink = scrapy.Field()
   
7.     # 职位类别
   
8.     positionType = scrapy.Field()
   
9.     # 招聘人数
   
10.     peopleNumber = scrapy.Field()
    
11.     # 工作地点
    
12.     workLocation = scrapy.Field()
    
13.     # 发布时间
    
14.     publishTime = scrapy.Field()
    

复制代码

3. 创建数据库和表

1. mysql> create database tencent DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
   
2. mysql> use tencent;
   
3. 
   
4. CREATE TABLE `hr` (
   
5. `id`  int(10) NOT NULL ,
   
6. `positionName`  varchar(100) NOT NULL COMMENT '职位名' ,
   
7. `positionLink`  varchar(150) NULL DEFAULT  COMMENT '职位详情连接' ,
   
8. `positionType`  varchar(30) NULL COMMENT '职位类别' ,
   
9. `peopleNumber`  int(10) NULL COMMENT '招聘人数' ,
   
10. `workLocation`  varchar(30) NULL COMMENT '工作地点' ,
    
11. `publishTime`  timestamp NULL ON UPDATE CURRENT_TIMESTAMP COMMENT '发布时间' ,
    
12. PRIMARY KEY (`id`)
    
13. );
    

复制代码

4. setting.py

1. ITEM_PIPELINES = {
   
2.    #'Tencent.pipelines.TencentPipeline': 300,
   
3.    'Tencent.pipelines.TencentMysqlDBPipeline': 200,
   
4. }
   
5. 
   
6. #Mysql数据库的配置信息
   
7. MYSQL_HOST = '127.0.0.1'
   
8. MYSQL_DBNAME = 'tencent'
   
9. MYSQL_USER = 'root'
   
10. MYSQL_PASSWD = ''
    
11. MYSQL_PORT = 3306
    

复制代码

5. pipelines.py

1. # import json
   
2. import pymysql
   
3. # from scrapy.conf import settings
   
4. from scrapy import log
   
5. from twisted.enterprise import adbapi
   
6. 
   
7. 
   
8. class TencentMysqlDBPipeline(object):
   
9.     @classmethod
   
10.     def from_settings(cls, settings):
    
11.         dbargs = dict(
    
12.             host=settings['MYSQL_HOST'],
    
13.             db=settings['MYSQL_DBNAME'],
    
14.             user=settings['MYSQL_USER'],
    
15.             passwd=settings['MYSQL_PASSWD'],
    
16.             port=settings['MYSQL_PORT'],
    
17.             charset='utf8',
    
18.             cursorclass=pymysql.cursors.DictCursor,
    
19.             use_unicode=True,
    
20.         )
    
21.         dbpool = adbapi.ConnectionPool('pymysql', **dbargs)
    
22.         return cls(dbpool)
    
23. 
    
24. 
    
25.     def __init__(self,dbpool):
    
26.         self.dbpool=dbpool
    
27. 
    
28.     #pipeline默认调用
    
29.     def process_item(self, item, spider):
    
30.         d=self.dbpool.runInteraction(self._conditional_insert, item, spider) #调用插入的方法
    
31.         log.msg("-------------------连接好了-------------------")
    
32.         d.addErrback(self._handle_error,item,spider) #调用异常处理方法
    
33.         d.addBoth(lambda _: item)
    
34.         return d
    
35. 
    
36.     def _conditional_insert(self, conn, item, spider):
    
37.         log.msg("-------------------打印-------------------")
    
38. 
    
39.         conn.execute("insert into hr (positionName, positionLink, positionType, peopleNumber, workLocation, publishTime) values(%s, %s, %s, %s, %s, %s)",
    
40.                      (item['positionName'], item['positionLink'], item['positionType'], item['peopleNumber'], item['workLocation'], item['publishTime']))
    
41.         log.msg("-------------------一轮循环完毕-------------------")
    
42.     def _handle_error(self, failue, item, spider):
    
43.         print(failue)
    

复制代码

6. spiders/tencent.py

1. # -*- coding: utf-8 -*-
   
2. import scrapy
   
3. from Tencent.items import TencentItem
   
4. # https://hr.tencent.com/position.php?&start=0#a
   
5. 
   
6. class TencentSpider(scrapy.Spider):
   
7.     name = 'tencent'
   
8.     allowed_domains = ['tencent.com']
   
9.     baseURL = 'https://hr.tencent.com/position.php?&start='
   
10.     offset = 0
    
11.     start_urls = [baseURL + str(offset)]
    
12. 
    
13. 
    
14.     def parse(self, response):
    
15.         node_list = response.xpath("//tr[@class='even'] | //tr[@class='odd']")
    
16.         for node in node_list:
    
17.             item = TencentItem()                # encode("utf-8") 将字符串从unicode转换到utf-8
    
18.             item['positionName'] = node.xpath("./td[1]/a/text()").extract()[0].encode("utf-8")
    
19.             item['positionLink'] = ("https://hr.tencent.com/" + node.xpath("./td[1]/a/@href").extract()[0]).encode("utf-8")
    
20.             if(len(node.xpath("./td[2]/text()"))):
    
21.                 item['positionType'] = node.xpath("./td[2]/text()").extract()[0].encode("utf-8")
    
22.             else:
    
23.                 item['positionType'] = "无类别".encode("utf-8")
    
24.             item['peopleNumber'] = node.xpath("./td[3]/text()").extract()[0].encode("utf-8")
    
25.             item['workLocation'] = node.xpath("./td[4]/text()").extract()[0].encode("utf-8")
    
26.             item['publishTime']  = node.xpath("./td[5]/text()").extract()[0].encode("utf-8")
    
27. 
    
28.             # yield 是返回数据后还能回来接着执行代码
    
29.             yield item
    
30. 
    
31.         #　第二种方法，提取下一页，爬去全部页面
    
32.         #  如果xpath取不到值 ==0  就不是最终页
    
33.         if len(response.xpath("//a[@class='noactive' and @id='next']")) == 0:
    
34.             nextUrl = "https://hr.tencent.com/" + response.xpath("//a[@id='next']/@href").extract()[0]
    
35.             yield scrapy.Request(nextUrl, callback=self.parse)
    
36. 
    
37.         #　第一种方法：指定爬取页数
    
38.         # if self.offset < 3980:
    
39.         #     self.offset += 10
    
40.         #     url = self.baseURL + str(self.offset)
    
41.         #     #scrapy.Request(url, callback=self.parse_next)
    
42.         #     yield scrapy.Request(url, callback=self.parse)
    
43. 
    
44.     # #def parse_next(self,response):
    
45.     #     #pass
    

复制代码

---

作者: Miss_love    时间: 2021-1-5 14:53
支持

---

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)

Powered by Discuz! X3.2