Scrapy 遇到的小坑_关于payload参数_scrapy第一次发送POST请求

歪小Y_02

要看解决方式的直接跳到最后首先思路，分析网站，找规律，我感觉这个是重要的一步。

1.先看看网页结构，找规律。

我们发现只要找到这个url然后请求，进入详细页面，就找到想要的数据了。

开始找规律爬取数据


我们找到了别人的api接口，里面有公司的一些相关信息，可以拼接id访问每个公司url


但是这里的url是一个post请求，而且需要Payload，我一开始没注意, 就当成普通的POST请求去使用，一直没有成功报400


这是我爬取拉钩招聘信息的时候模拟POST请求发送的数据，也成功了, 我琢磨了好久为什么，才发现POST请求 需要的是Payload 有效载荷
我百度发现要把数据转换为json数据发送

1. import requests
   
2. import json
   
3. 
   
4. 
   
5. class YuecaiSpider(object):
   
6.     def __init__(self):
   
7.         self.headers = {
   
8.             'Content-Type': 'application/json',
   
9.             'Host': 'iris.yuecai.com',
   
10.             'Origin': 'http://www.yuecai.com',
    
11.             # 'Referer': 'http://www.yuecai.com/purchase/?SiteID=21',
    
12.             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
    
13.         }
    
14.         self.data = {
    
15.             "page": 0,
    
16.             "size": 20,
    
17.             "sort": None,
    
18.             "teseData": 2,
    
19.             "word": None,
    
20.             "zone": None,
    
21.         }
    
22. 
    
23.     def start_requests(self):
    
24.         url = "http://iris.yuecai.com/iris/v1/purchase/search"
    
25.         res = requests.post(url, headers=self.headers, data=json.dumps(self.data))  #　这里要转换为json数据
    
26.         print(res.status_code)
    
27.         print(res.text)
    
28. 
    
29. 
    
30. if __name__ == '__main__':
    
31.     yuecai = YuecaiSpider()
    
32.     yuecai.start_requests()
    

复制代码

• 用requests写测试脚本的时候，一点问题没有，但是我改成scrapy后，一直没有数据。我不知道是为什么？？
  

1. import scrapy
   
2. import json
   
3. 
   
4. 
   
5. class YuecaiSpider(scrapy.Spider):
   
6.     name = 'yuecai'
   
7.     allowed_domains = ['yuecai.com']
   
8.     start_urls = ['http://iris.yuecai.com/iris/v1/purchase/search']
   
9. 
   
10.     site_name = '悦采网数据平台'
    
11.     version = '1.0'
    
12. 
    
13.     def __init__(self):
    
14.         super(YuecaiSpider, self).__init__()
    
15.         self.headers = {
    
16.             # 'Accept': 'application/json, text/javascript, */*; q=0.01',
    
17.             # 'Accept-Encoding': 'gzip, deflate',
    
18.             # 'Accept-Language': 'zh-CN,zh;q=0.9',
    
19.             # 'Connection': 'keep - alive',
    
20.             # 'Content - Length': '69',
    
21.             'Content-Type': 'application/json',
    
22.             'Host': 'iris.yuecai.com',
    
23.             'Origin': 'http://www.yuecai.com',
    
24.             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
    
25.         }
    
26. 
    
27.         self.data = {
    
28.             'word': None,   # 'NULL'
    
29.             'zone': None,    # 注意这边特别坑的  有的就是需要'null'这种数据
    
30.             'page': '1',     # 参数该用字符用字符
    
31.             'size': '20',    #
    
32.             'sort': None,
    
33.             'teseData': '2',
    
34.         }
    
35. 
    
36.     def start_requests(self):
    
37.         url = "http://iris.yuecai.com/iris/v1/purchase/search"
    
38.         yield scrapy.Request(
    
39.             url,
    
40.             method="POST",
    
41.             headers=self.headers,
    
42.             body=json.dumps(self.data),   # 这边数据也是要转换成json数据
    
43.             dont_filter=True,
    
44.             callback=self.parse,
    
45.         )
    
46. 
    
47.     def parse(self, response):
    
48.         print("*" * 50)
    
49.         print(response.status)
    
50.         print(response.text)
    
51.         print("*" * 50)
    

复制代码

把上面的请求的参数加了引号， 需要’null’的改成None(但是有的网站POST请求参数就是’null’)
好吧看看我运行的结果把。

Miss_love

支持分享