Python自定义翻页老出现问题

测试积点老人

学习爬京东众筹前50页热卖商品信息，可以翻页，但不按顺序翻页，乱跳，请问是哪里出现问题了呢

1. import scrapy
   
2. # 导入items类， 使items类生效
   
3. from jd1.items import Jd1Item
   
4. import time
   
5. 
   
6. class Jdzch1Spider(scrapy.Spider):
   
7.     name = 'jdzch1'
   
8.     start_urls = ['https://z.jd.com/bigger/search.html?sort=zhtj&page=1']
   
9. 
   
10.     def parse(self, response):
    
11.             result = response.xpath('//li[@class="info type_now"]')
    
12.         # 循环每个商品，提取所需信息
    
13.             for i in result:
    
14.             # 定义 item 字典
    
15.                 item = Jd1Item()
    
16.                 # 筛选信息
    
17.                 item['title'] = i.xpath('.//h4[@class="link-tit"]/text()').extract_first()
    
18.                 item['perc'] = i.xpath('.//li[@class="fore1"]/p[@class="p-percent"]/text()').extract_first()
    
19.                 item['outc1'] = i.xpath('.//li[@class="fore1"]/p[@class="p-extra"]/text()').extract_first()
    
20.                 item['money'] = i.xpath('.//li[@class="fore2"]/p[@class="p-percent"]/text()').extract_first()
    
21.                 item['outc2'] = i.xpath('.//li[@class="fore2"]/p[@class="p-extra"]/text()').extract_first()
    
22.                 item['time'] = i.xpath('.//li[@class="fore3"]/p[@class="p-percent"]/text()').extract_first()
    
23.                 item['outc3'] = i.xpath('.//li[@class="fore3"]/p[@class="p-extra"]/text()').extract_first()
    
24.                 yield item
    
25.             time.sleep(3)
    
26. 
    
27.     def start_requests(self):
    
28.         j = 1
    
29.         for j in range(5,0)[::-1]:      
    
30.             newurl = "https://z.jd.com/bigger/search.html?sort=zhtj&page=%d"  %  (j)
    
31.             yield scrapy.Request(newurl, callback=self.parse)

复制代码

海海豚

def start_requests(self):
        for j in range(1,51):      
            newurl = "https://z.jd.com/bigger/search.html?sort=zhtj&page=%d"  %  (j)
            yield scrapy.Request(newurl, callback=self.parse)

abcsell

因为抓取的时候是按照响应速度抓取的

qqq911

翻页的话找下一页

jingzizx

按照上面的试下