scrapy框架+formdata+ajax爬取及翻页问题

测试积点老人

使用scrapy框架爬取ajax网页，以中国地震台网——历史查询为例，我想爬取某个时间段内所有的数据，但是我的代码并不能实现，找了一些相关问题参考，最终代码如下，未能实现，请问大哥大佬们能支个招吗。。。（scrapy框架，已测试过代码其他配置等没有问题）

1. #spider文件：
   
2. 
   
3. # -*- coding: utf-8 -*-
   
4. import scrapy
   
5. from EarthquakeScrapy.items import EarthquakescrapyItem
   
6. 
   
7. 
   
8. class TestScrapy(scrapy.Spider):
   
9.    name = 'test'  # 爬虫的名字
   
10.    allowed_domains = ['ceic.ac.cn/search']  
    
11.    start_urls = 'http://www.ceic.ac.cn/ajax/search?page=&&start=&&end=&&jingdu1=&&jingdu2=&&weidu1=&&weidu2=&&height1=&&height2=&&zhenji1=&&zhenji2='
    
12.    # 爬取页码循环次数，一共57页
    
13.    all_page = 3
    
14. 
    
15.    def start_requests(self):
    
16.        # 遍历各页
    
17.        for i in range(1, self.all_page + 1):  # 从前端获取的页面[1,57+1），循环1到57页
    
18.            yield scrapy.FormRequest(self.start_urls,
    
19.                                     formdata={'page': 'i', 'start': '2019-03-25','end': '2020-03-25',
    
20.                                               'jingdu1': '', 'jingdu2': '','weidu1': '', 'weidu2': '',
    
21.                                               'height1': '','height2': '', 'zhenji1': '', 'zhenji2': '','callback': ''},
    
22.                                     callback=self.parse,
    
23.                                     dont_filter=True)  # 请求对应的内容
    
24. 
    
25.    def parse(self, response):
    
26.        result = eval(response.body.decode('utf-8'))
    
27.        records = result['shuju']
    
28.        item = EarthquakescrapyItem()
    
29.        print("**")#测试用
    
30.        for record in records:
    
31.            item['level'] = record['M']
    
32.            item['time'] = record['O_TIME']
    
33.            item['longitude'] = record['EPI_LON']
    
34.            item['latitude'] = record['EPI_LAT']
    
35.            item['depth'] = record['EPI_DEPTH']
    
36.            item['address'] = record['LOCATION_C']
    
37.            print(record['M'])#测试爬取数据情况
    
38.            # yield item
    
39. 
    

复制代码

海海豚

https://ask.csdn.net/questions/1060422  参考下这个

郭小贱

1楼的链接可以参考看下~

bellas

https://ask.csdn.net/questions/1060422  参考下这个链接

qqq911

用beautifulsoup啊

jingzizx

单步调试下