关于爬虫selenium的使用问题

测试积点老人

这是爬虫文件，就这个一个爬虫

1. class FirstSpiderSpider(scrapy.Spider):
   
2.     name = 'first_spider'
   
3.     allowed_domains = ['movie.douban.com']
   
4.     start_urls = ['https://read.douban.com/?dcm=original-nav']
   
5. 
   
6.     def parse(self, response):
   
7.         title = response.xpath('//*[@id="react-root"]/div/div/div[3]/div/div[2]/div/div/div[2]/div/div[1]/div['
   
8.                                '2]/h4/a/span/text()').extract_first()
   
9.         print(title)
   

复制代码

有一个下载中间件，而且启用了

1. class LolDownloaderMiddleware:
   
2.     def process_request(self, request, spider):
   
3.         url = request.url
   
4.         # 开启selenium
   
5.         driver = webdriver.PhantomJS(executable_path=r'D:\tool\phantomjs-2.1.1-windows\bin\phantomjs.exe')
   
6.         driver.get(url)
   
7.         c = driver.find_element(By.XPATH, '//*[@id="react-root"]/div/div/div[3]/a[1]')
   
8.         c.click()
   
9.         time.sleep(1)
   
10.         data = driver.page_source  # 获取页面源代码
    
11.         driver.close()  # 关闭selenium
    
12.         return HtmlResponse(url=url, body=data, encoding='utf-8', request=request)

复制代码

我的问题就是它的执行流程，爬虫启动一开始，注意我说的最开始，start_urls里面的这个唯一地址，是先经过下载中间件，再到下载器，然后再返回给爬虫处理？

jingzizx

先启动吧

qqq911

可以的

kallinr

中间

bellas

等大神