测试积点老人 发表于 2022-5-16 11:24:22

为什么使用scrapyd部署后,启动包含selenium插件的爬虫全部失败?

在scrapy终端中手动启动爬虫全部正常,通过scrapyd部署启动包含selenium插件的爬虫,运行爬虫文件,但不运行selenium插件,没有出现爬虫结果,但是查看scrapyd的job正常启动,运行时间只有1s。通过scrapy的settings设置selenium插件,SELENIUM_DRIVER_NAME = 'chrome'
SELENIUM_DRIVER_EXECUTABLE_PATH = which(r'./chromedriver')
SELENIUM_DRIVER_ARGUMENTS = []在spider中通过yield SeleniumRequest使用selenium。scrapyd报错:venv/lib/python3.8/site-packages/scrapy/utils/project.py:81: ScrapyDeprecationWarning: Use of environment variables prefixed with SCRAPY_ to override settings is deprecated. The following environment variables are currently defined: JOB, LOG_FILE, SLOT, SPIDER
warnings.warn((该警告已经解决)但是目前使用scrapyd调度spider仍然无法启动selenium插件,是否因为scrapy-selenium插件不支持scrapyd?求解决!如何才能让scrapyd正常使用selenium插件?

郭小贱 发表于 2022-5-17 09:25:20

这块不是很清楚了...看看有没有其他老师给你解答下。

qqq911 发表于 2022-5-17 11:11:27

检查下环境

kallinr 发表于 2022-5-17 11:40:15

不清楚

jingzizx 发表于 2022-5-17 13:19:56

没启动起来?

海海豚 发表于 2022-5-17 14:23:54

有报错吗,是不是环境配置的不对
页: [1]
查看完整版本: 为什么使用scrapyd部署后,启动包含selenium插件的爬虫全部失败?