51Testing软件测试论坛

标题: 为什么使用scrapyd部署后，启动包含selenium插件的爬虫全部失败？ [打印本页]

作者: 测试积点老人 时间: 2022-5-16 11:24
标题: 为什么使用scrapyd部署后，启动包含selenium插件的爬虫全部失败？

在scrapy终端中手动启动爬虫全部正常，通过scrapyd部署启动包含selenium插件的爬虫，运行爬虫文件，但不运行selenium插件，没有出现爬虫结果，但是查看scrapyd的job正常启动，运行时间只有1s。

通过scrapy的settings设置selenium插件，

复制代码

在spider中通过yield SeleniumRequest使用selenium。

scrapyd报错：

venv/lib/python3.8/site-packages/scrapy/utils/project.py:81: ScrapyDeprecationWarning: Use of environment variables prefixed with SCRAPY_ to override settings is deprecated. The following environment variables are currently defined: JOB, LOG_FILE, SLOT, SPIDER
warnings.warn(

复制代码

（该警告已经解决）

但是目前使用scrapyd调度spider仍然无法启动selenium插件，是否因为scrapy-selenium插件不支持scrapyd？

求解决！如何才能让scrapyd正常使用selenium插件？

作者: 郭小贱 时间: 2022-5-17 09:25
这块不是很清楚了... 看看有没有其他老师给你解答下。

作者: qqq911 时间: 2022-5-17 11:11
检查下环境

作者: kallinr 时间: 2022-5-17 11:40
不清楚

作者: jingzizx 时间: 2022-5-17 13:19
没启动起来？

作者: 海海豚 时间: 2022-5-17 14:23
有报错吗，是不是环境配置的不对

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)