51Testing软件测试论坛

标题: 无法爬取boss直聘岗位信息对应的标签列表 [打印本页]

作者: 测试积点老人 时间: 2021-10-12 10:23
标题: 无法爬取boss直聘岗位信息对应的标签列表
目的：获取li标签列表，从而获取岗位信息和岗位描述
[attach]134762[/attach]
scrapy效果
[attach]134763[/attach]
requests效果
[attach]134764[/attach]
selenium效果
[attach]134765[/attach]
结论
使用selenium可以爬取li标签列表，但是使用scrapy框架和requests模块无法得到li标签列表

作者: 海海豚 时间: 2021-10-13 09:35
直接用selenium吧

作者: qqq911 时间: 2021-10-13 10:27
有反爬机制吧

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)