51Testing软件测试论坛

标题: selenium数据爬取 [打印本页]

---

作者: 测试积点老人    时间: 2022-6-15 11:12
标题: selenium数据爬取
selenium进行爬虫的时候无法实现翻页功能，总是在爬取第一页

1. def run(self):
   
2. #模拟浏览器打开网页
   
3. self.driver.get(self.url)
   
4. while True:
   
5. source = self.driver.page_source
   
6. self.parse_list_page(source)

复制代码

1.         time.sleep(2)
   
2.         next_btn = self.driver.find_element_by_link_text('下一页')
   
3.         next_btn.click()

复制代码

---

作者: qqq911    时间: 2022-6-16 10:50
先确保定位准确

---

作者: 海海豚    时间: 2022-6-16 14:13
看下日志，有报错吗

---

作者: jingzizx    时间: 2022-6-16 15:39
先确保页数

---

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)

Powered by Discuz! X3.2