selenium数据爬取

测试积点老人 发表于 2022-6-15 11:12:12

selenium进行爬虫的时候无法实现翻页功能，总是在爬取第一页
def run(self):
#模拟浏览器打开网页
self.driver.get(self.url)
while True:
source = self.driver.page_source
self.parse_list_page(source)    time.sleep(2)
   next_btn = self.driver.find_element_by_link_text('下一页')
   next_btn.click()

qqq911 发表于 2022-6-16 10:50:53