这段selenium爬虫程序问题出在哪里

测试积点老人

问题遇到的现象和发生背景

爬到第二页就提示没有获得元素，第一页都是可以获取的，是怎么回事呢

1. import time
   
2. from selenium import webdriver
   
3. import pandas as pd
   
4. driver = webdriver.Edge("C:\Program Files (x86)\Microsoft\Edge\Application\msedgedriver.exe")
   
5. driver.get('https://movie.douban.com/top250')
   
6. driver.implicitly_wait(10)
   
7. datas=[]
   
8. 
   
9. while True:
   
10.     #获取所有li
    
11.     allLists = driver.find_elements_by_xpath('//*[@id="content"]/div[@class="grid-16-8 clearfix"]/div[@class="article"]/ol[@class="grid_view"]/li')
    
12. 
    
13.     for eachList in allLists:
    
14.         #第一页数据正常，爬取第二页时提示没有取到元素
    
15.         rank = eachList.find_element_by_xpath('./div[@class="item"]/div[@class="pic"]/em').text
    
16.         title = eachList.find_element_by_xpath('./div/div[2]/div[1]/a').text
    
17.         rating = eachList.find_element_by_xpath('./div/div[2]/div[2]/div/span[2]').text
    
18.         intro = eachList.find_element_by_xpath('./div/div[2]/div[2]/p[2]/span').text
    
19.         NumberofPeople  = eachList.find_element_by_xpath('./div/div[2]/div[2]/div/span[4]').text
    
20.         # print(rank)
    
21.         datas.append({
    
22.             '排名':rank,
    
23.             '电影名称':title,
    
24.             '评分':rating,
    
25.             '介绍':intro,
    
26.             '评价人数':NumberofPeople
    
27.         })
    
28.         if driver.find_element_by_xpath('//*[@id="content"]/div/div[1]/div[2]/span[3]/a'):
    
29.              nextPage = driver.find_element_by_xpath('//*[@id="content"]/div/div[1]/div[2]/span[3]/a')
    
30.              nextPage.click()
    
31.              time.sleep(2)
    
32.         else:
    
33.             break
    
34. 
    
35. 
    
36. df = pd.DataFrame(datas)
    
37. df.to_excel('selenium豆瓣top250.xlsx',index = False)
    

复制代码

运行结果及报错内容我的解答思路和尝试过的方法我想要达到的结果

导出所有数据到excel表格

qqq911

看下换页以后地址换了没

jingzizx

确认是不是到了第二页