python网页爬取

测试积点老人

如何用Selenium模块爬取加载的Ajax数据，点击网页的下一页，便加载一些Ajax数据，网址一直不变
我想获取网页中所有Ajax加载的数据，已经基本判断出我想要的数据包类型。

[color=rgba(0, 0, 0, 0.75)]后面8个jsp文件就是我想要的

1. from selenium import webdriver
   
2. from bs4 import BeautifulSoup
   
3. brower=webdriver.Chrome()
   
4. brower.get('http://faculty.hust.edu.cn/xklb.jsp?urltype=tree.TreeTempUrl&wbtreeid=1004%27)
   
5. text=brower.page_source
   
6. brower.close()
   
7. 
   
8. strtext=BeautifulSoup(text,'lxml')
   
9. for i in strtext.select('a'):
   
10. with open('华中.txt','w',encoding='utf-8') as file:
    
11. file.write(i)

复制代码

bellas

等大神

qqq911

模拟鼠标操作，获取全部信息

kallinr

传递键鼠操作