python网页爬取
如何用Selenium模块爬取加载的Ajax数据,点击网页的下一页,便加载一些Ajax数据,网址一直不变我想获取网页中所有Ajax加载的数据,已经基本判断出我想要的数据包类型。
后面8个jsp文件就是我想要的
from selenium import webdriver
from bs4 import BeautifulSoup
brower=webdriver.Chrome()
brower.get('http://faculty.hust.edu.cn/xklb.jsp?urltype=tree.TreeTempUrl&wbtreeid=1004%27)
text=brower.page_source
brower.close()
strtext=BeautifulSoup(text,'lxml')
for i in strtext.select('a'):
with open('华中.txt','w',encoding='utf-8') as file:
file.write(i)
等大神 模拟鼠标操作,获取全部信息 传递键鼠操作
页:
[1]