测试积点老人 发表于 2022-4-1 13:13:28

python网页爬取

如何用Selenium模块爬取加载的Ajax数据,点击网页的下一页,便加载一些Ajax数据,网址一直不变
我想获取网页中所有Ajax加载的数据,已经基本判断出我想要的数据包类型。

后面8个jsp文件就是我想要的
from selenium import webdriver
from bs4 import BeautifulSoup
brower=webdriver.Chrome()
brower.get('http://faculty.hust.edu.cn/xklb.jsp?urltype=tree.TreeTempUrl&wbtreeid=1004%27)
text=brower.page_source
brower.close()

strtext=BeautifulSoup(text,'lxml')
for i in strtext.select('a'):
with open('华中.txt','w',encoding='utf-8') as file:
file.write(i)

bellas 发表于 2022-4-2 09:37:39

等大神

qqq911 发表于 2022-4-2 11:53:22

模拟鼠标操作,获取全部信息

kallinr 发表于 2022-4-2 18:19:50

传递键鼠操作
页: [1]
查看完整版本: python网页爬取