51Testing软件测试论坛

标题: JAVA中用selenium爬取动态数据（百度的解决方案都没有解决） [打印本页]

---

作者: 亿艺一    时间: 2020-5-9 21:01
标题: JAVA中用selenium爬取动态数据（百度的解决方案都没有解决）
问题描述
[attach]128782[/attach]
爬取在点击“查看更多”按钮后js渲染后的HTML源码


测试代码

1. if (isNumeric(code)){
   
2.             System.out.println("是数字");
   
3.             //点击登录操作
   
4.             driver.get(PropertiesUtil.getValue("chaoxing.contentUrl"));
   
5.             Thread.sleep(5000);
   
6.             //点击查看更多
   
7.             WebElement allMore = driver.findElement(By.id("more_reply"));
   
8.             allMore.click();
   
9.             //获取页面内容
   
10.             WebElement element = driver.findElement(By.xpath("/html"));
    
11. 
    
12.             System.out.println(element.getAttribute("outerHTML"));
    
13.         WebElement btn = driver.findElement(By.className("zl_btn_right"));
    
14.         btn.click();
    
15.         Thread.sleep(3000);

复制代码

有没有大佬指导一下。。。。。

邮箱地址：xinjun_zhangh@163.com

---

作者: 亿艺一    时间: 2020-5-9 21:02
获取不到js渲染后的HTML内容

---

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)

Powered by Discuz! X3.2