软件测试论坛 › [软件测试新手上路] › JAVA中用selenium爬取动态数据（百度的解决方案都没有解决）

亿艺一 发表于 2020-5-9 21:01:11

JAVA中用selenium爬取动态数据（百度的解决方案都没有解决）

问题描述

爬取在点击“查看更多”按钮后js渲染后的HTML源码


测试代码
if (isNumeric(code)){
            System.out.println("是数字");
            //点击登录操作
            driver.get(PropertiesUtil.getValue("chaoxing.contentUrl"));
            Thread.sleep(5000);
            //点击查看更多
            WebElement allMore = driver.findElement(By.id("more_reply"));
            allMore.click();
            //获取页面内容
            WebElement element = driver.findElement(By.xpath("/html"));

            System.out.println(element.getAttribute("outerHTML"));
      WebElement btn = driver.findElement(By.className("zl_btn_right"));
      btn.click();
      Thread.sleep(3000);有没有大佬指导一下。。。。。

邮箱地址：xinjun_zhangh@163.com

亿艺一 发表于 2020-5-9 21:02:39

获取不到js渲染后的HTML内容

查看完整版本: JAVA中用selenium爬取动态数据（百度的解决方案都没有解决）