51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 1801|回复: 3
打印 上一主题 下一主题

selenium爬取网页时被自动跳转

[复制链接]
  • TA的每日心情
    无聊
    昨天 09:47
  • 签到天数: 528 天

    连续签到: 1 天

    [LV.9]测试副司令

    跳转到指定楼层
    1#
    发表于 2021-11-11 10:28:51 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    1测试积点
    近日在用selenium练习爬虫,发现在在执行到某一段代码的时候,这个页面便会自己跳转到一个无关页面。我怀疑是被反爬了。请问这种情况下该怎么办呢?
    代码如下(在执行到32行的时候跳转):
    1. from selenium import webdriver
    2. import time
    3. driver = webdriver.Chrome()
    4. driver.get('https://wenku.baidu.com/view/83a62ad5316c1eb91a37f111f18583d048640f3c')
    5. time.sleep(5)
    6. elements=driver.find_elements_by_class_name('read-all')#继续阅读
    7. element=elements[0]
    8. driver.execute_script("arguments[0].click();",element)#特殊,以及这个点击形式能不能变得传统
    9. #element.click()传统形式
    10. time.sleep(5)
    11. yhm=driver.find_elements_by_css_selector('#TANGRAM__PSP_11__footerULoginBtn')#用户名登录
    12. yhmd=yhm[0]
    13. yhmd.click()
    14. yh=driver.find_elements_by_css_selector('#TANGRAM__PSP_11__userName')#用户名
    15. yh=yh[0]
    16. yh.send_keys('用户名')
    17. mm=driver.find_elements_by_css_selector('#TANGRAM__PSP_11__password')#密码
    18. mm=mm[0]
    19. mm.send_keys('密码')
    20. dl=driver.find_elements_by_css_selector('#TANGRAM__PSP_11__submit')#点击登录按钮
    21. dl=dl[0]
    22. dl.click()
    23. time.sleep(10)
    24. #gk=driver.find_elements_by_class_name('close-btn.default-bg')#关闭广告
    25. #gkc=gk[0]
    26. #gkc.click()
    27. #time.sleep(5)
    28. #下边为下滑点击
    29. driver.execute_script('window.scrollBy(0,1000)')#特殊
    30. print('你好')
    31. zc=driver.find_elements_by_class_name('read-all')#再次点击继续阅读
    32. print('woshi')
    33. zcc=zc[0]#在这跳转
    34. driver.execute_script("arguments[0].click();",zcc)#特殊,以及这个点击形式能不能变得传统
    35. time.sleep(10)
    36. print('zaizhe')
    37. driver.execute_script('window.scrollBy(0,10000)')#特殊
    38. print('天天')
    39. xt=driver.find_elements_by_class_name('reader-word-layer')#爬取文章内容
    40. print('meitian')
    41. xt2=[str(i.text) for i in xt]
    42. print(''.join(xt2))
    复制代码


    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    收藏收藏
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    9 小时前
  • 签到天数: 1803 天

    连续签到: 2 天

    [LV.Master]测试大本营

    2#
    发表于 2021-11-12 10:10:23 | 只看该作者
    看下能不能绕过这条呢
    回复

    使用道具 举报

  • TA的每日心情
    慵懒
    8 小时前
  • 签到天数: 1518 天

    连续签到: 2 天

    [LV.Master]测试大本营

    3#
    发表于 2021-11-12 10:23:12 | 只看该作者
    检查下定位是否正确
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    10 小时前
  • 签到天数: 2814 天

    连续签到: 2 天

    [LV.Master]测试大本营

    4#
    发表于 2021-11-12 15:53:23 | 只看该作者
    能不能绕过去
    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-11-19 18:34 , Processed in 0.062422 second(s), 22 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表