51Testing软件测试论坛

标题: Selenium破解动态请求，自动爬取百度文库的PPT！ [打印本页]
作者: lsekfe    时间: 2020-8-7 09:49
标题: Selenium破解动态请求，自动爬取百度文库的PPT！
这次，我们来爬取百度文库的VIP才能下载的PPT文档。我们学爬虫的时候，最让我们头疼的可能就是动态请求了，因为不破解里面的接口，我们就没有办法拿到我们想要的数据。
　　破解接口确实是有很大的难度，对于初学者甚至是滋生爬虫工程师都是很有难度的，毕竟我们爬虫是与人在对抗而不是真的和机器相爱相杀。
　　所以，今天我们用selenium直接获取到动态渲染后的参数来下载我们想要的数据。
　　一、爬取前的准备
　　python库
　　requests
　　lxml
　　selenium
　　selenium驱动器
　　谷歌浏览器
　　selenium原理介绍
　　它可以把渲染之后的前端页面返回给我们，这样我们就能够拿到我们想要的数据了。
　　二、实现思路
　　首先，我们要引入chrome自动化驱动器，然后加载这个网页。
  1. from selenium import webdriver
  2. 　　chrome = webdriver.Chrome("F:/selln/chromedriver.exe") # 这个就是你放下载好的selenium的路径，精确到exe文件。
  3. 　　chrome.get("https://wenku.baidu.com/view/3980c7ccce22bcd126fff705cc17552707225efc.html?fr=search")
复制代码
从这个页面中，我们发现，其他都很正常，但是呢，这个页面有一个反扒措施，就是有一个“还剩xx页未读，继续阅读”这个字段，其实，这个就是我们这次遇到的最大的反爬。
　　在解决这个反爬问题之前，我们先分析一下最先出来的那几张PPT，选择我们爬取它的方法。
　　三、分析前端页面
　　1.一开始就展现出来的页面分析

[attach]129185[/attach]
我们发现，在前三个显示出来的ppt是以图片的形式，而且，图片的url已经暴露在了页面中，并且，存储在前端中的格式是完全相同的，非常的理想。
　　2.隐藏页面的分析
　　现在，我们点击继续阅读，看看之后的图片是不是也是这么储存的。

[attach]129186[/attach]
　我们发现，接下来隐藏的页面中，图片的url存储方式并没有发生什么大变化，无非解释外面又套了一层div，并且div的class属性，仅仅只在reader-pageNo-<页数>，发生了变化。
　　到此，我们前端就分析完了。总结如下：
　　一开始展示的页面中，图片的url在class是ppt-image-wrap的div下的img标签
　　隐藏的图片url仅仅只在刚刚分析出来的div上套了一层盒子，并且class中仅仅只有reader-pageNo-<页数>这个参数需要改变
　　3.思路
　　那我们先用selenium，渲染出隐藏后的前端页面，然后将渲染后的页面传入lxml中的etree中去解析，再通过xpath把url再匹配出来，通过request.get()来下载图片，最后通过上下文处理器传入文件中保存。
　　这样，我们的PPT爬取就实现了。
　　4.开始实现
　　在分析完了前端页面后，我们可以开始实现爬取了。
　　代码

  1. import requests
  2. 　　from lxml import etree
  3. 　　from selenium import webdriver
  4. 　　chrome = webdriver.Chrome("F:/selln/chromedriver.exe")
  5. 　　chrome.get("https://wenku.baidu.com/view/3980c7ccce22bcd126fff705cc17552707225efc.html?fr=search")
  6. 　　headers = {
  7. 　　'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
  8. 　　}
  9. 　　input("阻塞，手动点击加载更多的页面")
  10. 　　selection = etree.HTML(chrome.page_source)
  11. 　　import time
  12. 　　# 模拟滑动
  13. 　　for i in range(1,31):
  14. 　　js = "var q=document.documentElement.scrollTop={}".format(i * 535)  # javascript语句
  15. 　　chrome.execute_script(js)
  16. 　　time.sleep(1)
  17. 　　empty_list = []
  18. 　　all_ppt_div = selection.xpath("//div[@class='ppt-image-wrap']/img/@src")
  19. 　　for j in all_ppt_div:
  20. 　　empty_list.append(j)
  21. 　　time.sleep(3)
  22. 　　selection = etree.HTML(chrome.page_source)
  23. 　　for i in range(4,34):
  24. 　　all_ppt_div = selection.xpath("//div[@class='ppt-page-item reader-pageNo-%s ppt-bd hidden-doc-banner']/div/img/@src"%str(i))
  25. 　　try:
  26. 　　empty_list.append(all_ppt_div[0])
  27. 　　except:
  28. 　　break
  29. 　　cout = 1
  30. 　　empty_list = list(set(empty_list))
  31. 　　for i in empty_list:
  32. 　　r = requests.get(str(i))
  33. 　　with open("%s.jpg"%str(cout),'wb') as f:
  34. 　　f.write(r.content)
  35. 　　cout +=1
复制代码
　5.代码解释
　　1）input阻断
　　根据刚刚讲的原理，我们放个input阻断程序运行，然后我们手动点击继续阅读，然后回到程序中按回车继续进行程序。
　　2）sleep函数
　　这个函数是用来模拟的第一步。因为在读取的过程中，页面的加载也是需要时间的，所以我们需要有等待的时间。
　　3）模拟滑动

  1. # 模拟滑动
  2. 　　for i in range(1,31):
  3. 　　js = "var q=document.documentElement.scrollTop={}".format(i * 535)  # javascript语句
  4. 　　chrome.execute_script(js)
  5. 　　time.sleep(1)
复制代码
这个代码，大家只需要用的时候复制就好了，其中，535这个就是一个参数，在实验中，发现535这个参数配合上range()使用，能够实现每次都加载一个到两个页面。
　　大家可能对range里面的参数感到好奇，这个我也解释一下。这个参数，就是剩下的页数，比如在点击继续阅读后，还剩31个PPT，那么range的最后就填31。这个是根据你想要的PPT的页数来的。
　　sleep是要等待滑动后，页面加载出来。这样我们才能匹配到图片的url。
　　4）图片url匹配

  1.   empty_list = []
  2. 　　all_ppt_div = selection.xpath("//div[@class='ppt-image-wrap']/img/@src")
  3. 　　for j in all_ppt_div:
  4. 　　empty_list.append(j)
  5. 　　time.sleep(3)
  6. 　　selection = etree.HTML(chrome.page_source)
  7. 　　for i in range(4,34):
  8. 　　all_ppt_div = selection.xpath("//div[@class='ppt-page-item reader-pageNo-%s ppt-bd hidden-doc-banner']/div/img/@src"%str(i))
  9. 　　try:
  10. 　　empty_list.append(all_ppt_div[0])
  11. 　　except:
  12. 　　break
复制代码

首先，一开始展现出来的图片我们就直接用xpath匹配了，我们来看看隐藏的url匹配
　　在第二个for循环中，range里面的参数，就是接下来显示的，和最后一个图片的url所对应的数字。
　　在all_ppt_div后面，我们看reader-pageNo-%s，其中，%s就是用来传数字的，因为刚刚我们分析出来，div中class的变化和PPT的页数是一致的，所以通过这个方法传进去。
　　然后再将url存进列表中。
　　5）文件存储
  1. cout = 1
  2. 　　empty_list = list(set(empty_list))
  3. 　　for i in empty_list:
  4. 　　r = requests.get(str(i))
  5. 　　with open("%s.jpg"%str(cout),'wb') as f:
  6. 　　f.write(r.content)
  7. 　　cout +=1
复制代码
　这个就是文件操作，存入当前目录。其中，content就是文件的二进制形式。
　　四、总结
　　到此，百度文库PPT的爬取就结束啦。大家可以用这个代码和思想爬取绝大多数的百度文库ppt，因为前端的框架是基本不会变的，所以每个PPT中图片url在前端的存储格式也是一样的，我们要改的也只是程序中的部分参数就可以了。
作者: 郭小贱    时间: 2020-8-10 17:53
传说中不充VIP 也能“白嫖”付费内容？
作者: Miss_love    时间: 2020-12-25 13:55
学习了



欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/) Powered by Discuz! X3.2