Selenium破解动态请求，自动爬取百度文库的PPT！

lsekfe

这次，我们来爬取百度文库的VIP才能下载的PPT文档。我们学爬虫的时候，最让我们头疼的可能就是动态请求了，因为不破解里面的接口，我们就没有办法拿到我们想要的数据。
　　破解接口确实是有很大的难度，对于初学者甚至是滋生爬虫工程师都是很有难度的，毕竟我们爬虫是与人在对抗而不是真的和机器相爱相杀。
　　所以，今天我们用selenium直接获取到动态渲染后的参数来下载我们想要的数据。
　　一、爬取前的准备
　　python库
　　requests
　　lxml
　　selenium
　　selenium驱动器
　　谷歌浏览器
　　selenium原理介绍
　　它可以把渲染之后的前端页面返回给我们，这样我们就能够拿到我们想要的数据了。
　　二、实现思路
　　首先，我们要引入chrome自动化驱动器，然后加载这个网页。

1. from selenium import webdriver
   
2. 　　chrome = webdriver.Chrome("F:/selln/chromedriver.exe") # 这个就是你放下载好的selenium的路径，精确到exe文件。
   
3. 　　chrome.get("https://wenku.baidu.com/view/3980c7ccce22bcd126fff705cc17552707225efc.html?fr=search")

复制代码

从这个页面中，我们发现，其他都很正常，但是呢，这个页面有一个反扒措施，就是有一个“还剩xx页未读，继续阅读”这个字段，其实，这个就是我们这次遇到的最大的反爬。
　　在解决这个反爬问题之前，我们先分析一下最先出来的那几张PPT，选择我们爬取它的方法。
　　三、分析前端页面
　　1.一开始就展现出来的页面分析


我们发现，在前三个显示出来的ppt是以图片的形式，而且，图片的url已经暴露在了页面中，并且，存储在前端中的格式是完全相同的，非常的理想。
　　2.隐藏页面的分析
　　现在，我们点击继续阅读，看看之后的图片是不是也是这么储存的。


　我们发现，接下来隐藏的页面中，图片的url存储方式并没有发生什么大变化，无非解释外面又套了一层div，并且div的class属性，仅仅只在reader-pageNo-<页数>，发生了变化。
　　到此，我们前端就分析完了。总结如下：
　　一开始展示的页面中，图片的url在class是ppt-image-wrap的div下的img标签
　　隐藏的图片url仅仅只在刚刚分析出来的div上套了一层盒子，并且class中仅仅只有reader-pageNo-<页数>这个参数需要改变
　　3.思路
　　那我们先用selenium，渲染出隐藏后的前端页面，然后将渲染后的页面传入lxml中的etree中去解析，再通过xpath把url再匹配出来，通过request.get()来下载图片，最后通过上下文处理器传入文件中保存。
　　这样，我们的PPT爬取就实现了。
　　4.开始实现
　　在分析完了前端页面后，我们可以开始实现爬取了。
　　代码

1. import requests
   
2. 　　from lxml import etree
   
3. 　　from selenium import webdriver
   
4. 　　chrome = webdriver.Chrome("F:/selln/chromedriver.exe")
   
5. 　　chrome.get("https://wenku.baidu.com/view/3980c7ccce22bcd126fff705cc17552707225efc.html?fr=search")
   
6. 　　headers = {
   
7. 　　'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
   
8. 　　}
   
9. 　　input("阻塞，手动点击加载更多的页面")
   
10. 　　selection = etree.HTML(chrome.page_source)
    
11. 　　import time
    
12. 　　# 模拟滑动
    
13. 　　for i in range(1,31):
    
14. 　　js = "var q=document.documentElement.scrollTop={}".format(i * 535)  # javascript语句
    
15. 　　chrome.execute_script(js)
    
16. 　　time.sleep(1)
    
17. 　　empty_list = []
    
18. 　　all_ppt_div = selection.xpath("//div[@class='ppt-image-wrap']/img/@src")
    
19. 　　for j in all_ppt_div:
    
20. 　　empty_list.append(j)
    
21. 　　time.sleep(3)
    
22. 　　selection = etree.HTML(chrome.page_source)
    
23. 　　for i in range(4,34):
    
24. 　　all_ppt_div = selection.xpath("//div[@class='ppt-page-item reader-pageNo-%s ppt-bd hidden-doc-banner']/div/img/@src"%str(i))
    
25. 　　try:
    
26. 　　empty_list.append(all_ppt_div[0])
    
27. 　　except:
    
28. 　　break
    
29. 　　cout = 1
    
30. 　　empty_list = list(set(empty_list))
    
31. 　　for i in empty_list:
    
32. 　　r = requests.get(str(i))
    
33. 　　with open("%s.jpg"%str(cout),'wb') as f:
    
34. 　　f.write(r.content)
    
35. 　　cout +=1

复制代码

　5.代码解释
　　1）input阻断
　　根据刚刚讲的原理，我们放个input阻断程序运行，然后我们手动点击继续阅读，然后回到程序中按回车继续进行程序。
　　2）sleep函数
　　这个函数是用来模拟的第一步。因为在读取的过程中，页面的加载也是需要时间的，所以我们需要有等待的时间。
　　3）模拟滑动

1. # 模拟滑动
   
2. 　　for i in range(1,31):
   
3. 　　js = "var q=document.documentElement.scrollTop={}".format(i * 535)  # javascript语句
   
4. 　　chrome.execute_script(js)
   
5. 　　time.sleep(1)

复制代码

这个代码，大家只需要用的时候复制就好了，其中，535这个就是一个参数，在实验中，发现535这个参数配合上range()使用，能够实现每次都加载一个到两个页面。
　　大家可能对range里面的参数感到好奇，这个我也解释一下。这个参数，就是剩下的页数，比如在点击继续阅读后，还剩31个PPT，那么range的最后就填31。这个是根据你想要的PPT的页数来的。
　　sleep是要等待滑动后，页面加载出来。这样我们才能匹配到图片的url。
　　4）图片url匹配

1.   empty_list = []
   
2. 　　all_ppt_div = selection.xpath("//div[@class='ppt-image-wrap']/img/@src")
   
3. 　　for j in all_ppt_div:
   
4. 　　empty_list.append(j)
   
5. 　　time.sleep(3)
   
6. 　　selection = etree.HTML(chrome.page_source)
   
7. 　　for i in range(4,34):
   
8. 　　all_ppt_div = selection.xpath("//div[@class='ppt-page-item reader-pageNo-%s ppt-bd hidden-doc-banner']/div/img/@src"%str(i))
   
9. 　　try:
   
10. 　　empty_list.append(all_ppt_div[0])
    
11. 　　except:
    
12. 　　break

复制代码

首先，一开始展现出来的图片我们就直接用xpath匹配了，我们来看看隐藏的url匹配
　　在第二个for循环中，range里面的参数，就是接下来显示的，和最后一个图片的url所对应的数字。
　　在all_ppt_div后面，我们看reader-pageNo-%s，其中，%s就是用来传数字的，因为刚刚我们分析出来，div中class的变化和PPT的页数是一致的，所以通过这个方法传进去。
　　然后再将url存进列表中。
　　5）文件存储

1. cout = 1
   
2. 　　empty_list = list(set(empty_list))
   
3. 　　for i in empty_list:
   
4. 　　r = requests.get(str(i))
   
5. 　　with open("%s.jpg"%str(cout),'wb') as f:
   
6. 　　f.write(r.content)
   
7. 　　cout +=1

复制代码

　这个就是文件操作，存入当前目录。其中，content就是文件的二进制形式。
　　四、总结
　　到此，百度文库PPT的爬取就结束啦。大家可以用这个代码和思想爬取绝大多数的百度文库ppt，因为前端的框架是基本不会变的，所以每个PPT中图片url在前端的存储格式也是一样的，我们要改的也只是程序中的部分参数就可以了。

郭小贱

传说中不充VIP 也能“白嫖”付费内容？

Miss_love

学习了