反反爬篇--selenium被检测到的解决办法

测试积点老人

　1. 反爬
　　有时候，我们利用 [url=]Selenium[/url] 自动化爬取某些网站时，极有可能会遭遇反爬。
　　实际上，我们使用默认的方式初始化 WebDriver 打开一个网站，下面这段 JS 代码永远为 true，而手动打开目标网站的话，则为：undefined。

1. # 通过这段 JS 脚本区分是爬虫还是人工操作
   
2. 　　window.navigator.webdriver

复制代码

稍微有一点反爬经验的工程师利用上面的差别，很容易判断访问对象是否为一个爬虫，然后对其做反爬处理，返回一堆脏数据或各种验证码。

如果要实现后面的自动化操作，首先要解决的就是这个反爬的问题。
　　常见的反反爬方案包含：设置参数?excludeSwitches、mitmproxy 拦截过滤、cdp 命令，下面分别来说说。
　　2.设置参数 excludeSwitches
　　Chrome79 之前可以通过配置 ChromeOptions 驱动参数，来达到反反爬的目的。
　　只需要将参数打开，设置 excludeSwitches 值为 enable-automation 即可。

1. 　from selenium.webdriver import Chrome
   
2. 　　from selenium.webdriver import ChromeOptions
   
3. 　　option = ChromeOptions()
   
4. 　　# 打开参数
   
5. 　　option.add_experimental_option('excludeSwitches',?['enable-automation'])
   
6. 　　driver = Chrome(options=option)
   
7. 　　driver.implicitly_wait(10)
   
8. 　　driver.get("http://www.google.com")

复制代码

这个参数是实验性参数，所以右上角会提示：请停用开发者模式运行的扩展程序，不能点击停用。
　　这样，设置这个参数后：
　　window.navigator.webdriver 的值就变成 undefined 了。
　　3. mitproxy 拦截
　　众所周知，mitproxy 可以拦截到网络请求，做其他处理，这里只需要进行 JS 代码注入即可。

1. # 待执行的 JS 代码,修改 window.navigator.webdriver 的值
   
2. 　　js_exec = 'Object.defineProperties(navigator,{webdriver:{get:() => false}});'
   
3. 　　# 重写 response，截获网络请求，js注入
   
4. 　　def response(slef,flow: mitmproxy.http.HTTPFlow):
   
5. 　　        if 'google' in flow.request.url:
   
6. 　　                flow.response.text = js_exec + flow.response.text
   

复制代码

　然后启动 mitmdump：

1. 　# 启动mitmproxy
   
2. 　　mitmdump -p 8888 -s 111.py

复制代码

最后，配置 ChromeOptions 指向 mitmdump代码即可。

1. 　# 配置ChromeOptions
   
2. 　　option.add_argument("--proxy-server=http://127.0.0.1:8888")

复制代码

4. cdp 命令(经验证可以)
　　cdp 全称是：Chrome Devtools-Protocol
　　通过 addScriptToEvaluateOnNewDocument()?方法可以在页面还未加载之前，运行一段脚本。
　　如此，我们只需要提前设置：
　　window.navigator.webdriver?的值为 undefined 即可。

1. from selenium.webdriver import Chrome
   
2. 　　from selenium.webdriver import ChromeOptions
   
3. 　　option = ChromeOptions()
   
4. 　　# 打开参数
   
5. 　　# option.add_argument("--proxy-server=http://127.0.0.1:8888")
   
6. 　　# driver = Chrome(options=option)
   
7. 　　driver = Chrome()
   
8. 　　driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
   
9. 　　  "source": """
   
10. 　　    Object.defineProperty(navigator, 'webdriver', {
    
11. 　　      get: () => undefined
    
12. 　　    })
    
13. 　　  """
    
14. 　　})
    
15. 　　driver.implicitly_wait(10)
    
16. 　　driver.get("http://www.google.com")

复制代码

5. 其他
　　通过上面的 3 种方法可以很好的解决 Selenium 自动化被反爬的问题。