selenium wire获取请求头参数在Python中
selenium-wire扩展了 Selenium 的 Python 绑定，让您可以访问浏览器发出的底层请求。 您编写代码的方式与使用 Selenium 的方式相同，但您可以获得额外的 API 来检查请求和响应并动态更改它们。一：简介
selenium是爬虫常用的手段之一，由于是使用浏览器驱动模拟手动操作，所以只要掌握一些元素的基本定位就很容易上手。
但是经常会遇到的问题我觉得至少有两点：
每次启动的浏览器都是一个全新的浏览器，不存在任何的缓存，换句话说如果网站需要登录则每次启动都需要登录，需要邮件验证码的网站就更难受了。
现在大多数的网站都采用前后端分离+ajax技术，分析画面元素固然是可以的，但是如果能够获取浏览器后台的ajax数据，那简直是事半功倍。
本次主要讨论的就是这两个问题，在之前我总结过一些相关的坑，包括浏览器的cookie操作、performance获取浏览器后台日志数据以及浏览器的代理认证框的处理问题，这也算是对之前的一次补充。
二：Selenium利用本地浏览器进行测试
是的，你没看错。由于驱动的是本地浏览器，本地浏览器有缓存，所以完美避免了浏览器的cookie问题。而且亲测，这种方式还可以直接解析浏览器当前网页，不需要启动新的浏览器，也就是说你可以预先登录到目标网站再运行程序。
1、右键谷歌浏览器快捷方式->属性，在路径上追加参数 --remote-debugging-port=9222。
2、双击打开浏览器。
3、selenium远程模式连接浏览器并进行操作，这里测试控制浏览器打开百度。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
driver = webdriver.Chrome(options=chrome_options)
driver.get("https://www.baidu.com")
这样就已经可以了，跟正常的selenium操作没有任何区别。
三、Selenium-wire获取后台数据
(一)selenium-wire安装
pip install selenium-wire
实例1:
import time
from seleniumwire import webdriver
# Create a new instance of the Chrome driver
driver = webdriver.Chrome()
# Go to the YouTube homepage.
driver.get('http://tool.liumingye.cn/music/?page=audioPage&type=migu&name=%E6%8A%96%E9%9F%B3')
time.sleep(5)
# Access requests via the `requests` attribute
for request in driver.requests:
if request.response:
if request.path == "/m/api/search":
print(request.response.body.decode("utf-8"))
driver.quit()
封装后的driver会有requests这样一个对象，可以发跟浏览器开发者工具的Network进行类比，请求的返回值存储在response.body中。
通过request.path过滤出我们想要的请求，然后获取response.body即可。
实例2：
from seleniumwire import webdriver
driver = webdriver.Chrome()
driver.get('https://www.baidu.com')
# 通过requests属性访问请求
for request in driver.requests:
if request.response:
print("Url:", request.url)
print("Code:", request.response.status_code)
print("Content-Type:", request.response.headers['Content-Type'])
实例3：设置拦截器
可以在某些请求发出前，修改请求的参数或直接阻止请求：
import json
from seleniumwire import webdriver
# 设置拦截器
def interceptor(request):
# 拦截.png,.jpg,.gif结尾的请求
if request.path.endswith(('.png', '.jpg', '.gif')):
request.abort()
driver = webdriver.Chrome()
driver.request_interceptor = interceptor
driver.get('https://www.baidu.com')
# 通过requests属性访问请求
for request in driver.requests:
if request.response:
print("Url:", request.url)
print("Code:", request.response.status_code)
print("Content-Type:", request.response.headers['Content-Type'])
添加和修改请求参数：
# 设置拦截器
def interceptor(request):
# 添加请求参数
params = request.params
params['foo'] = 'bar'
request.params = params
# 修改POST请求正文中的JSON
if request.method == 'POST' and request.headers['Content-Type'] == 'application/json':
# 获取原请求内容
body = request.body.decode('utf-8')
data = json.loads(body)
# 修改要改变的参数
data['foo'] = 'bar'
# 将修改好的参数设置回请求
request.body = json.dumps(data).encode('utf-8')
# 更新内容长度
del request.headers['Content-Length']
request.headers['Content-Length'] = str(len(request.body))
页:
[1]
