51Testing软件测试论坛

标题: HTTP中POST提交数据的四种方式详解 [打印本页]

作者: lsekfe    时间: 2021-3-8 09:25
标题: HTTP中POST提交数据的四种方式详解
 前言时刻:
  首先说说为什么写这篇文章,最初学习请求 HTTP 的方式,只了解 POST 和 GET 和两种方式,具体是什么内容也没细看,如同蜻蜓点水一样,根本就没有搞懂?。开始的时候不觉的有啥,但是等到了实际项目的时候,就发现很耽误时间,如无头的苍蝇一样乱找。
  昨天的时候,我抓包一个平台的登录数据,写了一个爬虫模拟登录,但是死活的就是拿不到登录数据。明明表单数据都正确的,我拿 Postman 进行模拟登录也是无果。我想看看网上有解答这种问题的不,关键是我都不知道该怎么搜索。无奈之下我打开Chartless 对比了浏览器官方的请求数据和我用 Postman 发送的数据,对比了下,让我发现了不同,数据是一样的,不同的是数据编码方式不同。
  官方采用的是 raw 中的 Json,而我采用的 form-data 表单,方法错了就算改到胡子白了也成功不了呀??。于是乎网上搜索关于 POST 发送数据 的方式,居然有四种方式。无知的我居然就只知道其中的 form-data,而且还以为urlencode 的方式和 form -data 方式一样。不会就要学习,所以看下面~
  1、HTTP数据传输
  先来看看 HTTP 是如何传输表单数据的。HTTP 是以ASCII 码传输的,建立在TCP/IP 协议之上的应用层规范。HTTP 请求包括:请求行、请求头、消息主体数据。
  形如:
  <method> <url> <version>
  <headers>
  <entity-body>
  # 例如:
  # 请求行
  POST /wp-admin/admin-ajax.php HTTP/1.1
  # 下面都是请求头
  Host: zwjjiaozhu.top
  Content-Length: 69
  Accept: */*
  User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36
  Content-Type: application/x-www-form-urlencoded; charset=UTF-8
  # 下面是消息主体内容
  action=user_login&username=%E5%8F%91&password=+%E5%8F%91&rememberme=1

  其中这个Content-Type是告诉接受数据的服务端,用什么方式进行解析消息主体。同时发送数据的客户端(浏览器)也是对数据采用同样的编码方式。post 方法中有四种编码方式,详细看2。
  可能你对浏览器如何发送表单也不是很清楚,那么来温故一下。
  form表单属性:
  action:属性定义发送数据要去的地方,如:www.baidu.com
  method:属性定义如何发送数据,常见的方法有:POST,GET,HEAD,PATCH……
  name:属性定义表单的名字
  enctype:定义表单的数据如何编码。如:POST 中对发送数据的四种编码方式。
  target:提交表单后,在那个页面显示响应内容
  _self:默认值,在相同的页面(框架)中显示响应数据,并覆盖原内容
  _blank:在一个新打开的、未命名的窗口打开响应数据
  _parent:在当前内容的父窗口(框架)中打开响应数据。如果 form 表单本身就在顶级框架中,那么等同于self
  例如原生的提交 form 表单html代码:
  <form method="post" enctype="multipart/form-data" name="myForm" action=“http://www.baidu.com”>
    <div>
      <label for="file">Choose a file</label>
      <input type="file" id="file" name="myFile">
    </div>
    <div>
      <button type=“submit”>Send form</button>
    </div>
  </form>

  一旦触发 submit 按钮后,浏览器会对表单内容 myFile:文件内容 以 multipart/form-data 的编码方式,采用POST 的方法向http://www.baidu.com 发送数据。
  以上是原生的表单发送方式。但是现在大都采用更加好用的异步 Ajax 进行数据发送,内容大致相同,就不细说了,有机会在总结。
  2、POST 的四种方式
  POST 方法中对发送数据编码的方式,也就是 Content-Type 有四种方式,其中默认是 application/x-www-form-urlencoded,最方便的是 application/json 。
  四种方式包括:
  · application/x-www-form-urlencoded  (URL encoded)
  · multipart/form-data (键值对型数据)
  · application/json  (Json 类型数据)
  · text/xml  (xml)
  2.1、application/x-www-form-urlencoded
  POST 中很常见的一种编码数据的方式,如果不设置 Content-type 的值,默认就是 urlencoded 。常见的 Ajax 也默认是这种方法。
  POST http://www.example.com HTTP/1.1   
  Content-Type:application/x-www-form-urlencoded;charset=utf-8
  title=test&sub%5B%5D=1&sub%5B%5D=2&sub%5B%5D=3

  实际例子:
  # python脚本
  import requests
  url = "http://httpbin.org/post"
  data = {"name":"西园公子","age":"666"}
  headers = {"Content-type":"application/x-www-form-urlencoded"}
  content = requests.post(url=url,data=data,).text
  print(content)
  # 网络请求:
  POST http://httpbin.org/post HTTP/1.1
  Hosthttpbin.org
  User-Agentpython-requests/2.24.0
  Accept-Encodinggzip, deflate
  Accept*/*
  Content-Length49
  Content-Typeapplication/x-www-form-urlencoded
  Connectionkeep-alive
  # 下面是表单内容
  name=%E8%A5%BF%E5%9B%AD%E5%85%AC%E5%AD%90&age=666      # 可以看出汉字是使用utf8编码的
  # 打印
  {
    "args": {},
    "data": "",
    "files": {},
    "form": {           # form表单内容
      "age": "666",
      "name": "\u897f\u56ed\u516c\u5b50"   
    },
    "headers": {
      "Accept": "*/*",
      "Accept-Encoding": "gzip, deflate",
      "Content-Length": "49",
      "Content-Type": "application/x-www-form-urlencoded",   # Content-Type
      "Host": "httpbin.org",
      "User-Agent": "python-requests/2.24.0",     # 这里面如果爬虫不设置user-agent的话,本ban的几率很大
      "X-Amzn-Trace-Id": "Root=1-60010906-7a51fef342a967cd24c32235"
    },
    "json": null,
    "origin": "171.90.37.102",
    "url": "http://httpbin.org/post"
  }

  这里说明一下,requests 是根据传入的键来判断采用那种方法,比如上面的是data= 就说明采用 urlencode 的方法编码数据,其他的方法到最后面一并介绍。
  另外这个 http://httpbin.org/post 链接的作用,就是将你向它发送的数据以及header,原样返回,很是方便。
  2.2、multipart/form-data
  这种编码方式,通常是用在客户端向服务端传送大文件数据,如:图片或者文件。
  首先来解释下什么它的编码方式,首先会生成一个很长的 boundary 字符串分界线,表明下面的都是表单内容,然后紧接着跟的是表单中的第一个键值对中的名称,而后一个换行,跟着值。然后再生成一个boundary 字符串分界线,用于分割不同的键值。之后就重复以上操作,详细的流程请看下方的例子。
  # python脚本
  import requests
  from requests_toolbelt import MultipartEncoder
  m = MultipartEncoder(
      fields={'field0': 'value1', 'field1': 'value2', 'field2': ('filename', open('data.txt', 'rb'), 'text/plain')}
      )
  content = requests.post('http://httpbin.org/post', data=m,
                    headers={'Content-Type': m.content_type}).text
  print(content)
  print(m.content_type)
  # 1、网络请求:
  POST http://httpbin.org/post HTTP/1.1
  Host: httpbin.org
  User-Agent: python-requests/2.24.0
  Accept-Encoding: gzip, deflate
  Accept: */*
  Content-Type: multipart/form-data; boundary=e48c73a7a42e403d868095dc3d060962
  Content-Length: 222
  Connection: keep-alive
  # 下面是编码的表单内容
  --e48c73a7a42e403d868095dc3d060962
  Content-Disposition: form-data; name="field0"
  value1
  --e48c73a7a42e403d868095dc3d060962
  Content-Disposition: form-data; name="field1"
  value2
  --e48c73a7a42e403d868095dc3d060962--
  Content-Disposition: form-data; name="field2"; filename="filename"
  Content-Type: text/plain
  ????¥????è¥???-????-????
  --25c88ddc918d40e7a3cd5be0d62476b7--
  # 2、打印
  {
    "args": {},
    "data": "",
    "files": {           # 发送类型是文件的
      "field2": "\u4f60\u597d\uff0c\u897f\u56ed\u516c\u5b50\uff5e"
    },
    "form": {                  # 发送类型是非文件的,有些类似 urlencode 的消息主体
      "field0": "value1",
      "field1": "value2"
    },
    "headers": {
      "Accept": "*/*",
      "Accept-Encoding": "gzip, deflate",
      "Content-Length": "222",
      "Content-Type": "multipart/form-data; boundary=3123ca302f2c4f0dba1050faa8817ab8",
      "Host": "httpbin.org",
      "User-Agent": "python-requests/2.24.0",
      "X-Amzn-Trace-Id": "Root=1-60017280-15e1a08d69c4611737583c87"
    },
    "json": null,
    "origin": "191.80.857.122",
    "url": "http://httpbin.org/post"
  }
  multipart/form-data; boundary=3123ca302f2c4f0dba1050faa8817ab8

  2.3、application/json
  这个是今天的主角,用的超级多,也非常的方便。设置 header 中Content-type,就告诉服务端数据以 Json 字符串的形式存在,相应的就用 Json 的方法解码数据即可。
  Python 脚本例子:
  import requests
  import json
  url="http://httpbin.org/post"
  p_data = {"name": "公子哥", "hobby": "coding"}
  content = requests.post(url, json=json.dumps(p_data),
                    headers={'Content-Type': "application/json"}).text
  print(content)
  # 1、原生网络请求
  POST /post HTTP/1.1
  Host: httpbin.org
  User-Agent: python-requests/2.24.0
  Accept-Encoding: gzip, deflate
  Accept: */*
  Content-Type: application/json
  Content-Length: 62
  Connection: keep-alive
  # 下面是编码成json数据 的表单内容
  "{\"name\": \"\\u516c\\u5b50\\u54e5\", \"hobby\": \"coding\"}"
  # 2、打印数据
  {
    "args": {},
    "data": "\"{\\\"name\\\": \\\"\\\\u516c\\\\u5b50\\\\u54e5\\\", \\\"hobby\\\": \\\"coding\\\"}\"",
    "files": {},
    "form": {},
    "headers": {
      "Accept": "*/*",
      "Accept-Encoding": "gzip, deflate",
      "Content-Length": "62",
      "Content-Type": "application/json",     # 这里指定消息主体编码方式
      "Host": "httpbin.org",
      "User-Agent": "python-requests/2.24.0",
      "X-Amzn-Trace-Id": "Root=1-6001804b-1c8da9b72910a9e1021e02b3"
    },
    "json": "{\"name\": \"\\u516c\\u5b50\\u54e5\", \"hobby\": \"coding\"}",     # 消息主体内容
    "origin": "171.10.87.122",
    "url": "http://httpbin.org/post"
  }

  2.4、text/xml
  这个我还真没咋遇到,不是很熟悉,等后面我仔细研究后在补~
  import requests
  # from requests_toolbelt import MultipartEncoder
  p_data = """
  <?xml version="1.0"?>
  <methodCall>
      <methodName>examples.getStateName</methodName>
      <params>
          <param>
              <value><i4>41</i4></value>
          </param>
      </params>
  </methodCall>
  """
  content = requests.post(url='http://httpbin.org/post',data=p_data,headers={'Content-Type':'text/xml'}).text
  print(content)
  # 2、打印数据
  {
    "args": {},
    "data": "\n<?xml version=\"1.0\"?>\n<methodCall>\n    <methodName>examples.getStateName</methodName>\n    <params>\n        <param>\n            <value><i4>41</i4></value>\n        </param>\n    </params>\n</methodCall>\n",
    "files": {},
    "form": {},
    "headers": {
      "Accept": "*/*",
      "Accept-Encoding": "gzip, deflate",
      "Content-Length": "200",
      "Content-Type": "text/xml",
      "Host": "httpbin.org",
      "User-Agent": "python-requests/2.24.0",
      "X-Amzn-Trace-Id": "Root=1-60024d51-775180ce108409b413dc68c6"
    },
    "json": null,
    "origin": "106.33.40.219",
    "url": "http://httpbin.org/post"
  }

  3、Reuqests 表示这四种方式
  这里集中将这四种方式说明,否则容易搞混淆。
  p_data = {
  "name": "西园公子",
  }

  1) application/x-www-form-urlencoded:
  这里面是给data=传入参数,参数格式是 Python dict字典。
  requests.post(url="http://httpbin.org/post",data=p_data, headers={"Content-type": "application/x-wwww-form-urlencoded"}).json()

  2) multipart/form-data:
  和上面的一样也是给data=传参,不同的是数据的编码方式不同。
  from requests_toolbelt import MultipartEncoder
  m = MultipartEncoder(
      fields={'field0': 'value1', 'field1': 'value2', 'field2': ('filename', open('data.txt', 'rb'), 'text/plain')}
      )
  requests.post(url="http://httpbin.org/post",data=m, headers={"Content-type": "multipart/form-data"}).json()

  3) application/json:
  这里面是给json=传入参数,参数的格式 Json 字符串,所以需要使用 json.dumps(), 将 Python dict 转 Json 字符串(其实就是 Python 的 str 类型,但是接收方会对字符串进行 Json 解码)。
  import json
  p_data = json.dumps(p_data)
  requests.post(url="http://httpbin.org/post",json=p_data, headers={"Content-type": "application/json"}).json()

  4) text/xml:
  和前面几个的一样也是给data=传参,参数类型是字符串,但是必须按照 xml 的语法写。
  p_data = '<?xml version="1.0" encoding="utf-8"?><soap:Envelope xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:soap="http://schemas.xmlsoap.org/soap/envelope/"><soap:Body><Request xmlns="http://tempuri.org/"><jme><JobClassFullName>WeChatJSTicket.JobWS.Job.JobRefreshTicket,WeChatJSTicket.JobWS</JobClassFullName><Action>RUN</Action><Param>1</Param><HostIP>127.0.0.1</HostIP><JobInfo>1</JobInfo><NeedParallel>false</NeedParallel></jme></Request></soap:Body></soap:Envelope>'
  requests.post(url="http://httpbin.org/post",data=p_data, headers={"Content-type": "text/xml"}).json()

  可别忘记在 headers 中的 Conent-type,写入相应的编码方式,否则服务端可不知道怎么解码数据了。
  总结
  在我测试post的几种编码方式的时候,我明明看到官方的 Content-type 是 application/json 的。我用 Postman 也是试成功了,但是我用 Requests 设置 json=json.dumps(p_data) 死活就是不通,最后改成  data=p_data,居然就成功了,我也是服了,也不知是服务端有问题还是我写的有问题。





欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/) Powered by Discuz! X3.2