Pytho爬虫获取request的content-length

编程知识 更新时间:2023-04-05 05:47:13

今天在写爬虫的时候遇到了一个app的接口,需要传request的Content-Length,如果不传或者Content-Length不正确就会返回不相关的信息,在网上找了一些,感觉比较少说这个问题的,记录一下

Content-Length的了解

在HTTP协议中,Content-Length用于描述HTTP消息实体的传输长度the transfer-length of the message-body。——http 响应头里content-length 的几种情况

注意:表示的是request body的大小,所以只需要计算传入的data就可以了。

Content-Length的计算

当时百度了一下有一位同学写的计算方法:Content-Length如何计算,不过不太适合我的项目。

  1. 错误的计算方法
    Content-Type是application/json,我首先试了一下将data转json,然后通过len(json_str)计算是错误的
  2. 暂时正确的计算方法
    其实很简单,通过len(data)就获取到了正确的content-length,但是要对它进行转换,转换成字符类型才可以赋值到header,也就是最终是headers[‘Content-Length’] = str(len(data))
  3. 疑问
    通过网上查资料,如果前端可以通过gzip压缩的话,那么content-length会是压缩后的大小,不清楚后端是不是可以指定必须要压缩,如果指定了,压缩后的content-length又该如何计算?

更多推荐

Pytho爬虫获取request的content-length

本文发布于:2023-04-05 05:47:00,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/b5b29f95115dc6e2de20a4fd896644e9.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:爬虫   Pytho   request   length   content

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!

  • 45092文章数
  • 14阅读数
  • 0评论数