admin管理员组文章数量:1572806
作者：xiaoyu
微信公众号：Python数据科学
平时我们的爬虫多是针对网页的，但是随着手机端APP应用数量的增多，相应的爬取需求也就越来越多，因此手机端APP的数据爬取对于一名爬虫工程师来说是一项必备的技能。我们知道，网页爬取的时候我经常使用F12开发者工具或者fiddler之类的工具来帮助我们分析浏览器行为。那对于手机的APP该如何使用呢？同样的，我们也可以使用fiddler来分析。好了，本篇博主将会给大家介绍如何在电脑端使用fiddler进行手机APP的抓包。
首先了解一下fiddler（百度百科）：
Fiddler是一个http协议调试代理工具，它能够记录并检查所有你的电脑和互联网之间的http通讯，设置断点，查看所有的“进出”Fiddler的数据（指cookie,html,js,css等文件，这些都可以让你胡乱修改的意思）。 Fiddler 要比其他的网络调试器要更加简单，因为它不仅仅暴露http通讯还提供了一个用户友好的格式。
完成此项工作的整个流程可分为如下几个步骤。
1. 下载fiddler抓包工具
fiddler的官方下载链接：https://www.telerik/downl…
安装步骤没什么特别，常规下一步完成即可。
2. 设置fiddler
这里有两点需要说明一下。
- 设置允许抓取
HTTPS信息包
操作很简单，打开下载好的fiddler，找到 Tools -> Options，然后再HTTPS的工具栏下勾选Decrpt HTTPS traffic，在新弹出的选项栏下勾选Ignore server certificate errors。
- 设置允许外部设备发送
HTTP/HTTPS到fiddler
相同的，在Connections选项栏下勾选Allow remote computers to connect，并记住上面的端口号8888，后面会使用到。
好了，需要的fiddler设置就配置完成了。
3. 设置手机端
设置手机端之前，我们需要记住一点：电脑和手机需要在同一个网络下进行操作。
可以使用wifi或者手机热点等来完成。
假如你已经让电脑和手机处于同一个网络下了，这时候我们需要知道此网络的ip地址，可以在命令行输入ipconfig简单的获得，如图。
好了，下面我们开始手机端的设置。
手机APP的抓取操作对于Android和Apple系统都可用，博主使用的苹果系统，在此以苹果系统为例。
进入到手机wifi的设置界面，选择当前连接网络的更多信息，在苹果中是一个叹号。然后在最下面你会看到HTTP代理的选项，点击进入。
进入后，填写上面记住的ip地址和端口号，确定保存。
4. 下载fiddler安全证书
在手机上打开浏览器输入一个上面ip地址和端口号组成的url：http://192.168.43.38:8888，然后点击FiddlerRoot certificate下载fiddler证书。
以上就简单完成了所有的操作，最后我们测试一下是否好用。
5. 手机端测试
就以知乎APP为例，在手机上打开 知乎APP。下面是电脑上fiddler的抓包结果。
结果没有问题，抓到信息包。然后就可以使用我们分析网页的方法来进行后续的操作了。
Categories: Java Tags: fiddler 爬虫发表评论 取消回复
电子邮件地址不会被公开。
Name Email Website What's on your mind? 搜索：近期文章
- Maven deploy部署jar到远程私服仓库
- java动态代理实现与原理
- git 常用命令
- java中观察者模式Observable和Observer
- Netty解决TCP粘包和拆包问题的四种方案
近期评论
- 马化腾发表在《Nginx的一些基本功能》
- geyang发表在《世界，您好！》
- 一位WordPress评论者发表在《世界，您好！》
分类目录
- Big Data (5)
- Java (27)
- MicroServices (13)
- GateWay (2)
- REST (2)
- Plus (38)
- Spring (9)
- Spring Boot (5)
- Spring Data (4)
- 中间件/框架 (5)
- Kafka (3)
- 数据库 (11)
- Hbase (5)
- MongoDb (2)
- Mysql (3)
标签
apiDoc Drools dubbo fiddler Grafana hbase Hystrix IDEA java JDK jpa jvisualvm jvm kafka linux MongoDB MQTT Mysql Netty nginx OpenJDK Prometheus REST RocketMQ RPC Servlet Sleuth SOA spring boot spring data zookeeper Zuul 域名 微服务 数据结构 日志 爬虫 缓存 股票 设计模式 读书 运维 队列 集合 音乐联系我
yangge177@gmail
友情链接
- aisanger
版权声明：本文标题：如何进行手机APP的数据爬取？ 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dianzi/1727734091a1127278.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论