固定ip 代理【爬虫军火库】AnyProxy安装使用【Windows】

固定ip 代理分析网络请求详情是写爬虫应用的初始步骤,抓包便是一种十分强大的分析手段,尤其是对手机App进行抓包,往往能收获到Web端没有的API接口。抓包的工具多种多样,功能用法类似,今天给大家介绍一下AnyProxy。

抓包的工具有很多了,我之前一直用的Fiddler,也有(打算)写一篇文章介绍,虽然现在依然躺在草稿箱里…

那么今天来记录一下Windows平台下安装使用AnyProxy的过程。

AnyProxy是阿里爸爸出的一款抓包工具,依赖NodeJS,多平台可用。

第一步:安装NodeJS

在官网nodejs.org下载安装包,傻瓜式安装即可。

推荐使用LTS版本

一路Next即可

第二步:安装运行Anyproxy

npm install -g anyproxy

这一步安装完成后,AnyProxy固定ip 代理就已经可以使用了,可以直接在控制台输入anyproxy运行。

设置浏览器为127.0.0.1:8001,手机代理为IP:8001,即可在AnyProxy管理终端看到抓包信息。

启动AnyProxy

浏览器设置Internet选项

AnyProxy提供Web端的管理界面。设置完成后访问127.0.0.1:8002即可打开Web管理页面,看到抓取的流量信息。

AnyProxy Web管理后台

设置手机的代理前要先知道安装AnyProxy机器的本机局域网IP。

在控制台使用ipconfig命令查看本机IP

我这边为了方便截图使用了安卓模拟器,真机类似。

手机上设置代理

第三步:生成证书并安装(Windows+安卓,其他平台类似)

完成第二步后,我们虽然能在控制台看到一大堆请求信息,但是仔细固定ip 代理看后会发现其中并没有成功解析到HTTPS请求,原因在于我们没有生成RootCA证书。如想看到明文信息,必须配置CA证书。

通过 anyproxy-ca 命令生成CA文件。

生成CA文件

Windows上直接双击安装即可。

Windows安装CA证书

之后通过anyproxy -i命令启动监听,即可捕获HTTPS请求。(注意加-i的参数)

手机端可以通过Web端的二维码扫描下载CA文件,或者手动访问:8002/fetchCrtFile 下载文件安装。

有些真机没办法直接运行安装文件的,需要在设置-系统安全-从存储设备安装中手动安装。

手机安装CA证书

至此我们已经基本完成了AnyProxy的安装,接下来就是具体使用。如果是前端开发需要调试请求、篡固定ip 代理改本地数据进行返回的,可以参考官方文档。单从爬虫应用来说,我们只要能获取到请求和返回的具体信息就好。

一个小栗子。知乎的小程序头脑王者(现在叫知乎答题王),题目抓包。在监听状态下玩一场小游戏以后查看记录到的请求。

(这一步使用模拟器测试小程序偶尔会卡死,所以我这边是抓的真机数据包)

答题过程中抓到的数据

来具体看一下返回数据的组成

返回的具体情况

这样的JSON数据对我们的后续处理是十分友好的。

格式化后的JSON数据,格式清晰明了

那今天就简单记录到这里,Fiddler也会找时间写一下。Fiddler和头脑王者抓包之前我录过一个视频,感兴趣的可以点击原文查看。