端游ip代理「安全工具」利用curl突破服务器限制,进行安全渗透测试(一)

curl简介

端游ip代理今天给大家介绍一个命令行下的网络传输客户端工具、Web神器curl,它支持包Http、Ftp在内的常见网络协议,支持代理,支持Https、证书,支持各种Http方法,在各发行版的Linux和Windows都支持,而且linux默认自带。其底层的C库libcurl也被很多脚本语言包括PHP(cURL)、Perl(Net::Curl,WWW::Curl)、Python(PyCurl)等打包成模块调用,可直接用于Web客户端编程,编写网络爬虫或者其他Web自动工具。尤其对于php来说由于它缺乏这类工具可以直接做Web客户端,cURL就成了它唯一的选择了。

关于curl的详细介绍和各种参数很多很杂,在此不做赘述,请自己搜索或者查看官方文档。

简单访问

最简单的用法就是在命令行下输入curl 端游ip代理后面跟个网站Url就可以获取页面信息了。当然由于获取的是html文件的内容,不是我们浏览器常见的网站的展现形式(命令行浏览器有w3m可以更好解析html内容),有很多Html标签穿插在内容之间。

咱们先访问个有趣的网站。(不能直接帖文本网址,会被头条机器人认为是网站广告)

利用curl下载

curl作为一个支持多协议的工具,可不可代替wget做下载呢?

当然,完全可以用来替代wget做文件下载,而且有不少的优势。下面就实例演示下:

下载载文档

我们以头条上一片文章的配图为例子,介绍如何下载图片。先通过浏览器访问,端游ip代理图片显示为:

我们永curl下载,主要加-o/O参数:

-o表示指定下载后文件的名称

-O表示下载后的文件名和服务端的文件名一样。

目录下下载到的文件信息和浏览器显示效果的文件大小差不多,应该一样,表示下载成功,如下图。

默认是直接输出信息到终端的,如果是图片文件的话,由于是二进制不支持显示,就会乱码。

批量下载

注意curl支持对url做模式匹配,这样一个url就可以表示多个文件,可以一次性下载多个文件:

上图中的有个错误,大家发现问题没有?小编刚开始用的时候怎么也没下载到文件,后端游ip代理来找了半天才发现问题所在。Url最后的模式匹配部分写错了,[1-0]是个错误写法,应该是[下限-上限] 把上面的url改成[1-8]立马就可以了。结果如下:

由于URL是演示需要随意杜撰的所以都没下载到文件,文件大小很小为空。

对多个文件我们也能通过-o指定自己的需要名字,不过需要用一个变量#1来表示后面模式的中的参数,如下图所示:

结果是,这样就可以个性化命名下载的文件了。

用这招可以一下子把所有序列化特征的文件都下载来了,是不是很方便。对了,这才是它比一般浏览器厉害的地方,可以用来取代人,端游ip代理自动做重复性的工作。

curl还支持很多的下载功能,比如断点续传、分段部分下载等等。更多技巧请看官方的文档或者去搜索,应该都找得到,在此就不多说了。

用curl做安全渗透

获取http头搜集服务器信息

通过curl快速取得服务器版本信息。我们可以用curl -I url取得Web服务的Http头信息,做为信息搜集用,为进一步渗透做准备。例如,我们看看今日头条旗下的产品悟空问答的首页:

我们看到https头中说明悟空用的服务器是nginx变种淘宝的Tengine,但是屏蔽了版本信息(安全工作做的还是挺到位的)。

Via段信息可能是某个CDN厂商信息(小编瞎猜测的)。

Timing-Allow-Origin: * 端游ip代理表示允许任何资源都可以服务器看到的计时信息。

我们还看到,我们用curl 访问时,返回了 403 Forbidden,说明服务器对客户端限制了。接着下一节我们将介绍如何通过设定User Agent信息获得服务器的信任。

通过设置User Agent 和Porxy代理突破服务限制

上一步骤中我们用curl直接被悟空服务给403拒绝了,我们猜测是服务器根据User Agent给禁止掉了。这时候该怎么办?好办,我们给它一个浏览器的User Agent信息就好了。

设置User Agent信息很简单,用curl -A "XXX" ,XXX表示User Agent信息就行。比如对悟空首页,我们给它喂个 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0),伪装成IE 6,悟空小姐姐立马就驯服了。

妥妥的,200 OK。

有时候由于你机器访问太频繁,端游ip代理比如爬虫大批量爬数据时候,你的IP可能被服务器探测到访问不正常,当成恶意攻击,或不正常访问被防火墙,WAF等给封掉。这时候就需要一个武器Porxy代理来隐藏到我们的实际地址,骗取服务器的信任。

代理设置也简单,给curl加个-x参数,随后紧跟代理服务器地址即可:

当然问题是你没有代理服务器,代理服务器地址怎么找,我只说一句"诸事不宜,找度娘"。

还有curl结果也能配合shell管道和其他神器对获取的信息进行处理,比如grep:

以上是我们对抓的悟空首页的内容最筛选,搜索包含"悟空"字串的行。对信息处理然后入库,这是做一个爬虫获取信息的一个必须步骤,业界有个专门名字叫etl数据清洗,没有这个过程获取到都将是垃圾。

突然发现篇幅有点长了,那就分开几篇发把,今天这篇就到这里,先休息睡觉把! 虫虫明天见