作为一个互联网工作者,在工作中难免会碰到这样一些问题:发帖太多导致IP地址被屏蔽;参加活动投票数量不够,排不到好的名次;需要注册很多账号,但网站仅允许一个IP注册一个账号;爬取网站信息,才爬取几次IP就被限制访问了…这些情况都需要用到代理IP,今天天启IP就带大家了解一下~
天启HTTP教你如何检测代理IP有效性
一、代理IP 常见的一些功能
1.突破自身IP 访问限制,现在有许多的网站都对IP 地址访问进行了限制,这时则可以通过代理IP 来突破限制,让自己进入网站。
2.提高访问速度,通常代理IP 服务器都设置一个较大的硬盘缓冲区,当有外信息时,则直接由缓冲区中取出信息,传给用户,以提高访问速度。
3.隐藏真实IP 达到匿名效果,可以通过代理IP 上网,隐藏真实的IP 地址。
4.突破IP 封锁,例如要抓取一个网站的数据,但是网站对每个IP 所能抓取的数据做了限制,这时我们使用代理IP ,不停地切换IP ,就可以突破限制,从而提高工作效率。
二、系统识别代理IP 的4种方法
反向探测技术:扫描IP 是不是开通了80,8080等代理服务器经常开通的端口,显然,一个普通的用户IP 不太可能开通如上的端口;
HTTP头部的X_Forward_For:开通了HTTP代理的IP 可以通过此法来识别是不是代理,如果带有XFF信息,说明该IP 是代理IP 无疑;
Keep-alive报文:如果带有Proxy-Connection的Keep-alive报文,毫无疑问,该IP 是代理IP ;
查看IP 上端口:如果一个IP 中有的端口大于10000,那么该IP 大多也存在问题。
三、怎样快速判断代理IP 是否可用
在命令行下输入telnet XXX.XX.XX.XXX XX
即 telnet IP address port
例如: telnet 213.197.81.50 3128
如果连接上,说明有效
除此之外,还可以使用在线POST工具去检测