爬虫使用了代理,为何还是被屏蔽?

这种大概率是你的代理网络不好,或者代理非匿名。

你应该带着代理去访问下:https://httpbin.org/get?show_env=1

然后看下返回中的X-Forwarded-For字段。

1、虽然使用了代理,但是代理IP的质量不同效果也不同。比如该代理IP在目标网站被很多人多次用过,已经用废了;使用透明代理或者普通匿名代理ip,被对方网站轻易识别出来了。

2、使用代理IP后,没有很好的模拟人工访问服务器的行为,比如没有清除cookie、爬取速度过快似非人类正常访问等。

3、目标网站的反爬策略升级了,检测到并封禁了一些ip段。

因此,建议直接使用八爪鱼采集器进行网页爬虫工作,八爪鱼可以模拟人工访问,控制访问频率, 并且八爪鱼内置代理ip安全性和质量都很高,可很好的避免目标网站的反爬问题 。

有需要的朋友可以去官网下载使用,附上下载链接:

免费下载 - 八爪鱼采集器​www.bazhuayu.com/download?utm_campaign=zhihu&utm_medium=question

一种可能:代理要使用高匿,非高匿的IP访问对方网站,对方是能知道你真实IP的。

另一种可能:你使用的代理IP被很多人共用,可能多人在使用这个IP访问同一个网站。

还有另一种可能:你访问的网站使用了反爬服务,收集了部分代理IP, 把一些IP段或IP已经标记为有问题了。

本人爬虫工程师,每天都在做爬虫相关的事情,这个回答只介绍自己用过的代理ip提供商,我的需求是:支持多终端,高并发,IP数量足够多。

言归正传,以下是我用过的ip代理

1. 代理云

他家可以白嫖1万IP测试,可以点击这个注册

为什么把代理云排在首位?回到我最初的需求:支持多终端,高并发,IP数量足够多。

这些是我的需求,代理云很好的满足了。

为了抓取效率,我都是60个终端一起跑,每天大约需求8万+IP,以后终端数量还会增加。这家代理IP不限制使用终端,支持账号密码验证,每天可使用不重复IP10万+,一次可提取1000个IP,不限制提取时间间隔,一秒5个并发和一秒1000个并发的效率,差距还是非常大的,代理云的IP池模式很好的隔绝了业务冲突。但是如果你需求10万以上的IP量,代理云真的满足不了。

2.芝麻代理http://www.zhimaruanjian.com

芝麻代理这两年发展的声势很大,自然也少不了亲自测评一下。效果还不错,他家的代理IP数量在市面上算多的,起码客服回复“需要多少就有多少”,着实惊到我了。但是单次只能提取200个IP,并且是IP白名单绑定验证,多个白名单要多收费。。。如果你需求IP数量大,可以试试他家,企业背景和实力都不错,但是多终端一起跑的,要提前做好心理准备。

他家经常有优惠活动,购买前可以多问问客服哟。

3.站大爷http://ip.zdaye.com

他家的网站风格真是独树一帜!动态拨号资源和讯代理基本一样,但是价格要比讯代理低一些。一手私密代理IP是他家主打IP资源,一个月2200元,一天1万IP左右,这种一手私密代理IP非常适合做效果补量业务,业务成功率很高。

很多人吐槽站大爷家的服务态度不好,我觉得还好,起码我咨询的时候并没有挨骂。。。对于我来说,只要代理IP好用,一切好商量。

最近市面上代理IP提供商层出不穷,等我测评后会陆续补充。不敢说自己写的多好,但绝对是亲身体会的干货!不像楼内某些回答,图文都不是一家产品,推广告软文也得专业点吧。。。

总结:

高并发+高效率+业务成功率=代理云

需求IP数量多+套餐灵活=芝麻代理

套餐灵活+小爬虫福音=站大爷

这里推荐几款市面上的几款ip代理

1.代理云

他家可以白嫖1万IP测试,可以点击这个注册

这家代理IP不限制使用终端,支持账号密码验证,每天可使用不重复IP10万+,一次可提取1000个IP,不限制提取时间间隔,一秒5个并发和一秒1000个并发的效率,差距还是非常大的,代理云的IP池模式很好的隔绝了业务冲突。

2.芝麻代理http://www.zhimaruanjian.com

芝麻代理这两年发展的声势很大,自然也少不了亲自测评一下。效果还不错,他家的代理IP数量在市面上算多的,起码客服回复“需要多少就有多少”,着实惊到我了。但是单次只能提取200个IP,并且是IP白名单绑定验证,多个白名单要多收费。。。如果你需求IP数量大,可以试试他家,企业背景和实力都不错,但是多终端一起跑的,要提前做好心理准备。

他家经常有优惠活动,购买前可以多问问客服哟。

3.站大爷http://ip.zdaye.com

他家的网站风格真是独树一帜!动态拨号资源和讯代理基本一样,但是价格要比讯代理低一些。一手私密代理IP是他家主打IP资源,一个月2200元,一天1万IP左右,这种一手私密代理IP非常适合做效果补量业务,业务成功率很高。