各家代理ip的优缺点都是什么?

目前我在一家创业公司做数据采集的工作,主要用到的编程语言是 Python。因为工作的原因,所以调研过市场上常见的代理IP提供商。我就简单说说我知道的一些东西,并推荐几家较好的代理IP提供商,希望对有相同需求的朋友有一些帮助。

市场上,常见的代理 IP 服务有两种

私密代理(或者叫高效代理):提供 API,我们通过这个 API 提取到代理IP。

2.隧道代理(或者叫动态代理):提供一个统一的入口,每个请求随机分发到代理池中的某个代理IP上。

这两种服务,第二种接入更加方便,效果相差不多,现在生产环境也是用的也是这种。

推荐几家目前在用的:

1.蜻蜓代理 proxy.horocn.com

这家是一个同行(网友)推荐的,他们在做投票的时候,用了他们家的服务,效果不错。

我抽空测试了隧道代理服务,购买的套餐是:包天17元,每秒最大请求数5那个套餐。

测试结果:代理可用率92%左右,平均延迟在800毫秒。

评价:质量较好,比较适合采集量大的业务。

2.讯代理 www.xdaili.cn

这是我原来在用的。讯代理的隧道代理服务(他们自己叫动态转发),只提供按转发量计费的套餐,10万转发数,20元。

按转发量计费的套餐,对于采集量小的业务比较划算。如果你的采集量大的话,就不大合适了。

简单计算一下,如果是包天计费的,按每秒最大请求数为5计算,理想情况下,一天能发出的最大的请求数为43万。折算成按量计算的话,10万转发数,4.3元。

测试结果:IP的可用率在85%左右,平均延迟870毫秒。

评价:质量较好,比较适合采集量小的业务。

3.站大爷 ip.zdaye.com

站大爷没有隧道代理服务,所以我测试了短效优质代理。

测试结果:代理的可用率92.10%,平均延迟1.65秒。

评价:质量不错,但价格偏贵。

最后,建议有条件的情况下,使用多家的服务,做冗余。当有一家出现问题的情况下,不会影响到业务。

暂时想到这些,后面有想到其他的内容再补充,感谢你的阅读~

代理IP问题,谢邀。

背景:国内某企业爬虫工程师一枚,每天都在和爬虫相爱相杀,本回答只介绍自己用过的代理IP提供商,我的关键词:需求高并发、支持多终端、可用IP数量。

写在前面的科普知识:很多人把IP可用率作为购买第一参考因素,其实市面上的的IP资源基本都是租用代理拨号服务器,IP可用率普遍都能达到90%以上,因此谁家的IP可用率都差不多(老铁们,我说的可不是免费的万人骑IP)。而我们真正该关心的应该是业务成功率,比如:

不同的两家代理IP提供商,都使用一万个IP,第一家抓取了5000条数据,第二家抓取了1000条数据。为什么会这样呢?

得出结论:IP可用率≠业务成功率

因为第二家用户太多了,导致业务冲突。比如我抓取微博的数据,第二家有10个抓取微博的用户,那我还怎么能抓取到,都被风控给拦截了。而第一家没有抓取微博的用户,抓取的成功率是不一样的。

言归正传,下面老司机要推荐了哈!抓紧!

代理云 http://www.dailiyun.com

为什么把代理云排在首位?独享IP池搭建及共享IP池租用,回到我最初关键词:需求高并发、支持多终端、可用IP数量。这些是我的需求,代理云很好的满足了。

他家可以薅羊毛,注册后领取1万IP。URL不贴了,网站注册就行,低调低调。

接入后简直能飞起来

为了抓取效率,我都是60个终端一起跑,每天大约需求8万+IP,以后终端数量还会增加。代理云每天可使用不重复IP百万+,一次可提取1000个IP,不限制提取时间间隔,市面上一次提取几个几十个IP的那种,一天累死我也抓不出来多少数据。一秒5个并发和一秒1000个并发的效率,那差距非常大。代理云不限制使用终端,支持账号密码验证,没有额外费用,填一段代码就直接解决了我多终端的问题。且上文说到业务成功率,除了独享IP就是代理云的IP池模式了,天生物理隔绝业务冲突,解决了业务冲突导致抓取低的问题。

星速云

选择他家的原因是和代理云一样的的池模式,不过多介绍。节点的响应速度快,抓取数据量大,价格低一些。但是没有代理云的IP量大,如果需求IP量不大的话,是个很好的选择。

总体来说都可以,价格相对较低,质量很不错,鸡蛋不放在一个篮子里,对于爬虫来说,是个不错的选择,两家都采购了一部分,是一个不错的选择。

图片来自于星速云官网

价格套餐多种多样,可以多问问客服。

蜻蜓代理 https://proxy.horocnn.com/

他家的IP时效感觉是最全的,固定时效和时效区间两种,按量出售,这样比较灵活可以根据自己的需求来选择购买,如果每天的需求变化挺大的,可以考虑用他家。现在需求长时效的IP,选择他家采购了一部分。

但是弊端只能绑定5个IP白名单,联系客服应该可以加钱增加绑定数量。

采购长时效的话,蜻蜓代理是一个不错的选择。

截图来自于蜻蜓代理官网

快代理 http://www.kuaidaili.com

快代理也算是行业中做的比较早的了,在百度排名挺靠前的,购买了一天的私密代理,3-5分钟时效的,价格30元。

价格确实对比其他家高了一些,450元每天只能使用2500IP,对比星速云和蜻蜓来说要贵一些。代理的可用率还可以,能达到80%以上,平均响应时间在3S内,质量还可以,价格较贵。

图片来自于快代理官网

隧道模式

阿布云https://www.abuyun.com/

动态隧道代理,根据有效时长分为了专业版、经典版和经典的动态转发。价格可以去官网看看,每家的价格都差不多。

星速云 http://www.xingsudaili.com/

动态转发及短效版两种模式,对于小爬虫来说,推荐使用动态版,速度很快,价格相对低一些。

国外代理

公司没有需求国外IP的场景,所以就没有购买使用,蹭了一波测试感受下,国外IP测试的少一些,就列举一家吧。

cloudam云端IP

收费比较灵活,长效短效IP都有,都是家庭住宅IP,所以质量还是很高的,但是速度确实有点慢。地区分布极广,但是价格不便宜。

总结:

高并发+高效率+业务成功率(池模式)=代理云、星速云

套餐灵活、时效长 = 蜻蜓代理、代理云独享定制

国外代理 = cloudam云端

隧道模式 = 阿布云、星速云、小象代理

最后!!!!!

开发者可私聊发我,我拉大家进群交流(拒广告)。

1、匿名保平安!

2、各种损同行吹自己的!

最好的推荐:多测试!多测试!多测试!!

讲道理,这个行业水深火热,各种营销,各种名词,各种私密代理、公开代理等等,其实都是质量残次不齐的表现,讲几个关键词

住宅IP:高匿是付费代理的基本要求,不是高匿的就不在本次讨论范围,就好像我们讨论哪款汽车好,不应该考虑自行车一样,那什么是住宅IP?我们可以理解成IP真人率的问题,你获取的IP代理,通过检测网站:https://ip.rtbasia.com/,显示如下:

我们再输入一个阿里云的服务器地址,注意对比我红框框选的内容有什么区别,结果如下:

那么问题来了,如果你是目标网站,你发现访问你网站的IP都来自于数据中心,你会认为它是正常用户吗?当你认为它是爬虫程序时,你还会给它返回正常的数据吗?拒绝访问、返回空白这些都还是轻的,有些网站会返回给你“加工”过的数据,而你自己还不自知,这才是最恐怖的,当你利用了这些不正确的数据,后果你细品。

这里要说明一点,检测是不是真实宽带或者数据中心的IP,一定要检测发送请求的IP,而不是服务器的ip,服务器的IP一定是显示数据中心的,因为有些二次转发的模式,返回给你的IP都是服务器IP,但是请求IP会另外分配。

独享IP:是指当你获取IP后,这段时间内,这个IP就只提供给你使用而不会分配给其他人使用,这样保证了IP的稳定性,同时确保了带宽,不会受到其它用户干扰,如果是共享IP,那同时有很多人在使用这个IP发送请求,速度就得不到保证,如果同时有另外一个用户也在爬取跟你一样的网站,同一个IP发送多个请求,你细品会发生什么?那么如何区分独享还是共享呢?很简单,提取不收费,使用才收费的,就都是共享的,因为IP放在哪里,你不用别人在用,我没什么损失,独享IP一般都是提取就计费的,因为分配给你之后,这个IP就被你占用了,我无法卖给其它人,所以无论你用不用,我都会收费,现在你还觉得提取不扣费,使用才扣费的就是好产品吗?

IP池大小:现在声称几十万、几百万、几千万IP的都有,但是重复调用的和真实IP要区分开,有些有1万IP,重复调用每天能有几十万,会声称自己几十万IP,有些有十万IP,重复调用每天可到百万级别,会吹嘘自己有几百万IP,我目前用到过的,真实IP每天能获取240万左右,重复调用在4000万左右,避免广告嫌疑,我就不说是哪家了,不过真有这么大需求的话,我想你也不会轻易下手购买,市面上主流的都测试一遍,你就知道我说的是哪家了。无论广告怎么吹嘘,一测就什么都出来了,所以重要的事情说三遍:多测试多对比!多测试多对比!多测试多对比!

并发量:并发是什么意思大家都懂,测试一家供应商实力除了看IP池,其实看并发量也是很好的一个指标,小打小闹的,并发量肯定是不高的,我用过最高的并发可以达到万级的。同样是上面的那家。

分布:真正离散分布的住宅IP,分布肯定是遍布全国所有的城市,或者全球几乎所有互联网覆盖的国家和地区,只是数量多与少的问题,这样与网民IP高度重合的,才是网站反爬程序最无解的。

时效:其实爬虫对于IP时效要求很低,因为一个IP一般短时间内根据反爬,发送几次请求就需要更换了,所以对时效要求不高,短的几十秒1分钟就够,长的也就十几分钟半个小时。所以这点对爬虫不那么重要。

所以,爬虫程序在选择IP代理的时候,一定要选择住宅IP,而且必须独享,一分钱一分货,一块钱五分货是没错的,所以那些几百块钱包月不限量提取的,你问问为什么那么便宜。那些所谓的开放代理、私密代理,如果你是个人小需求,可以试试看,大公司就别去浪费时间了,一来它没那么大量满足你,二来质量也满足不了你的要求。

另外,所谓的不限量,实际上是限量的,因为它池子有限,所以会限制你提取频率,限制并发,比如每10秒才能提取50个IP,那你算算一天最多是多少IP?这叫不限量吗?

在python爬虫方面的应该中,更换ip的场景是经常的事情。而这个时候爬虫代理ip就派上用场了。作用很多,不仅能防止ip被封,而且能减少许多人工方面的工作。节省更多的营销成本。作为一名爬虫工作者往往需要寻找ip服务商接下来简单写写这些年用过的产品,由于工作性质的需要寻找海外http服务商。

大家都知道,目前国内关于爬虫的代理IP服务提供商多如牛毛,但是涉及海外IP资源的代理服务商就寥寥无几,那么今天和大家分享几款代理IP服务。

ipidea是一家国内的住宅IP服务商,每天有着9000万全球真实的住宅IP,还提供国内约300万的住宅IP,动静态独享都有包含,平时使用时检测一般都是5M/S左右。

特点:国内服务商不存在时差和客服语言沟通方面的阻碍,含有国内外240+国家地区9000万IP

优点:客服沟通,及时价格,合适技术,支持协议,兼容全面。

缺点:暂不支持机房IP

Storm Proxies是美国一家较出名的新秀代理品牌,虽然成立不到三年,但跟许多商家都有合作。Storm只有美国、欧洲、美国+欧洲混合,和世界混合包可选择,目前不提供除了美国之外其他指定国家的代理。

特点:ip授权,也就是一个ip只能在一个终端使用,针对性强,主要是领英、脸书、推特、INS、等,按照不同的用途购买不同的代理,比较有针对性;起订量低,适合对代理个数需求量小的受众。

优点:ip授权,流量无限制;名义上不提供免费试用,但提供48小时无效退款服务,也就是说,无论你购买哪个套餐,只要在48小时之内不满意的,可以申请退款。

缺点:代理数量较少,如果你想买中国的代理,只能买一个全球包,然后自己提取,不划算;没有中文客服;目前只接受老美常用的付款方式。

NewIPNow是2010年开始创建的老牌子,网站做得很简介,但是代理质量却是极好的。

特点:ip授权,按代理个数出售,按月买,适合代理数量需求小的受众。

优点:支持三天协商退款;代理地域不受限制,可以任选一个地区。

缺点:不支持在软件上运行,只能在浏览器上使用;只有两种支付方式,无中文客服(虽然网站上有中文选项,但仅限客户需求设置页面,其他页面无中文);目前该网站只提供HTTP协议的代理。

microleaves,2012年创建的老品牌。账户密码授权,按代理个数记价,平时也有优惠。适合小需求受众购买。支持HTTP(S)和SOCKS4/5协议。

特点:跟storm proxies 不同,接受reseller。前者则是严禁客户把账号转出。

优点:不提供试用,但是购买的3天内如果有任何问题都可以沟通能否能退,有反向代理,万人骑代理可选;带宽无限制。

缺点:只能skype和邮件联系;国家地区单一;无中文客服。

以上是我使用过的,个人认为如果想方便的话还是找国内服务商,时差这个问题在这上面处理不好比较浪费时间,也是没有办法的事情,后期如果再有机会接触其他的http代理我会更新补充。

我是一名爬虫工程师,使用过国内大部分的免费/付费代理IP提供商,这里挑选用过的几个代理IP的提供商给大家参考下吧。

1.蜻蜓代理 proxy.horocn.com

这家我是通过 V2EX 这个网站上了解到的。

买的是私密代理包天套餐,15元,每10秒可以提取10个IP,一天去重大概有8万左右的代理IP,可用率94.40%,平均延迟1.48秒 。

从2018年的2月份使用到现在,接近一年,目前主要用这家,服务比较稳定,性价比高。

2.大象代理 www.daxiangdaili.com

这家应该是著名的免费代理IP提供商西刺代理有关系,西刺代理的首页有这家的推荐广告。 我买了专业版,包天19元,测试下来:代理可用率56.80%,平均延迟6.87秒。 总体来说,不满意。

另外,大象代理返回的许多代理IP是国外的代理IP,如果你要抓取国内的一些数据,速度会有影响。

3.站大爷 ip.zdaye.com

站大爷的百度搜索排名很靠前,一开始就注意到了。

我买的是短效优质代理API包天,25元。代理的可用率97.60%,平均延迟1.56秒,一天不重复代理数4万。 站大爷的质量很好,只可惜价格较贵。

现在,我主要拿站大爷作为备用。

4.快代理 www.kuaidaili.com

快代理和站大爷一样,百度搜索的排名很靠前,SEO 优化得很好。

我测试的是私密代理 - 包天,60元。代理可用率35.60% ,平均延迟16.63秒,一天可用ip数1000+。 只能说质量很一般,然后价格偏高。

" data-rawwidth="1327" data-rawheight="487" data-size="normal" data-caption="" data-default-watermark-src="?source=1940ef5c" class="origin_image zh-lightbox-thumb lazy" width="1327" data-original="?source=1940ef5c" data-actualsrc="?source=1940ef5c">

还有其他家的还没有测试,好了再更新上来,希望对大家有帮助。

最后更新时间:2019/7/18