现很多隧道代理服务商都没有自己的服务器,也是代理别人的,特别是低价或免费的提高机构多是漏洞百出。有问题提及出给他们客服也解决不了问题。用了很多市面上**http,**http其实就只是一家公司不同代理品牌;且有些还不是真正的隧道代理,而是动态ip擦边球~!!
网上确实也有IP共享网站,会把一些免费的IP放出来给大家用。 如果大家是做爬虫的,那么,是不是可以先把各站点免费ip都爬一遍?其实这类公开的免费IP大多是不可用、可能代理服务器挂了或可能IP无效了,免费IP就算部分是可用的但因为是普匿和万人骑,使用效果也越来越差,实际运用在整体业务工作上划不来额。
和5分钟自己做个隧道代理类似,要自整个代理池(或购买便宜动态ip)-再测试提取最新可用ip-搭建转发服务实现自动转发-建立异常验证-运行。
很多品牌商代理池子质量不高,这种代理不仅网络带宽稳定性差延迟高,导致运行不稳定,个人怀疑可能都是二、三手代理。找了几家测试,稳定性太差,测试爬取量远没到一半直接卡死,个人怀疑是普匿甚至透明,这样容易被终端识别封禁,且有的ip也不是电信机房住宅ip,在其他实际应用场景上响应及稳定性等方面也是举步维艰。
GG了有些代理池子宣传流量很大什么日流百万,但没有任何筛查和逻辑维护-高匿掺杂普匿、一个共享ip同时分发人数过多或常在带宽顶点跑量,这些都是会大大降低成功率;有些稍微好用点就是白名单数不够。
可用率低经多方测评试用还是这家隧道较好用,隧道ip无重响应快,可自选存活周期和连接数。同时支持三主流协议。(其他品牌就见仁见智了,不能说完全不好,但是还是感觉这款稳定能确保深度高匿防关联工作效率。也是用了很多其他品牌效果不理想,经介绍才来用这款),没有出现过堵塞现象。
实际测试每分钟100个共享IP业务成功率优质的隧道代理需要深度高匿云端自换ip甚至可按每次请求换(个人感觉这样更安全持续),正式用不会有堵塞及降低ip质量,无出现冲突、运行速度慢以及被限访封禁。用过的这不限制终端数全平台支持可以同时不同终端登入一起跑。高白名单数也够用,关键带宽也非常给力。可以来试用跑下所需的场景业务,但不适大型文件下载。
无重超高并发隧道ip,高权重云端秒切ip全可用率,毫秒极速响应,大数据爬取首选稳定高并发,高白名单(用的这家增加白名单是不用加收费用,同品类通道也有高性价比;但据不同业务还是建议使用同系统环境同ip量同网速同目标,自定可用率、爬取成功率、响应速度阈值标准试用测试下额~!),自选时长为实际时长,不会像其他品牌说是3分钟其实只有1分多钟存活周期,这就感觉有点.......。虽然不能自主释放但能可选用按每次请求更换ip。动态ip中独占能够按量选定指定独占某城市区域,对于突破地域限制的爬虫很有帮助。
隧道代理固然好用省去配置麻烦,操作便捷,但是也要留意爬取目标的反爬机制,可以考虑先跑一点量稍微测出。个人在使用中还是要根据不同反爬机制做调整,这里牵涉到爬虫突破封禁方法,日后再和大家做讨论。
当然有条件确实可以自行vps搭建ADSL拨号代理来爬取,但总体流程更麻烦复杂!!需要找个服务商购买登入先测试拨号--》设置代理服务器(目前云电脑上面并没有安装相关代理软件流行的有 Squid、Sstap、Proxifier、SocksCap64和TinyProxy )--》调试代理确定代理连接成功--》配置高匿代理(防止目标站就通过参数如 X-Forwarded-For 来得知爬虫终端本机 IP直接封禁GG )--》动态获取ip爬取。
CentOS7.1系统搭建配置TinyProxy以下是其他网友CSDN的测评,供参考
【精华】爬虫工程师怎么选择优质的代理IP?_不愿透露姓名の网友的博客-CSDN博客_爬虫代理ip推荐blog.csdn.net/_/article/details/