通过简单的Google搜索可以轻松找到大量的代理服务器列表。每天,甚至每小时,都会弹出新的代理服务器,其中一些仅持续几天。选择一个可信且合法的代理服务器非常重要。
尽管大多数人认为私人代理优于公共代理,但公共代理有很多好处。例如:
- 很多公共代理都是免费的。
- 对于需要多个代理但每个代理只使用几个小时的极少数用户,它们非常有用。
- 公共代理对某些需要从互联网获取日志的SEO软件会有所帮助(例如关键字排名或网页排名)。
- 公共代理服务器也可以与Web浏览器和其他支持代理使用的应用程序一起使用。
目录
使用公共代理的警告
不管公共代理的优点是什么,您都希望避免完全通过未知的代理服务器重定向您的浏览。如果你正在使用密码,这一点尤其重要。
如果您确定使用公共代理或免费代理,建议您参考以下简单提示并采取预防措施,以确保自己计算机的安全:
- 检查域的年龄。使用Web代理站点浏览之前,请转到domaintools.com,在此处输入域名,然后查看其创建时间。如果它是在不到两年前创建的,那么您可能要谨慎使用它。域和网站越旧越好。
- 隐私权。确保代理服务器仅对您的IP私有。如果不是独占的,它将在以后的网上冲浪过程中引起问题。
- 检查免责声明或服务条款。作为可靠站点的代理URL可以轻松访问免责声明和服务条款。最好的公司也提供他们的隐私政策。
- 在选择代理服务器之前,需要多做研究。在选择免费的公共代理服务器之前,请访问著名的博客,阅读评论并探索几种选择。
- 别人怎么说。来自其他用户的评论通常是诚实的,并且有助于确定代理列表的可靠性和诚实性
- 避免代理“超时”。免费的公共代理通常“ 超时 ”,因为代理服务器可能不再存在,或者服务器花了太长时间来响应来自另一个设备的数据请求。社区博客和评论应该能够帮助你远离不值得信任的公共代理。
尽管大多数技术专家对公共代理的安全性、可信性和可靠性持怀疑态度,但还是有可能找到提供高质量服务的工作公共代理。
很少有网站提供公共代理并且愿意实时测试和检查代理并删除失效的代理具有一定的一致性,因此请当心和谨慎。
很少有网站在提供公共代理时,愿意实时测试检查代理,去除死代理,所以要小心谨慎。
研究代理
代理身份识别是在线欺诈检测应用程序的重要组成部分。免费公共列表上的大多数代理列表通常都指示代理的原籍国。由于您经常需要物理上位于特定国家/地区的代理,因此需要理解这些相关信息。通常,如果代理位于您工作的国家/地区,则代理会更快。
在开始使用代理并传达您的私人信息和数据之前,还有更多的理由要研究和测试代理。
有可用的软件程序来检查代理的速度。代理服务器的速度可能因以下因素而异:
- 当前使用该代理的用户数量(主要发生在免费的公共代理而非私有代理中)
- 用户和代理服务器的位置。例如,对于美国用户而言快速的代理对于欧洲用户而言可能较慢
代理检查器
有一些不错的代理检查器,可以让您每分钟检查数百个代理。就像代理服务器本身一样,要当心该软件是否免费,因为在您进行代理检查时,它可能会引起不必要的注意。
ZennoProxyChecker有一个内置程序,可根据20个参数检查代理,以筛选出最危险的代理并选择最佳和最快的代理。
Charon是另一个多功能代理程序。它在Google上搜索公开发布的代理服务器列表,并合并了一个检查器以验证代理服务器的匿名性和功能。
另一个是ScrapeBox。ScrapeBox中包括功能强大的代理收割机和测试仪。这个方便的代理检查器使您可以检查代理是否正常工作。
由于代理网站的列表每天都会发布,因此几乎不可能手动访问每个网站并对其进行测试。ScrapeBox的代理管理器提供了一个简单得多的解决方案。它具有22个内置的代理源,并且它允许您通过添加发布代理的任何站点的URL来添加自定义源。
当您在ScrapeBox中运行Proxy Harvester时,它将访问每个网站并从页面中提取所有代理,并自动删除可能在多个网站上发布的重复代理。因此,只需单击一下,您就可以从众多网站中获取数千个代理。
许多网站每天发布代理列表。在理想的情况下,您可以手动访问这些站点,然后将列表复制到另一个工具中进行测试,然后将工作代理列表复制到最终要在其中使用的工具。ScrapeBox代理管理器显然是一个遥不可及的地方更简单的解决方案。
接下来,ScrapeBox代理测试器还可以对您抓取的代理进行大量检查。有一些选项可以删除或仅保留特定端口的代理,保留或删除特定国家/地区的代理,您甚至可以测试需要用户名和密码进行身份验证的私有代理。最后,代理测试人员可以通过在Google上执行搜索查询并查看是否返回搜索结果,来测试代理是否与Google合作。这样,您可以过滤代理以从Google收集URL时使用。
代理测试完成后,ScrapeBox将提供很多选择,例如:
- 能够重新测试失败的代理
- 重新测试所有未选中的代理,以便您可以随时停止并重新启动您离开o ff的位置,也可以突出显示并重新测试特定的代理
- 以设置的时间间隔测试代理,然后将“好代理”保存到文件中。这是一个巨大的好处,因为您将永远有新鲜的代理
- 添加关键字以过滤掉您不希望与竞争对手或大公司拥有的域名之类的内容
- 按所有字段(例如IP地址和端口号)对代理进行排序
- 按速度过滤代理并仅保留最快的代理
- 查看代理并仅保留匿名代理或仅保留Google通过的代理
- 对代理源进行分类,因此在测试代理时,ScrapeBox可以记住哪些代理来自什么源。最重要的是,完成所有收获和分类后,可以将代理保存到文本文件中。
下一步:验证
为了使您的代理与URL Profiler一起使用,它们需要进行身份验证。使用私人代理时,您可以通过IP地址或用户名和密码进行身份验证。如果您的代理未通过身份验证,则ScrapeBox将为该特定代理URL回复“失败”消息。
ScrapeBox Proxy Harvester的主要好处是具有“可培训代理扫描程序”功能。这意味着您可以完全配置要爬网的位置并满足业务的任何特定需求。
最后,在为浏览器设置匿名代理或高级匿名代理之后,您可以浏览此页面以测试您的真实IP是否被隐藏,或者您使用的代理是否为匿名代理:Proxy Checker。
导出代理列表
大多数代理检查器工具在其网站上或通过YouTube提供教程。
例如,scrapeBox提供了一个名为“ Whois Scraper”的插件。购买ScrapeBox时,此工具是免费提供的,并允许简单的excel数据导出。它允许您将所有“ whois”数据导出到Excel .xlsx文件。导出的信息包含您将需要的所有相关信息,包括:
- 域名
- 注册日期
- 到期日
- 注册人Nam
- 注册人电子邮件
- 注册人电话号码
结论
尽管公共代理服务器可能有一些优势,但风险往往大于利益。更好的选择是私有代理,其他任何人都不能访问它,并且可以提高匿名性和安全性-使用任何类型的服务器时,这两个重要方面。选择一个不可信的代理站点可能会导致长期的问题,而没人愿意。