展开全部无论是使用java、Python爬取数据，都会出现IP被封的情况，所以就需要使用代理IP替我们操作。我一般会利用Java的HttpClient包，来加入动态代理功能，我使用的是芝麻HTTP代理，当然你也可以选择其他的代理提供商。1、先声明一个代理类2、声明一个HttpClient 对象，设置好超时时间3、设置芝麻HTTP代理4、测试当前的代理是否有用5、得到服务器是否对我们进行屏蔽，如果返回的是SC_FORBIDDEN，代表被屏蔽的，那么我们就一个一个代理去试，也就是调用第四步的函数去判断当前的代理是否有用展开全部爬虫离不开的就是代理服务器了，如果我们不用http来爬虫，ip不更改的情况下，是很难进行的。当我们在使用爬虫爬取网站资料，速度快，可以不知疲倦地连续工作。但是由于爬虫软件在访问网站时，行为过于频繁，远超人力操作速度，就很容易被网站察觉，而封掉用户的IP。 所以，使用爬虫软件时，为了防止IP被封，或者IP已经被封，还想用自己的IP访问封了自己IP的网站时，就要用到代理IP了。http能够对我们的ip地址进行更改，这一操作能够有效减少了网站的ip限制的影响，对爬虫是很有帮助的。Ipidea含有240＋国家地区的ip，真实住宅网络高度匿名强力保护本地信息。展开全部成品 需要可以拿去参考展开全部当我们爬虫有的时候会遇到被禁ip的情况，这个时候你可以找一下代理网站，抓取一下ip，来进行动态的轮询就没问题了，也可以用别人做好的第三方ip代理平台，比如说crawlera，crawlera是一个利用代理IP地址池来做分布式下载的第三方平台，除了scrapy可以用以外，普通的java、php、python等都可以通过curl的方式来调用，具体如何设置可以查看crawlera使用指南。如果不使用第三方的平台做代理ip，我们就必须得手动抓取ip了，可以google搜索代理ip，可以找到一大堆网站，找几个稳定的代理网站，可以写一个爬虫脚本持续抓取，要是使用量不大的话，也可以手动粘贴抓取，要是土豪一点呢就买一点其实也可以，大概1块钱可以买几千个，还是挺值得的。如果你使用的是python，你需要自己维护一个ip池，控制每个ip的访问次数，随机更换ip什么的，但是如果你想做成服务化，你可以使用Squid绑定多个ip地址，做正向代理，Squid是一种在Linux系统下使用的比较优秀的代理服务器软件，把代理列表的代理ip，按照squid的cache_peer机制按照一定格式，写在配置文件中即可。这个就相当于将管理和调度的问题全交给了squid来做，你只需要使用爬虫访问squid的服务端口就可以了。现在可以将所有步骤归纳总结一下：1.利用爬虫脚本每天定时抓取代理网站上的免费ip，或者买一定数量的ip，写入mongodb或者其他的数据库中，这张表作为原始表。2.使用之前需要做一步测试，就是测试这个ip是否有效，方法就是利用curl访问一个网站查看返回值，需要创建一张新表，循环读取原始表有效则插入，验证之后将其从原始表中删除，验证的同时可以利用响应时间来计算这个ip的质量，和最大使用次数，有一个算法可以参考一种基于连接代理优化管理的多线程网络爬虫处理方法。3.将有效的ip写入squid的配置文件，重新加载配置文件。4.让爬虫程序去指定的squid的服务ip和端口，进行抓取。展开全部爬虫采集成为很多公司企业个人的需求，但正因为如此，反爬虫的技术也层出不穷，像时间限制、IP限制、验证码限制等等，都可能会导致爬虫无法进行，所以也出现了很多代理IP软件像618IP软件来解决。