展开全部1、放慢爬取速度，减小对于目标网站造成的压力。但是这样会减少单位时间类的爬取量。第二种方法是通过设置IP等手段，突破反爬虫机制继续高频率爬取。网站的反爬机制会检查来访的IP地址，为了防止IP被封，这时就可以使用HTTP，来切换不同的IP爬取内容。使用代理IP简单的来讲就是让代理服务器去帮我们得到网页内容，然后再转发回我们的电脑。要选择高匿的ip，IPIDEA提供高匿稳定的IP同时更注重用户隐私的保护，保障用户的信息安全。2、这样目标网站既不知道我们使用代理，更不会知道我们真实的IP地址。 3、建立IP池，池子尽可能的大，且不同IP均匀轮换。如果你需要大量爬去数据，建议你使用HTTP代理IP，在IP被封掉之前或者封掉之后迅速换掉该IP，这里有个使用的技巧是循环使用，在一个IP没有被封之前，就换掉，过一会再换回来。这样就可以使用相对较少的IP进行大量访问。展开全部爬虫的IP地址受限？其中最直接的因素的便是访问速度过快，这个别说爬取抓取了，即便用户自己点击过快也是会被提示访问频率过快的。网络爬虫的访问速度若是一直都很快，并且都使用同一个IP地址访问，这是很快IP就会被封的。面对这个问题，网络爬虫一般是怎么处理的呢？无外乎是两种方法，第一降低访问速度，第二切换IP访问。爬虫降低访问速度由于上文所说的访问速度过快会引起IP被封，那么最直观的办法便是降低访问速度，如此就能防止了我们的IP被封的问题。但呢，降低速度，爬虫的效率就降低，关键还是要降低到什么程度？在这一点上，我们首先要测试出网站设置的限制速度阈值，如此我们才能设置合理的访问速度，建议不要设固定的访问速度，能够设置在一个范围之内，防止过于规律而被系统检测到，从而导致IP被封。爬虫切换IP访问降低了访问速度，难以避免的影响到了爬取的抓取效率，不能高效地抓取，如此的抓取速度与人工抓取有何区别呢？都没有了使用爬虫抓取的优势了。既然单个爬虫被控制了速度，但我们可以使用多个爬虫同时去抓取啊！是的，我们可以使用多线程，多进程，这里要配合使用代理，不同的线程使用不同的IP地址，就像是同时有不同的用户在访问，如此就能极大地提高爬虫的爬取效率了。展开全部一些网站为控制流量和防止受到攻击，设置了单ip一分钟内允许的最大请求数是很正常的。您在网上找到的使用代理来解决ip受限的问题，在大多数情况下确实是可行的。之所以说是大多数，是因为您使用ip代理来发出的http请求其实已经被黑客们广泛使用，当您使用成百上千个ip代理并开启大量线程向目标站点发起请求时，就是典型的ddos攻击的一种: cc攻击。对于一些大型的网站，一般都会对客户端的请求做一些检测，发现如果是使用的代理，不同网站会有不同策略，有些是降低每分钟来自该代理ip请求本站的次数，有些会直接跳转到验证页面，要求输入验证码才能继续访问站点，而有些就暴力一点，干脆不允许代理ip的访问了。当然，对于大多数网站是不会去检测用户是否使用了代理ip的，您可以尽情的使用这种方法开启多个线程来爬取目标网站的信息。前提是，您也要有足够的代理ip…BTW，在发起使用了代理ip的http请求之前，建议精心构建好这个请求，并合理控制好每秒的请求数，防止目标站点以为受到了攻击，进而导致您的所有代理地址都被拒绝。至于您所提的域名式的http代理，事实上他要比ip式的http代理更为稳定，例如像这样的域名背后有可能存在多个ip绑定，很显然使用上面的域名式代理向目标站点发出请求时，1个ip不能访问了，他还会有剩下多个ip来帮你完成访问请求。所以建议您使用域名式代理来向您的目标站点发出请求，当然，这也是cc攻击的常用伎俩。祝好运展开全部
被限制IP最普遍的一个缘故是抓取频率过快，超出了目标网站所设置的阈值，将会被服务器禁止访问。因此，许多爬虫工作者会选择运用代理IP来辅助爬虫工作的正常的运行。
一般 ，爬虫工程师会采取这样两个手段来处理问题：
一、放慢抓取速度，降低IP或是其他资源的消耗，但这样会降低单位时间的抓取量，有可能会影响到任务是否能按时完成。
二、优化爬虫程序，减少一些不必要的程序，提供程序的工作效率，降低对IP或是其余资源的消耗，这就需要资深爬虫工程师了。
如果说这两个办法都已经做到极致了，依然难以解决问题，那么只有购买代理IP来保障爬虫工作的高效、持续、稳定地进行。
展开全部 在数据收集方面而言，爬虫想要采集数据，前提条件要能突破网站的反爬虫机制，接着还能预防网站封IP，这样的才可以高效地进行工作。爬虫怎样防网站封IP?1.多线程采集采集数据，都想尽量快的采集更多的数据，要不然大量的工作还一条一条采集，太耗时间了。比如，几秒钟采集一次，这样一分钟能够采集10次左右，一天可以采集一万多的页面。如果是小型网站还好，但大型网站上千万的网页应该怎么办，按照这个速度采集需要耗大量的时间。建议采集大批量的数据，可以使用多线程，它可以同步进行多项任务，每个线程采集不同的任务，提高采集数量。2.时间间隔访问对于多少时间间隔进行采集，可以先测试目标网站所允许的最大访问频率，越贴近最大访问频率，越容易被封IP，这就需要设置一个合理的时间间隔，既能满足采集速度，也可以不被限制IP。3.高匿名代理需要突破网站的反爬虫机制，需要使用代理IP，使用换IP的方法进行多次访问。采用多线程，也需要大量的IP，另外使用高匿名代理，要不然会被目标网站检测到你使用了代理IP，另外透露了你的真实IP，这样的肯定会封IP。假若使用高匿名代理就可以避免被封ip。上文介绍了需要大量采集数据的情况下，爬虫怎样防网站封IP的方法，即使用多线程采集，并用高匿名代理进行辅助，还需要调节爬虫访问的速度，这样的大幅度降低网站封IP的几率。