要从一个网站抓几个页面，但是抓到第500多个的时候，被对方屏蔽了ip好像。最终用了迅雷，有没有什么不这么2办法？

bestproxy • • 代理百科

伪装UserAgent为主流浏览器，或主流搜索引擎;伪装refer为网站主页;控制速率;设置一些常用的http header, 如：Accept，Accept-Charset，Accept-Encoding，Accept-Language如果可设置cookie，尽量设上

做好这几步，除了你的程序不能运行js和渲染页面外，基本就是一个浏览器了

偶尔可以完全突破些较烂的防采集机制的方法：

1. 伪装Useragent并随机轮换

2. 伪装Uesragent为Baiduspider

3. 伪装IP

其实量很小的情况下，也或许可以隔几秒抓一次，睡一觉之后也完成了。

只针对一个网站的话，租几个Proxy，抓完了就退掉呗：）

代理IP

赞 (0)
« 上一篇 2022年6月15日 pm1:05
下一篇 » 2022年6月15日 pm1:07

相关文章

  • 15个最受欢迎的Python开源框架

    一、Django: Python Web应用开发框架           Django是一个开放源代码的Web应用框架，由Python写成。采用了MVC的软件设计模式，即模型M，视图V和控制器C。它最初是被开发来用于管理劳伦斯出版集团旗下的一些以新闻内容为主的网站的，即是CMS（内容管理系统）软件。并于200...

    代理百科 2022年7月15日

  • 如何科学上网。国内加速器评测

    0 分享至 用扫码二维码 分享至好友和朋友圈 现在国内很多的萌萌的小白都喜欢上了科学上网，对于在国内看不到新知识有了强烈的求知欲，然而，一些未可知的原因导致了无法科学上网，今天我们就来点评一下国内加速器的优缺点。（数据来之百度搜索，不代表笔者观点）现在国内有很多提供免费加速器，各家的水平也是参差不齐，有的用心服务，为客户提供优质免费V线路，进而赢得客户的信任...

    代理百科 2022年7月7日

  • 浪潮软件「H3C服务器」中标中检院《2022年虚拟化桌面设备采购项目》

    2022年1月28日，中国食品药品检定研究院发布《2022年虚拟化桌面设备采购项目》招标公告，预算 434 万元。 采购产品一览表： 虚拟化桌面池服务器指标要求： 虚拟化桌面池存储指标要求： 中标结果 2022年2月21日发布中标（成交）结果公告，浪潮软件股份有限公司 428 万元中标。 主要投标标的：

    代理百科 2022年3月23日

  • 长胖的秘密vs减肥的秘笈，你想要哪一个？

    “春日不减肥，夏天徒伤悲。” 在这个炽夏已经进入了倒计时的阶段中，小南生怕多吃一口肉，赶不上夏日辣妹走秀，绞尽脑汁地在网上搜索“减肥速成法”。 36天就减肥25斤？这个方法好，跃跃欲试了！ 点进去一看： ——要保持12天不进食只喝水的断食期喔~ ——好家伙！果然是只有喝露水的仙女才配使用的减肥方法。打扰了，是本南不配了。 但放弃，是不可能的！为了夏日能够自信...

    代理百科 2022年3月30日

  • 关于代理服务器

    展开全部 代理服务器的主要功能有:(1)设置用户验证和记账功能，可按用户进行记账，没有登记的用户无权通过代理服务器访问Internet网。并对用户的访问时间、访问地点、信息流量进行统计。(2)对用户进行分级管理，设置不同用户的访问权限，对外界或内部的Internet地址进行过滤，设置不同的访问权限。(3)增加缓冲器(Cache)，提高访问速度，对经常访问的地...

    代理百科 2022年4月3日

  • 嘉善“云宝”开启“IP+非遗技艺”发展新路子

    　　■记者 朱 鑫 通讯员 陈佳伟 　　本报讯 洋气的IP形象与传统的非遗文化在这里巧妙融合……5月28日下午，嘉善大云举行“延续传统文脉 阔步共富道路”2022年大云镇文化和自然遗产日开幕式，为云宝IP五周岁庆生。当天还发布了“四季大云”品牌活动之“夏日萌趣狂欢季”，举行了大云镇非遗短片拍摄开机启幕仪式，启动了“寻美环游 共健共富”欢乐跑等活动。 　　近年...

    代理百科 2022年6月2日