目录大家好,我是@无欢不散,一个资深的互联网玩家和Python技术爱好者,喜欢分享硬核技术。
欢迎访问我的专栏:
硬核Pythonwww.zhihu.com/column/c_经常有粉丝在后台留言,问:大佬,运行你的爬虫程序怎么报错了?
我让他把报错信息发过来,看过之后一声叹息。
大多数粉丝是直接拿着代码就开始运行,然后就是等待结果,完全不去仔细阅读和理解源码,遇到报错就直接过来询问。
多数爬虫源码运行的报错都是由于访问目标网站过于频繁,从而导致目标网站返回错误或者没有数据返回。
目前大多数网站都是有反爬措施的,如果 IP 在一定时间内 请求次数超过了一定的阈值就会触发反爬措施,拒绝访问,也就是我们经常听到的“封IP”。
那么怎么解决这个问题呢?
一种解决办法就是降低访问频率,访问一次就等待一定时长,然后再次访问。这种方法对于反爬措施不严格的网站是有效的。
如果遇到反爬措施严格的网站,访问次数多了还是会被封杀。而且有时候你需要爬取数据,这种解决办法会使获取数据的周期特别长。
第二种解决办法就是使用代理 IP。我不断地切换 IP 访问,让目标网站认为是不同的用户在访问,从而绕过反爬措施。这也是最常见的方式。
接着,我们又面临一个问题:哪来这么多独立 IP 地址呢?
最省事的方式当然是花钱买服务,这种花钱买到的 IP 一般都是比较稳定可靠的。
今天我们来聊一下不花钱免费获取代理 IP 的方式。
目录
ProxyPool 简介
ProxyPool 是一个爬虫的代理 IP 池,主要功能为定时采集网上发布的免费代理验证入库,定时验证入库的代理保证代理的可用性,提供API和CLI两种使用方式。
同时你也可以扩展代理源以增加代理池IP的质量和数量。
获取项目
我们可以通过两种方式获取 ProxyPool 项目。
第一种是通过命令行下载:
git clone [email protected]:jhao104/proxy_pool.git第二种是下载对应的 zip 压缩包:
安装依赖
我们获取到项目之后,进入到项目的根目录,运行下面的代码来安装项目所需的依赖包:
pip install -r requirements.txt修改配置文件
要在本地运行项目,我们需要针对本地环境修改一些配置。打开项目中的 setting.py 这个文件,根据自己本地的环境和要求修改配置。
# setting.py 为项目配置文件 # 配置API服务 HOST = "0.0.0.0" # IP PORT = 5000# 监听端口 # 配置数据库 DB_CONN = redis://:[email protected]:8888/0 # 配置 ProxyFetcher PROXY_FETCHER = [ "freeProxy01",# 这里是启用的代理抓取方法名,所有fetch方法位于fetcher/proxyFetcher.py "freeProxy02", # .... ]主要修改的几项配置是监听端口(PORT)、 Redis 数据库的配置(DB_CONN)和启用的代理方法名(PROXY_FETCHER)。
启动项目
修改完配置之后,我们就可以愉快地使用了。
这个项目总体分为两个部分:爬取代理 IP 和 取用代理 IP。
如果你要启用爬取代理 IP 的服务,直接运行下面命令:
python proxyPool.py schedule启动之后,你就可以看到如下的控制台信息了:
程序每隔一段时间就会定时爬取一下,直到我们的 IP 池里面有一定数量的可用 IP 。
其实,作者在这个项目中运用的原来就是到一些免费的代理网站采集 IP,然后测试 IP 的可用性,可用的就存入 Redis 中,不可用就丢弃。
所以你完全可以自己写一套程序实现这个逻辑。
使用代理 IP
要使用代理 IP,你需要启动 webApi 服务:
python proxyPool.py server启动web服务后, 默认配置下会开启 http://127.0.0.1:5010 的api接口服务:
如果要在爬虫代码中使用的话, 可以将此api封装成函数直接使用,例如:
import requests def get_proxy(): return requests.get(":5010/get/").json() def delete_proxy(proxy): requests.get(":5010/delete/?proxy={}".format(proxy)) # your spider code def getHtml(): # .... retry_count = 5 proxy = get_proxy().get("proxy") while retry_count > 0: try: html = requests.get( proxies={"http": "http://{}".format(proxy)}) # 使用代理访问 return html except Exception: retry_count -= 1 # 删除代理池中代理 delete_proxy(proxy) return None总结
作为学习使用的 IP 代理池,这项目获取的足够使用了,但是对于一些复杂的爬虫项目或者商业项目的话,可能比较够呛,毕竟这种爬取的免费代理质量肯定没有那么好,不稳定是正常的。
福利
这里有一份精心整理的程序员书单,不论你学习哪个编程语言,都会用得着:
可以通过下面方式获取:
程序员必看经典书单mp...com/s?__biz=MzkxNDI3NjcwMw==&mid=&idx=1&sn=f35ddd0a70655aebce606f532f1a79f9&chksm=5d15270e518a03cbb46bf57249e79fb1688e99433dd3e66502dad2f7b82a8f164#rd更多精彩
我的热门文章,也许你会感兴趣:
一大波电脑高清分区壁纸来了(持续更新) - 知乎 (zhihu.com)
50个Pandas高频使用技巧 - 知乎 (zhihu.com)
神器 pypandoc —— 实现电子书自由 - 知乎 (zhihu.com)
丢弃Tkinter,这款GUI神器值得拥有! - 知乎 (zhihu.com)
Python Web实战:Flask + Vue 开发一个漂亮的词云网站 - 知乎 (zhihu.com)
Python + Steamlit 快速开发可视化 web 页面! - 知乎 (zhihu.com)
丢弃 Tkinter!几行代码快速生成漂亮 GUI! - 知乎 (zhihu.com)
Python 量化金融都需要用到哪些库?最全汇总! - 知乎 (zhihu.com)
PyWebIO,让 Pandas 原地起飞的神器! - 知乎 (zhihu.com)
我的热门回答,也许你可以看看:
程序员工作压力大,身体也垮,为什么还这么多人想做程序员?是因为喜欢吗? - 知乎 (zhihu.com)
你用 Python 写过哪些有趣的脚本? - 知乎 (zhihu.com)
哪些 Python 库让你相见恨晚? - 知乎 (zhihu.com)
你们都用 python 做什么呢(除了专职程序员)? - 知乎 (zhihu.com)
刚接触Python如何快速上手? - 知乎 (zhihu.com)
可以自学Python吗? - 知乎 (zhihu.com)
有哪些靠谱的Python课程推荐? - 知乎 (zhihu.com)