requests模拟发送http请求，频率限制---》变换ip---》代理（免费，收费）---》
搭建代理池---》开源(参照：python，flask+爬虫)
通过爬虫去免费网站爬取 免费代理--》验证一下---》存到库中(redis)--->请求一个接口，就随机返回一个代理地址
搭建步骤 ### 第一步：下载代码 git clone [email protected]:jhao104/proxy_pool.git ### 第二步：安装依赖 pip3install -r requirements.txt ### 第三步：修改配置--》项目路径下的settings.py # 配置API服务 HOST = "0.0.0.0" # IP PORT = 5000# 监听端口 # 配置数据库 DB_CONN = redis://127.0.0.1:8888/0 # 配置 ProxyFetcher--->配置爬取哪几个免费代理的网站 PROXY_FETCHER = [ "freeProxy01",# 这里是启用的代理抓取方法名，所有fetch方法位于fetcher/proxyFetcher.py "freeProxy02", # .... ] ### 第四步，启动项目 # 启动调度程序（爬取代理） python3 proxyPool.py schedule # 启动webApi服务（提供接口） python3 proxyPool.py server