自建免费PYTHON爬虫代理IP池

大家好,我还是小四毛,不是崔老师!!!!崔老师在隔壁,哈哈哈。

写了一个从网上抓取代理IP,然后构建代理IP池的脚本,放在了这里:https://github.com/xiaosimao/IP_POOL

以后应该还会有很多的改动, 欢迎有兴趣的同学star,以便及时可以收到改动的通知。

目前是从以下几个网站获取IP:66ip,xicidaili,data5u,proxydb。

具体的使用方法文档在readme.md 中, 欢迎交流。

如果你需要从别的网站获得, 那么可以在配置文件中进行相关的配置即可, 如果实在不想自己写,也可以提issue给我,我会看情况更新到代码中。

一般情况下,只要配置一下配置项就可以从新的网站获取IP,最大限度减少写代码的时间。

免费的ip,质量不敢保证,目前测试的目标网站为百度和https://httpbin.org/get, 还是获得了一些通过测试的IP,下面是截图。

转载请注明:静觅 » 自建免费PYTHON爬虫代理IP池

自己动手,丰衣足食!Python3网络爬虫实战案例 自己动手,丰衣足食!Python3网络爬虫实战案例关键字:已有1039 人学习猫眼电影、今日头条街拍、淘宝商品美食、文章、知乎用户信息等案例,结合反爬策略,例例实战已连载完毕。