目录
见 GitHub 项目: https://github.com/lyc8503/fc-proxy
代理池新思路 - 基于腾讯云函数服务 SFC 的代理池blog.lyc8503.site/post/sfc-proxy-pool/最近写爬虫遇到比较严格的 IP 访问速率限制, 需要抓取的内容又比较多, 就打算找一个代理池.网络上现有的免费的代理池可用 IP 都相对很少, 连接也不稳定. 收费的代理池价格又都比较高.搜索的时候发现了一种新的代理 IP 来源 - 各类云函数服务, 可以获取较大量稳定低价的 IP.
原理
各类云函数服务都是基于容器服务和服务器集群为用户提供服务的, 用户上传的代码会被调度到有着不同公网 IP 的机器上运行. 且持续访问同一函数服务很有可能被分配到不同的公网 IP 地址.若在本地搭建一个特殊的 HTTP 代理服务器, 爬虫使用该代理, 该代理得到 HTTP 请求后将其按一定格式打包后发送给云函数服务, 云函数解包并发出实际请求, 将请求结果返回本地的 HTTP 代理, 最终返回给爬虫. (即利用 云函数转发.) 就可以实现和代理池相似的效果.