伪装好了才能出发,通过proxy代理IP访问网站,python爬虫(6)

前面我们介绍过通过不同的浏览器访问网站,算是伪装的一种方法。今天介绍一下通过代理服务器的方式去访问网站,是伪装的另外一种方法了。

思路和准备

可以通过网站得知我们现在的IP情况,等下我们就以访问这个网站为例来看看代理是否工作。

另外,这里介绍一个免费代理的网站,大家可以用作测试。如果需要专业爬网站,最好是去买个代理。

编写代码

这里引入了一个ProxyHandler组件,在这里可以配置http的代理服务器的IP。如果是付费的IP可以通过用户名和密码的方式访问。

另外,我们的访问需要通过build_opener调用handler来实现。代码很简单,大部分代理之前都介绍过。

from urllib.request import Request, build_opener from fake_useragent import UserAgent from urllib.request import ProxyHandler url = "" headers={ "User-Agent": UserAgent().chrome } request = Request(url, headers=headers) handler = ProxyHandler({"http" : "112.85.129.8:9999"}) opener = build_opener(handler) response = opener.open(request) print(response.read().decode())

测试结果

先运行程序看看目前没有用代理的时候IP的信息

再看看利用了proxy之后产生的结果

可以看到请求的ip地址已经发生了改变。