![](https://bestproxy.cc/wp-content/uploads/2022/12/1671619557-1642519138-slider-jms.png)
第四天
代理服务器的设置:有时使用同一个ip去爬取同一个网站上的网页会被屏蔽。现在用Python
用Python 设置代理ip瞒天过海暗度陈仓。
以下是整理好的网址: http://http.zhiliandaili.cn/
import urllib.request
proxy = urllib.request.ProxyHandler({http:140.143.156.166:1080}) # 设置代理服务器
opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)# 创建 build_opener 对象
urllib.request.install_opener(opener)
html = urllib.request.urlopen("http://www.baidu.com")
print(html.getcode()) # 获取请求状态码
data = html.read().decode(utf-8)# 读取数据并解码
print(len(data))
代码分析
proxy = urllib.request.ProxyHandler({http:140.143.156.166:1080})
使用 ProxyHandler() 方法设置代理服务器信息。参数是一个字典,其“键”为协议类型,“值”为代理服务器地址。可以定义"http"协议 或 "https" 等协议!(注意:这需要根据代理服务器提供的代理服务进行设置)
特别声明:其“键”值切勿写成“http://”、"https://"等格式,因为这样会产生完全不一样的效果。使用此格式时仍然是使用计算机当前的公网IP进行资源获取,而不是使用代理服务器地址,所以如果使用了该格式,后面填写的代理服务地址,不管格式是对是错,代理服务器是否可用,这都与本程序无关。
opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)
使用 build_opener() 方法创建一个自定义 opener 对象。参数1:为代理服务器信息 ;参数2:是 urllib.request.HTTPHandler 类。
urllib.request.install_opener(opener)
使用 install_opener() 方法创建一个全局对象,主要为接下来甚至后面所有的“连接请求”操作提供服务。
html = urllib.request.urlopen("http://www.baidu.com")
调用 urlopen() 方法请求相关资源,注:这里会使用上面 install_opener() 方法创建的 opener 对象进行连接请求,即使用定义好的代理服务器。成功请求到资源后返回给 html 变量。
html.getcode()
获取网页请求的状态码。返回 200 表示请求成功,返回其它表示请求异常!具体可查看页面请求状态码相关知识。
至此,结合“实例输出”可知页面已经请求成功,且获得的页面资源总长度为个字符。
封装代码
下面对以上 代理服务设置 的代码就行一个函数封装,具体如下:
#!/usr/bin/python3
#-*- coding: utf-8 -*-
import urllib.request
def use_proxy(proxy_addr, url):
"""
功能:设置代理服务器,利用代理服务器请求资源
:param proxy_addr: 代理服务信息 格式:【IP地址:端口】
:param url: 请求页面url地址
:return: 页面 html 代码
"""
proxy = urllib.request.ProxyHandler({http:proxy_addr})
opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)
urllib.request.install_opener(opener)
data = urllib.request.urlopen(url)
print(data.getcode())
html = data.read()
return html
proxy_addr = "140.143.156.166:1080"# 代理服务器地址
url = "http://www.baidu.com"
data = use_proxy(proxy_addr, url) # 调用函数
print(len(data))
# 写入文件中
fp = open("./aa.html", "wb")
fp.write(data)
fp.close()
提示:在 调用 or 测试 本程序时,应先测试代理服务是否可用,具体可以多获取几个代理服务器地址进行测试。