阅读须知：
02CERT全国静态ip代理的技术文章仅供参考，此文所提供的信息只为网络安全人员进行学习参考，未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。利用此文所提供的信息而造成的直接或间接后果和损失，均由使用者本人负责。
继续前几天的urlliib库爬虫，今天为大家带来urllib库的高级使用方法。
在【回复】：第一个爬虫，即可获得第一个爬虫示范程序。
目录
1. 伪装自己
有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作
1.1 全国静态ip代理设置请求头其中User-Agent代表用的哪个请求的浏览器
代码如下：
from urllib.request import urlopenfrom urllib.request import Requesturl = http://www.server.com/loginuser_agent = Mozilla/4.0 (compatible; MSIE 5.5; Windows NT) headers = { User-Agent : user_agent }request = Request(url, headers=headers)response = urlopen(request)page = response.read()对付防盗链，服务器会识别headers中的referer是不是它自己，如果不是，有的服务器不会响应，所以我们还可以在headers中加入referer
代码如下：
headers = { User-Agent : Mozilla/4.0 (compatible; MSIE 5.5; Windows NT), Referer: }提示
在此可以使用多个User_Agent:然后随即选择
import urllib.requestimport randomua_list = ["Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)","Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/ Firefox/3.0.1","Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Version/3.1","Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27","Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ;QIHU 360EE)"]user_agent = random.choice(ua_list)request = urllib.request.Request("")request.add_header("User-Agent",user_agent)#区分大小写print(request.get_header("User-agent"))1.2 设置代理Proxy假假如一个网站它会检测某一段时间某个IP 的访问次数，如果访问次数过多，它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理，网站君都不知道是谁在捣鬼了，这酸爽！分类：透明代理：目标网站知道你使用了代理并且知道你的源IP地址，这种代理显然不符合我们这里使用代理的初衷
匿名代理：匿名程度比较低，也就是网站知道你使用了代理，但是并不知道你的源IP地址
高匿代理：这是最保险的方式，目标网站既不知道你使用的代理更不知道你的源IP
代码如下：
from urllib.request import ProxyHandlerfrom urllib.request import build_openerproxy = ProxyHandler({"http": "119.109.197.195:80"})opener = build_opener(proxy)url = ""response = opener.open(url)print(response.read().decode("utf-8"))2 使用DebugLog
可以通过下面的方法把 Debug Log 打开，这样收发包的内容就会在屏幕上打印出来，方便调试，这个也不太常用，仅提一下
from urllib.request import HTTPHandlerfrom urllib.request import build_openerfrom urllib.request import Requesthandler = HTTPHandler(debuglevel=1)opener = build_opener(handler)url = ""request = Request(url)response = opener.open(request)好了，今天就讲到这，有兴趣的小伙伴可以试一试。记得一键三连（点赞、在看、转载）
部分资料来源于互联网