ProxyHandler处理(代理服务器),使用代理IP,是爬虫的常用手段,通常使用UserAgent 伪装浏览器爬取仍然可能被网站封了IP,但是我们使用代理IP就不怕它封了我们的IP了
获取代理IP的的网站:
www.goubanjia.comwww.xicidaili.com使用代理来隐藏真实访问中,代理也不允许频繁访问某一个固定网站,所以,代理一定要很多很多需要使用,从上面的网站拷贝基本使用步骤:
1.设置代理地址2.创建ProxyHandler3.创建Opener4.安装Opener案例v11proxy文件:# 使用代理服务器访问猫眼 # from urllib import request,error if __name__ == __main__: url = "" # 1.设置代理地址 proxy = {http: 218.60.8.83:3129} # 2.创建ProxyHandler proxy_handler = request.ProxyHandler(proxy) # 3.创建Opener opener = request.build_opener(proxy_handler) # 4.安装Opener request.install_opener(opener) # 下面再进行访问url就会使用代理服务器 try: rsp = request.urlopen(url) html = rsp.read().decode() print(html) except error.HTTPError as e: print(e) except Exception as e: print(e)运行结果
最后,小编想说:我是一名python开发工程师,整理了一套最新的python系统学习教程,想要这些资料的可以关注私信小编“01”即可,希望能对你有所帮助