代理IP
1. urllib.request.ProxyHandler()
①代理IP的原理:本机---->大力IP---->ip代理 socks访问的网站(服务器)
文字描述:本机先访问代理IP,再通过代理IP地址访问互联网,这样网站(服务器)接收到的访问IP就是代理IP地址。
②由Urllib提供urllib.request.ProxyHandler()方法可动态设置代理IP池,具体摘录如下:
目录
2. 演示一下代理IP去访问目标网址吧
①打开浏览器,去搜索几个免费的代理ip吧,如下是我找的免费ip代理(时间是2020年07月28日 09:53,后续也许能用,也许用不了,用不了的话,就自己网上找一下吧)
②找到免费的代理ip,然后就开始写代码,如下代码:
我们在日常的爬虫中免费的代理ip还是非常不稳定的
这里推荐一款适合爬虫的代理ip---代理云
爬虫的小伙伴可以去领取免费的代理IP试一下
国内高质动态IP。时效2-10分钟,现在注册还能免费领取一万代理IP
代理云 - 可视化用户控制台console.v4.dailiyun.com/user/?channel=wyh-zh上述代码验证是可以的(验证时间2020年7月28日11:43)
Cookies的使用
1. Urllib提供HTTPCookieProcessor()
Urllib提供HTTPCookieProcessor() 对Cookies操作,但Cookies的读写是由MozillaCookieJar()完成的。
1.1 Cookies写入文件:
运行结果:
1.2 Cookies读取:
执行结果:
证书验证
摘录过来的:当遇到一些特殊的网站时,在浏览器上会显示连接不是私密连接而导致无法浏览该网页。若在没有安装12306根证书的情况下访问12306网站
执行结果: