ip代理 socks爬虫库Urllib(代理IP等)

代理IP

1. urllib.request.ProxyHandler()

①代理IP的原理:本机---->大力IP---->ip代理 socks访问的网站(服务器)

文字描述:本机先访问代理IP,再通过代理IP地址访问互联网,这样网站(服务器)接收到的访问IP就是代理IP地址。

②由Urllib提供urllib.request.ProxyHandler()方法可动态设置代理IP池,具体摘录如下:

2. 演示一下代理IP去访问目标网址吧

①打开浏览器,去搜索几个免费的代理ip吧,如下是我找的免费ip代理(时间是2020年07月28日 09:53,后续也许能用,也许用不了,用不了的话,就自己网上找一下吧)

②找到免费的代理ip,然后就开始写代码,如下代码:

我们在日常的爬虫中免费的代理ip还是非常不稳定的

这里推荐一款适合爬虫的代理ip---代理云

爬虫的小伙伴可以去领取免费的代理IP试一下

国内高质动态IP。时效2-10分钟,现在注册还能免费领取一万代理IP

代理云 - 可视化用户控制台​console.v4.dailiyun.com/user/?channel=wyh-zh

上述代码验证是可以的(验证时间2020年7月28日11:43)

Cookies的使用

1. Urllib提供HTTPCookieProcessor()

Urllib提供HTTPCookieProcessor() 对Cookies操作,但Cookies的读写是由MozillaCookieJar()完成的。

1.1 Cookies写入文件:

运行结果:

1.2 Cookies读取:

执行结果:

证书验证

摘录过来的:当遇到一些特殊的网站时,在浏览器上会显示连接不是私密连接而导致无法浏览该网页。若在没有安装12306根证书的情况下访问12306网站

执行结果: