Python分布式Spider_2_requests库

第三章:网络请求-requests库

(1)requests库的基本使用

Python 标准库中,虽然urrlib模块已经集成了我们日常使用的大多数功能,但是它的API使用起来很不方便,而Requests库却可以做到非常简洁

安装方法非常简单

发送get请求时,也非常简单,一行代码即可

(2)requests发送get请求(parms)

请求返回时,和urllib库一样,也是可以加入请求头等其他参数的,但是我们不需要自己编码,而只需要专心于我们需要什么参数

以下是有关查阅的参数

(3)requests发送post请求(data)

当然请求方法也非常简单,如果返回的是json数据则调用json方法即可

(4)requests使用代理ip

同样,和urllib库相比,requests使用代理IP也非常简单,只需要在请求方法中中传入proxies参数即可

同时在Python3.8,使用requests时可能会遇到“urllib3.exceptions.ProxySchemeUnknown: Not supported proxy scheme None”这样的错误,这是因为底层修改了url的解析模式,所以注意下写法如下

(5)requests处理cookie

如果一个相应中包含了cookie,那么就可以利用cookies属性拿到这个返回的cookie值

使用requests模拟登陆相较于urllib可以说是简单的不能再简单了,只需使用requests库提供给我们的session对象,注意session不是前端里的那个,这里只是指会话

并且这里用requests 库相较于urllib最终结果是请求成功了

(6)requests处理不信任的ssl证书