requests模块基本使用、代理ip、session访问

ython原生基于网络请求的模块,比urllib更实用

相比urllib优势

自动处理编码自动处理post请求参数、并转码简化cookie和代理操作

安装使用

代理IP

注意!! 代理如果代理ip为http协议 那么post协议也统一http

get与post参数

响应体response常用属性

GET案例

抓取豆瓣电影信息

POST案例

取肯德基全国店地址 代理ip

综合案例

爬搜狗搜查询页面指定页数内容

带cookie的访问

session对象:发送请求(会将cookie对象自动存储)如果请求服务器返回cookie那么session请求会自动储存cookie,并且再次用session访问时会携带cookie