目录
开发环境
python3 + Microsoft Edge Chromium
爬虫入门知识
HTTP请求过程
当用户在浏览器的地址栏中输入一个URL并按回车之后，浏览器会向HTTP服务器发送Request请求，去获取该URL的html文件，服务器把Response文件对象发送回浏览器。HTTP请求主要分为Get和Post两种方法。浏览器分析Reponse中的html，发现其中引用了很多其他文件，比如images文件，css文件，JS文件。浏览器会自动再次发送Request去获取这些文件。当所有的文件都下载成功后，网页会根据HTML语法结构完整地显示出来。常用请求方法
Get请求 ：只从服务器获取数据，不会对服务器资源产生影响Post请求：向服务器发送数据（登录），上传文件等，会对服务器资源产生影响。请求头常见参数
User-Agent:浏览器名称，如果我们使用爬虫发送请求，那么我们的User-Agent就是Python,很容易被反爬虫检测到；Referer:表明当前请求是从哪个URL过来的，这个一般也可以用来做反爬虫技术。如果不是从指定页面过来的，那么就不做相关的响应。Cookie:http协议是无状态的，也就是从一个人发送了两次请求，服务器没有能力知道这两个请求是否来自同一个人。因此这时候就用cookie来做标识。一般如果想要做登录后才能访问的网站，那么就需要发送cookie信息了。常见响应状态码
200:请求正常，服务器正常返回数据；301:永久重定向，比如在访问www.jingdong.com的时候回重定向到www.jd.com；302:临时重定向，比如在访问一个需要登录的页面的时候，而此时没有登录，那么就会重定向到登录界面；400:请求的url在服务器上找不到，换句话说就是请求url错误；403:服务器拒绝访问，权限不够；500:服务器内部错误，可能是服务器出现bug了。urllib库
urlopen
一个简单的读取百度首页的代码
from urllib import request resp = request.urlopen(https://baidu.com) print(resp.read())返回值resp有多个方法read,readline,readlines,getcode
urlretrieve
下载网页
from urllib import request request.urlretrieve(https://www.baidu.com, baidu.html)urlencode
用浏览器发送请求的时候，如果url中包含了中文或者其他特殊字符，那么浏览器会自动进行编码。如果使用代码发送请求，则必须手动进行编码。
from urllib import parse data = {name: zzr, age: 18} qs = parse.urlencode(data) print(qs)parse_qs
将经过编码后的url参数进行解码
from urllib import parse qs = name=zzr&age=18 print(parse.parse_qs(qs))urlparse和urlsplit
有时候拿到一个url，想要对这个url中的各个组成部分进行分割
from urllib import request, parse url = ?wd=python&rsv_spt=1 print(parse.urlparse(url)) print(parse.urlsplit(url))两个函数基本一样，唯一不同的地方是urlparse多了一个params属性
request.Request类
如果想在请求的时候增加一些请求头，则必须使用Request类来实现，下面是爬取拉勾网职位信息的一个例子：
from urllib import parse, request url = ?needAddtionalResult=false headers = {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4090.0 Safari/537.36 Edg/83.0.467.0, Referer: ?labelWords=&fromSearch=true&suginput=, data = {first: true, pn: 1, kd: python} req = request.Request(url, headers=headers, data=parse.urlencode(data).encode(utf-8), method=POST) resp = request.urlopen(req) print(resp.read().decode(utf-8))对应的请求头参数在上面网页按F12进行查找。但上面的代码已经读取不到拉勾网的职位信息，因为他们的反爬虫技术也在进步。但是记住一点，在使用Request类的时候，一定记得加上请求头headers，要不然非常容易被反爬到。
ProxyHandler处理器（代理设置）
很多网站会检测某一段时间某个IP的访问次数（通过流量，系统日志等），如果访问次数太多，它会禁止这个IP的访问，所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。
代理的原理：
在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，然后代理服务器再将拿到的数据转发给我们的代码。
常用代理有：
西刺免费代理快代理代理云我们这里通过快代理获取免费的ip
urllib中通过ProxyHandler来设置使用代理服务器
from urllib import request url = # 没有使用代理 # resp = request.urlopen(url) # print(resp.read()) # 使用代理 # 1. 使用ProxyHandler传入代理构建一个handler handler = request.ProxyHandler({http: 59.44.78.30:54069}) # 2. 构建opener opener = request.build_opener(handler) # 3. 使用opener发送请求 resp = opener.open(url) print(resp.read)可以看到输出的ip地址已经发生改变，但是免费的代理很慢，所以建议花点小钱买个代理。
Cookie
在需要登录的网站进行访问时，比如我们访问某一个人的主页，那么如果你没有登录一般是看不了的，它会重定向到登录界面。当我们登录之后就可以进行访问。但是我们使用爬虫代码因此不可能进行登录。因此我们只要手动进行登录进入某人的主页，并获取到该主页的cookie信息，将cookie信息添加到请求头中即可进行访问。
http.cookiejar模块
有没有一种方法不需要我们手动获取cookie信息，显得太low，我们这里使用一种方式全自动地获取某人主页。
该模块主要的类有以下4种:
CookieJar:管理HTTP cookie值，存储HTTP请求生成的cookie,向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失；FileCookieJar(filename, delayload=None, policy=None):从CookieJar派生而来，检索cookie信息并将cookie存储到文件中。filename是存储cookie的文件名，delayload为True时支持延迟访问文件，即只在有需要时才读取文件或在文件中存储数据。MozillaCookieJar:从FileCookieJar派生而来，创建与Mozilla浏览器cookies.txt兼容的FileCookieJar实例LWPCookieJar:从FileCookieJar派生而来，创建与libwww-per标准的Set-Cookie3文件格式兼容的FileCookieJar实例。from urllib import request, parse from http.cookiejar import CookieJar headers = {User-Agent: } def get _opener(): 登录准备 # 创建一个cookiejar对象 cookiejar = CookieJar() # 使用cookiejar创建一个HTTPCookieProcess对象 handler = request.HTTPCookieProcessor(cookiejar) # 使用handler创建一个opener opener = request.build_opener(handler) return opener def login(opener): 登录 # 填入自己的账号密码 data = {email: , password: } login_url = req = request.Request(login_url, data=parse.urlencode(data).encode(utf-8), headers=headers) opener.open(req) def visit(opener): 访问个人主页 url = req = request.Request(url, headers=headers) resp = opener.open(req) with open(renren.html, w, encoding=utf-8) as f: f.write(resp.read().decode(utf-8)) if __name__ == __main__: opener = get_opener() login(opener) visit(opener)