原文链接：

虽然学了前面两章可以自己爬取网页内容了，但这些内容夹杂了很多html代码啊，不相关的信息啊等等。

那本章就是解决一些手段对想要信息进行精准的提取，进而使爬取下来的信息都是我们想要的。

提取信息的技术有三种：XPath、BeautifulSoup、正则表达式 。

3.1 XPath

什么是 XPath ？（XML Path Language）

xpath是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。

工欲善其事，必先利其器。当我们掌握了XPath语法时，可以利用浏览器自带的插件来帮我们现在浏览器中进行语法测试。

Goolege浏览器： XPath Helper

火狐浏览器：try XPath

来看一下基本用法：（我的是谷歌浏览器，火狐的操作也类似）

3.1.1 XPath语法：

选取节点：使用路径表达式来选取XML文件中的节点或节点集。

谓词：使用谓词来过滤一些节点，比如上面的 class=“j”

格式：[谓词]

路径表达式 描述

通配符：

通配符 描述 实例 结果

选取多个路径： |

同时获取class=‘c’的div和dd元素 //div[@class=c] | //dd

3.1.2 lxml库

lxml是用C语言编写的HTML/XML解析器，主要功能是如何解析和提取HTML/XML数据。

我们可以利用之前学习的XPath语法，来快速定位特定元素以及节点。

使用前需要先安装：pip install lxml

基本使用的方式有两种：一个是对字符串进行解析，另一个是对HTML文件进行解析。

解析HTML文件

运用场景：当你需要对一个HTML文件进行解析或提取一些信息的时候。

声明：为了方便演示，下面我将假设我在D://TEST.html路径下的内容都可以满足要查找的条件

# 第一步：从lxml中导入etree。 # 注意，由于lxml是用c写的所以etree会没有提示 from lxml import etree # 指定HTML解析器 parser = etree.HTMLParser() # 解析HTML文件 html = etree.parse(D://TEST.html,parser) # 返回的是一个Element对象 # 1、获取所有tr标签 trs = html.xpath("//tr") for tr in trs: print(etree.tostring(tr,encoding=utf-8).decode(utf-8)) #2、获取第2个tr标签 tr = html.xpath("//tr[2]")[0]# xpath返回的永远是一个列表 print(etree.tostring(tr,encoding=utf-8).decode(utf-8)) #3、获取所有class等于even的tr标签 trs = html.xpath("//tr[@class="even"]") #4、获取所有a标签的href属性（注意） alist = html.xpath("//tr/@href") for a in alist: print("a") #5、获取所有职位信息 trs = html.xpath("//tr[position()>1]") for tr in trs: # “.” 表示获取这个标签下的子孙元素。 href = tr.xpath(".//a/@href")[0] print(href) text = tr.xpath(".//a/text()")# 获取a标签下的文本内容

etree.HTMLParser() 是一种解析器方式，如果 **etree.parse**不指定解析器则默认使用的是XML解析器。

text() 表示提取该元素包裹的直接内容，比如<p>aaa</p> 当你使用p/text() 时获取到的内容为aaa。在比如<p><div>aaa</div></p>此时如果你使用 p/text() 的方法则获取不到内容，为什么呢？因为text()获取的是该标签下的内容，而aaa在div标签下，所以获取不到。

元素 /@ 属性名 的理解：表示取出该元素的属性名对应的属性值。区别于 /元素[@属性名=‘属性值’]

解析字符串

运用场景：当从网上爬取到信息时，需要对这些信息进行过滤，而这些爬取下来的信息就是字符串，所以我们可以利用lxml来解析它。

那来个小案例吧，这个小案例需要先把上面的5个知识点搞懂，理解起来才会比较容易。

案例：利用lxml爬取快代理的IP地址。

# 第一步：从lxml中导入etree。 from lxml import etree import requests # 要爬取的url，这里只爬取第一页内容 Proxy_url = "" pro = ""# 用来存放拼接好的IP地址 PROXY = []# 存放爬取下来的IP地址的列表 # 获取爬取内容 response = requests.get(Proxy_url) text = response.text # 将爬取的字符串放进lxml中解析 html = etree.HTML(text)# 返回的也是一个Element对象 # 利用xpath语法查找IP地址内容所在的元素 trs = html.xpath("//table[@class=table table-bordered table-striped]//tr")[1:] # 把IP、端口号一个个提取出来并拼接在一起形成IP地址 for tr in trs: # 提取IP IP = tr.xpath("./td[@data-title=IP]/text()")[0] # 提取端口号 PORT = tr.xpath("./td[@data-title=PORT]/text()")[0] # 拼接成url pro = "HTTP://" + IP + ":" + PORT PROXY.append(pro) print(PROXY)

trs = html.xpath("//table[@class=table table-bordered table-striped]//tr")[1:] 这句代码的意思是选取class为table table-bordered table-striped的table 下面除去第一个的所有tr。因为你检查元素后会发现，第一个tr是没有用的，所以要除去第一个。

tr.xpath("./td[@data-title=IP]/text()")[0] 表示提取当前的**tr标签下的 含有data-title=IP 的td** 下面的直接内容，又因为xpath返回的是一个列表，所以需要[0]。

小结：

解析html字符串使用etree.HTML(string)解析，此方法默认使用HTML解析器。

解析html文件使用etree.parse(‘文件路径’)解析，此方法默认使用XML解析器。

xpath返回的永远是一个列表

etree在lxml库中