本文共 3730 字，大约阅读时间需要 12 分钟。

XPath语法和lxml模块

什么是XPath？

xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。

XPath开发工具

1. Chrome插件XPath Helper。

   http://www.cnplugins.com/

2. Firefox插件Try XPath。

XPath语法

选取节点：

XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

需要注意的知识点：

1. /和//的区别：/代表只获取直接子节点。//获取子孙节点。一般//用得比较多。当然也要视情况而定。

2. contains：有时候某个属性中包含了多个值，那么可以使用contains函数。示例代码如下：

   //div[contains(@class,'job_detail')]

3. 谓词中的下标是从1开始的，不是从0开始的。

谓语：

谓语用来查找某个特定的节点或者包含某个指定的值的节点，被嵌在方括号中。

通配符

*表示通配符。

选取多个路径：

通过在路径表达式中使用“|”运算符，可以选取若干个路径。

//bookstore/book | //book/title# 选取所有book元素以及book元素下所有的title元素

运算符：

[外链图片转存失败(img-HLG3cNly-1562509594328)(qqTu%20Pian%2020171124194846.png)]

lxml库

lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。

lxml和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息。

lxml python 官方文档：

需要安装C语言库，可使用 pip 安装：pip install lxml

基本使用：

我们可以利用他来解析HTML代码，并且在解析HTML代码的时候，如果HTML代码不规范，他会自动的进行补全。示例代码如下：

# 使用 lxml 的 etree 库from lxml import etree text = '''
   
    
    
         
     
first item
         
     
second item
         
     
third item
         
     
fourth item
         
     
fifth item # 注意，此处缺少一个 
 闭合标签     
    
 
   
'''#利用etree.HTML，将字符串解析为HTML文档html = etree.HTML(text) # 按字符串序列化HTML文档result = etree.tostring(html)   print(result)

输入结果如下：

   
    
    
         
     
first item
         
     
second item
         
     
third item
         
     
fourth item
         
     
fifth item
    
 
   

可以看到。lxml会自动修改HTML代码。例子中不仅补全了li标签，还添加了body，html标签。

从文件中读取html代码：

除了直接使用字符串进行解析，lxml还支持从文件中读取内容。我们新建一个hello.html文件：

   
   
    
    
         
     
first item
         
     
second item
         
     
third item
         
     
fourth item
         
     
fifth item
     
    
 
   

然后利用etree.parse()方法来读取文件。示例代码如下：

from lxml import etree# 读取外部文件 hello.htmlhtml = etree.parse('hello.html')result = etree.tostring(html, pretty_print=True) #按照字符串 将其序列化  print(result)

输入结果和之前是相同的。

在lxml中使用XPath语法：

1. 获取所有li标签：

   from lxml import etree html = etree.parse('hello.html') print type(html)  # 显示etree.parse() 返回类型 result = html.xpath('//li') print(result)  # 打印
   标签的元素集合

2. 获取所有li元素下的所有class属性的值：

   from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li/@class') print(result)

3. 获取li标签下href为www.baidu.com的a标签：

   from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li/a[@href="www.baidu.com"]') print(result)

4. 获取li标签下所有span标签：

   from lxml import etree html = etree.parse('hello.html') #result = html.xpath('//li/span') #注意这么写是不对的： #因为 / 是用来获取子元素的，而  并不是 
    的子元素，所以，要用双斜杠 result = html.xpath('//li//span') print(result)

5. 获取li标签下的a标签里的所有class：

   from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li/a//@class') print(result)

6. 获取最后一个li的a的href属性对应的值：

   from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li[last()]/a/@href') # 谓语 [last()] 可以找到最后一个元素 print(result)

7. 获取倒数第二个li元素的内容：

   from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li[last()-1]/a') # text 方法可以获取元素内容 print(result[0].text)

8. 获取倒数第二个li元素的内容的第二种方式：

   from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li[last()-1]/a/text()') print(result)

转载地址：https://blog.csdn.net/zhou_xiong1130/article/details/95038759 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！