忽然之间的博客

Thoughts, stories and ideas.

爬虫技术-使用Xpath解析HTML内容

XPath即为XML路径语言(XML Path Language),它是一种用来确定XML文档中某部分位置的语言。 XPath基于XML的树状结构,提供在数据结构树中找寻节点的能力。 起初XPath的提出的初衷是将其作为一个通用的、介于XPointerXSL间的语法模型。 XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。

利用Xpath查询技术,正好解决爬虫解析HTML的需求。

先来学习XPath语法, 相信大家都用过JQuery,使用$("#id"), $(".class")就能得到JS DOM对象,这里使用的就是选择器。我们来看XPath的选取节点语法。

选取节点

XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。

下面列出了最有用的路径表达式:

表达式 描述
nodename 选取此节点的所有子节点。
/ 从根节点选取。
// 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。
. 选取当前节点。
.. 选取当前节点的父节点。
@ 选取属性。

实例

在下面的表格中,我们已列出了一些路径表达式以及表达式的结果:

路径表达式 结果
bookstore 选取 bookstore 元素的所有子节点。
/bookstore 选取根元素 bookstore。注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径!
bookstore/book 选取属于 bookstore 的子元素的所有 book 元素。
//book 选取所有 book 子元素,而不管它们在文档中的位置。
bookstore//book 选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置。
//@lang 选取名为 lang 的所有属性。

谓语(Predicates)

谓语用来查找某个特定的节点或者包含某个指定的值的节点。 谓语被嵌在方括号中。

实例

在下面的表格中,我们列出了带有谓语的一些路径表达式,以及表达式的结果:

路径表达式 结果
/bookstore/book[1] 选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()] 选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1] 选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()< 3] 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang] 选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=’eng’] 选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00] 选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title 选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00。

选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

通配符 描述
* 匹配任何元素节点。
@* 匹配任何属性节点。
node() 匹配任何类型的节点。

实例

在下面的表格中,我们列出了一些路径表达式,以及这些表达式的结果:

路径表达式 结果
/bookstore/* 选取 bookstore 元素的所有子元素。
//* 选取文档中的所有元素。
//title[@*] 选取所有带有属性的 title 元素。

选取若干路径

通过在路径表达式中使用“|”运算符,您可以选取若干个路径。

实例

在下面的表格中,我们列出了一些路径表达式,以及这些表达式的结果:

路径表达式 结果
//book/title | //book/price 选取 book 元素的所有 title 和 price 元素。
//title | //price 选取文档中的所有 title 和 price 元素。
/bookstore/book/title | //price 选取属于 bookstore 元素的 book 元素的所有 title 元素,以及文档中所有的 price 元素。

轴描述语法

轴描述元表示XML文件分支树表达式的浏览方向。这些坐标──包括全名及缩写语法──列举如下:

坐标 名称 说明 缩写语法
child 子节点 比自身节点深度大的一层的节点,且被包含在自身之内 默认,不需要
attribute 属性 @
descendant 子孙节点 比自身节点深度大的节点,且被包含在自身之内 不提供
descendant-or-self 自身引用及子孙节点 //
parent 父节点 比自身节点深度小一层的节点,且包含自身 ..
ancestor 祖先节点 比自身节点深度小的节点,且包含自身 不提供
ancestor-or-self 自身引用及祖先节点 不提供
following 下文节点 按纵轴视图,在此节点后的所有完整节点,即不包含其祖先节点 不提供
preceding 前文节点 按纵轴视图,在此节点前的所有完整节点,即不包含其子孙节点 不提供
following-sibling 下一个同级节点 不提供
preceding-sibling 上一个同级节点 不提供
self 自己 .
namespace 名称空间 不提供

关于使用attribute坐标简写语法的一个范例,//a/@href在文件树里任何地方的元素下选择了一个叫href的属性。

self坐标最通常与述语同用,以参考现行选定节点。

例如,h3[.=’See also’]在现行上下文选取了叫h3的元素,该元素文字内容是See also。

如果需要了解更多,请查看ZVON.org给出的XPath帮助

函数与运算符[编辑]

XPath 1.0定义四种数据型别:节点型(本身无序的节点组)、字符串型、数字型、与布尔型。

有效的运算符有: - /、//以及..运算符,一般用于轴描述。 - 合集运算符 | 把两个节点形成联集。 - 布尔运算符and、or以及not()函数 - 数学运算符 +、-、*、div(除)以及mod(取余数) - 比较操作子 =、!=(不等于)、<、>、<=、>=

函数有:

  • 文字运算函数 concat(), substring(), contains(), substring-before(), substring-after(), translate(), normalize-space(), string-length()
  • 数学运算函数 sum(), round(), floor(), ceiling()
  • 节点属性取得函数 name(), local-name(), namespace-uri()
  • 处理上下文数据取得函数 position(), last()
  • 类型转换函数 string(), number(), boolean()

某些常用的函式详列如下。完整明细请参照W3C建议书。

  • 节点组函式[编辑]

position() 返回当前节点集合内,该节点的位置。

count(node-set) 返回符合XPath的节点集合的节点总数。

  • 字符串函式[编辑] string(object?) 根据内建法则转换任何四种XPath数据型别为字符串。参数可为XPath,此时符合条件的节点(群)被转换成字符串返回。

concat(string, string, string*) 链接任何数量的字符串。

contains(s1, s2) 如果s1包含s2返回真。

normalize-space(string?) 所有在字符串头和尾的空白字符都被移除,或者將字符间两个及以上的空白字符置换成单一空格。有些XML因打印关系被美化,但可能让后来的字符串处理結果不可靠,故使用此函式有时能很好地改善情况。

  • 布尔函数 not(boolean) 布尔否运算函数。

  • 数学运算函数 sum(node-set) 根据内建转型规则,转换所有XPath参数定义找到的节点字符串值成为数字,然后返回这些数字总合

使用操作子:=, !=, <=, <, >=和>的表达式可以创造于术语内。布尔表达式可用括号()、布尔操作子and与or、和/或者上述的not()函式联合起来。数值计算使用*, +, -, div和mod。字符串可包含任何Unicode字符。

述语内外,整个节点组可利用”|”字符联合起来。

v[x or y] | w[z]会返回单一节点组,包括现行上下文找到的所有拥有x或y子元素的v元素、有z子元素的w元素。

//item[@price > 2*@discount]会选取price属性至少两倍于discount属性数值的对象


看过了上面的基础语法,似乎离运用自如还有一些距离,纸上得来终觉浅,那就show me the code

我们先来随便找一个网页来分析。豆瓣读书

看起来是这个样子 。

参考资料