在Python爬虫中，使用XPath提取数据时，除了`text()`方法外，还可以通过以下方式来提取所需信息： ### 提取节点的属性值 若需要获取某个标签的属性值，例如`a`标签中的`href`属性，可以使用`@`符号进行提取。以获取小说链接为例： ```python import requests from lxml import etree res = requests.get("http://www.biqugei.net/") html = etree.HTML(res.text) result = html.xpath('//h4/a/@href') print(result) ``` 此代码通过`//h4/a/@href`表达式提取了网页中所有`h4`标签下`a`标签的`href`属性值[^1]。 ### 获取特定条件下的文本内容 如果希望从满足某些条件的节点中提取文本内容，可以直接在XPath表达式中加入条件判断，并结合`text()`使用。例如，从具有特定类名`one`的`li`标签中提取文本内容： ```python one_li = obj.xpath('//ul/li[@class="one"]')[0] print(one_li.xpath('text()')[0]) # 上述写法的合写方式 print(obj.xpath('//ul/li[@class="one"]/text()')[0]) ``` 这段代码展示了如何提取具有`class="one"`的`li`元素内部的文本内容[^2]。 ### 提取所有匹配节点的文本内容 如果目标是获取所有`li`标签内的文本内容，而不限定于某一个具体节点，则可以使用如下表达式： ```python all_li = obj.xpath('//ul/li/text()') ``` 此语句会返回所有`ul`标签下`li`标签的文本内容列表[^2]。 ### 基于相对路径和绝对路径查找特定属性的节点 无论是在相对路径还是绝对路径下，查找具有特定属性的节点的方法是一致的。例如，要找到`li`标签下`a`标签且其`href`属性值为`link2.html`的所有节点： ```python html = etree.HTML(wb_data) html_data = html.xpath('//li/a[@href="link2.html"]') print(html_data) for i in html_data: print(i.text) ``` 上述代码演示了如何根据属性筛选出符合条件的节点，并打印这些节点的文本内容[^3]。 ### 使用`string()`方法提取复杂结构中的文本 当面对包含多个子节点的复杂结构时，使用`string()`方法可以更有效地将整个节点树中的文本拼接起来。例如，在处理包含多个`text()`节点的情况时，`string()`能提供更为简洁的结果。具体用法如下： ```python # 假设有一个复杂的HTML结构，其中包含多个文本节点 complex_html = '<div><p>第一段</p><p>第二段</p></div>' html_tree = etree.HTML(complex_html) # 使用string()方法提取<div>标签下的所有文本内容 texts = html_tree.xpath('//div//text()') # 或者，使用string()方法简化提取过程 simplified_texts = html_tree.xpath('string(//div)') print(texts) # 输出: ['\n', '第一段', '第二段', '\n'] print(simplified_texts) # 输出: '\n第一段\n第二段\n' ``` 通过`string()`方法，可以避免手动拼接多个`text()`结果的繁琐过程，特别是在处理结构较为复杂的HTML文档时，这种方法显得尤为有用[^5]。 ###