本文旨在解决在HTML抓取中，如何从父元素中精确提取直属文本内容，同时有效排除嵌套子元素中的不相关文本的挑战。通过深入解析Scrapy的CSS选择器，特别是::text伪元素与:not()伪类的组合应用，我们将学习如何构建高效且精准的选择器，并对抓取结果进行必要的后处理，以获取干净的目标文本数据。

理解问题：精准文本抓取的挑战

在网页抓取任务中，我们经常会遇到需要从一个HTML元素中提取其直接文本内容，但又必须忽略其内部子元素所包含的文本的情况。例如，考虑以下HTML结构：

<div class="classA classB classC">   <div class="classD classE">     <h1 class="classF classD">Text I don't want</h1>     <ul>....</ul> <!-- 包含更多嵌套文本，不需要 -->   </div>   Text I want to grab.  <!-- 目标文本 -->   <br>   More text I want to grab <!-- 目标文本 --> </div>

我们的目标是仅提取 [“Text I want to grab.”, “More text I want to grab”]，而 Text I don’t want 应该被完全忽略。

初学者常犯的错误是使用类似 response.css(‘.classA *::text’).getall() 这样的选择器。*::text 会匹配所有后代元素的文本节点，导致 Text I don’t want 也被抓取。如果尝试使用 :not(.classD) 排除包含 h1 的 div，例如 response.css(‘.classA:not(.classD) *::text’).getall()，这仍然可能无法达到预期，因为 *::text 会捕获所有子孙文本，而 :not(.classD) 作用于 .classA 本身。

核心解决方案：CSS选择器与:not()的组合

Scrapy（底层使用cssselect库）的CSS选择器提供了一种强大且灵活的方式来解决此类问题。关键在于理解::text伪元素与:not()伪类的组合行为。

立即学习“前端免费学习笔记（深入）”；

1. ::text 伪元素：在Scrapy中，当::text直接跟随一个元素选择器时（例如 div::text），它通常会选择该元素下直接的文本节点，而不会深入到其子元素的文本内容。然而，当它与:not()伪类结合使用时，其行为会变得更加强大。

2. :not() 伪类与 ::text 的协同：cssselect库支持一种特殊行为，即当:not(F)与E::text组合时，它不仅作用于元素E本身，还能作为一种过滤器，排除那些位于带有F类名的子孙元素内部的文本节点。这意味着，即使Text I don’t want是嵌套在 h1 元素中，只要这个 h1 带有我们想要排除的类名（例如 classF），我们就可以利用 :not(.classF) 来阻止其文本被抓取。

基于上述理解，我们可以构建如下的CSS选择器：

即构数智人

即构数智人是由即构科技推出的ai虚拟数字人视频创作平台，支持数字人形象定制、短视频创作、数字人直播等。

41

查看详情

response.css('div.classA.classB.classC:not(.classF)::text').getall()

让我们详细解析这个选择器：

• div.classA.classB.classC: 精确定位到我们想要从中提取文本的目标父元素。
• :not(.classF): 这是关键所在。它告诉选择器，在从 div.classA.classB.classC 及其后代中提取文本时，要排除那些位于带有 classF 类名的元素内部的文本节点。由于 Text I don’t want 位于 <h1 class=”classF classD”> 内部，因此它会被这个 :not(.classF) 规则有效地过滤掉。
• ::text: 最终选择所有符合上述条件的文本节点。

通过这种方式，我们能够精准地获取到父元素下我们想要的文本，同时剔除不相关的子元素文本。

提取结果的后处理

getall() 方法会返回一个包含所有匹配文本节点的列表，其中可能包含大量的空白字符、换行符等。为了得到干净、易于处理的文本，通常需要进行后处理。

以下是一些常用的后处理方法及其示例：

1. 连接所有文本并清理

这种方法会将所有文本块连接成一个字符串，然后去除多余的空白和换行。

 import scrapy from scrapy.selector import Selector  html_content = ''' <div class="classA classB classC">   <div class="classD classE">     <h1 class="classF classD">Text I don't want</h1>     <ul>....</ul> <!-- containing more text in nested children, don't want -->   </div>   Text I want to grab.   <br>   More text I want to grab </div> '''  resp = Selector(text=html_content)  # 原始抓取结果 raw_texts = resp.css('div.classA.classB.classC:not(.classF)::text').getall() print