Python通过BeautifulSoup和lxml库高效解析HTML和XML，将结构化文本转化为树形数据模型。BeautifulSoup以容错性强、API简洁著称，适合处理不规范HTML；lxml性能优异，支持XPath与CSS选择器，适用于大型文件及严格标准的XML解析。
Python在处理HTML和XML这类结构化数据上，确实有几把刷子。简单来说，它主要是通过一些功能强大的第三方库，把这些原本对机器来说有点“乱”的文本，变成我们程序可以轻松理解和操作的数据结构，通常是树形的。这样一来，无论是从网页上抓取信息，还是处理各种配置文件、数据交换格式，都变得轻而易举。在我看来，掌握这些工具，就像是给你的Python工具箱里添了两把瑞士军刀，用处实在太广了。
要解析HTML和XML，Python社区提供了几个非常成熟且高效的库，其中最常用也最强大的莫过于
BeautifulSoup
和
lxml
。它们各有侧重，但都能将复杂的文本结构解析成易于遍历和查询的对象模型。
BeautifulSoup
以其出色的容错性和简洁的API闻名。它能处理各种格式不规范的HTML文档，这在实际网页抓取中非常常见。它的核心思想是构建一个解析树，然后通过各种选择器（标签名、CSS类、ID等）来定位元素。
from bs4 import BeautifulSoup html_doc = """ <html><head><title>我的页面</title></head> <body> <p class="title"><b>Hello World</b></p> <p class="story">这是一个故事。 <a href="http://example.com/link1" class="sister" id="link1">链接1</a>, <a href="http://example.com/link2" class="sister" id="link2">链接2</a>， 还有一些<a href="http://example.com/link3" class="sister" id="link3">链接3</a>。 </p> <p class="story">...</p> </body></html> """ soup = BeautifulSoup(html_doc, 'html.parser') print(f"页面标题: {soup.title.string}") print(f"第一个段落文本: {soup.p.text.strip()}") print(f"所有链接的URL:") for link in soup.find_all('a'): print(link.get('href')) # 使用CSS选择器 print(f"通过CSS选择器找到的类为'sister'的链接文本:") for link in soup.select('a.sister'): print(link.get_text())
lxml
则是一个高性能的库，它结合了libxml2和libxslt的功能，速度非常快，并且支持XPath和CSS选择器。它在处理大型文件或对性能有严格要求时表现出色。同时，
lxml
在解析XML时也提供了更严格和标准的处理方式。
立即学习“Python免费学习笔记（深入）”；
from lxml import etree # 解析HTML html_doc_lxml = """ <html><head><title>我的页面</title></head> <body> <p class="title"><b>Hello World</b></p> <p class="story">这是一个故事。 <a href="http://example.com/link1" class="sister" id="link1">链接1</a>, <a href="http://example.com/link2" class="sister" id="link2">链接2</a>， 还有一些<a href="http://example.com/link3" class="sister" id="link3">链接3</a>。 </p> <p class="story">...</p> </body></html> """ # 使用HTML解析器 parser = etree.HTMLParser() tree_html = etree.fromstring(html_doc_lxml, parser) print(f"页面标题 (lxml): {tree_html.xpath('//title/text()')[0]}") print(f"所有链接的URL (lxml):") for link_href in tree_html.xpath('//a/@href'): print(link_href) # 解析XML xml_doc = """ <root> <item id="1"> <name>商品A</name> <price>100</price> </item> <item id="2"> <name>商品B</name> <price>200</price> </item> </root> """
python css html 工具 xml解析 css选择器 Python css html beautifulsoup xml 数据结构 对象 选择器