文章目录 前言 一、简介及安装 1. 简介 2. 安装 BeautifulSoup 相关库 2.1 安装 2.2 检查安装是否成功 3. 几种解析器的比较 二、使用 BeautifulSoup 解析文档 1. 准备一个 HTML 文档 2. 使用 BeautifulSoup 解析本地 HTML 文档 2.1 将 HTML 文件作为输入 2.2 将字符串作为输入 3. 对象种类 3.1 Tag（获取标签） 3.1.1 获取标签及内容 3.1.2 获取标签名 3.1.3 标签属性操作 3.2 获取标签之间的内容 3.3 获取标签之间的注释内容 三、获取标签 1. 获取HTML文档中的标签及内容 1.1 用法 1.2 示例 2. 获取标签属性 2.1 用法 2.2 示例 3. 获取标签间的内容 3.1 用法 3.2 示例 4. 获取指定标签的子节点标签及内容 4.1 用法 4.2 示例 5. 获取指定标签的父节点 5.1 用法 5.2 示例 6. 查找所有符合条件的标签 6.1 `name` 参数 6.2 `attrs` 参数 6.3 `string` 参数 6.4 `limit` 参数 6.5 `recursive` 参数 使用示例 7. 查找第一个符合条件的标签 7.1 查找标签 7.2 使用属性查找 7.3 使用多个属性查找 7.4 使用文本查找 7.5 使用正则表达式 7.6 查找子标签 8. CSS选择器查找标签 8.1 使用标签选择 8.2 使用类选择器 8.3 使用ID选择器 8.4 组合选择器 8.5 后代选择器 8.6 子元素选择器 8.7 属性选择器 8.8 伪类选择器 前言 本篇文章将详细介绍BeautifulSoup的基本概念、安装步骤、解析器的比较，以及如何使用该库解析HTML文档。

我们将通过实际示例演示如何使用BeautifulSoup获取标签、属性和内容，帮助读者快速上手并应用于实际项目中。

一、简介及安装 1. 简介

是一个用于解析 HTML 和 XML 文档的 Python 库，它帮助你从网页中提取数据。

这个库非常灵活，并且可以与多种不同的解析器一起工作，比如 Python 内置的

、

或者

。

使用版本： pythonrequestsbs4beautifulsoup4soupsievelxml 版本3.8.52.31.00.0.24.12.32.64.9.3 2. 安装 BeautifulSoup 相关库 2.1 安装 执行如下命令安装 BeautifulSoup 相关库。

2.2 检查安装是否成功 执行如下命令查看

相关库是否安装成功。

安装成功如下图所示。

3. 几种解析器的比较 解析器使用方法优势劣势 Python 标准库BeautifulSoup(markup, "html.parser")- Python 的内置标准库- 执行速度较快- 容错能力强- 速度没有 lxml 快，容错性没有 html5lib 强lxml HTML 解析器BeautifulSoup(markup, "lxml")- 速度快- 容错能力强- 需要额外的 C 依赖lxml XML 解析器BeautifulSoup(markup, ["lxml-xml"])BeautifulSoup(markup, "xml")- 速度快- 唯一支持 XML 的解析器- 需要额外的 C 依赖html5libBeautifulSoup(markup, "html5lib")- 最好的容错性- 以浏览器的方式解析文档- 生成 HTML5 格式的文档- 速度慢- 需要额外的 Python 依赖 二、使用 BeautifulSoup 解析文档 1. 准备一个 HTML 文档 准备一个名称为

的 HTML 文档，以便随后使用 BeautifulSoup 进行解析。

2. 使用 BeautifulSoup 解析本地 HTML 文档 解析文档时，可以将HTML文档传入

的构造方法，可以传递一段字符串或一个HTML文件作为输入。

解析过程 ：首先，

会自动将文档转换为

，并且 HTML 中的实体也会被转换成 Unicode 编码；然后，

会选择最合适的解析器来解析文档，如果指定了解析器那么 Beautiful Soup 会选择指定的解析器来解析文档。

2.1 将 HTML 文件作为输入 在 Python 中，

语句用于封装执行某个操作前后的代码块，通常用于确保资源能够被正确地清理或释放。

它最常用于文件操作，可以保证文件在使用完毕后自动关闭，即使期间发生了异常也不会忘记关闭文件。

打印的部分结果为：

2.2 将字符串作为输入

打印的结果为：

3. 对象种类

将复杂的 HTML 文档转换成由 Python 对象构成的树形结构，主要包括以下四种类型的对象：

,

,

, 和

。

：表示标签。

：表示标签之间的文本内容。

：表示整个解析后的文档。

：一种特殊的

，表示 HTML 中标签之间的注释。

3.1 Tag（获取标签）

对象与 XML 或 HTML 原生文档中的 标签 相同。

3.1.1 获取标签及内容

标签的数据类型。

如果是有效的标签，它将是bs4.element.Tag 类型；如果没有找到标签，则是NoneType。

print(type(h2_tag))

打印的结果为：

第一节标题

3.1.2 获取标签名 每个

Tag

都有一个名字和多个属性，名称可以通过

.name

访问或修改。

from bs4 import BeautifulSoup

with open(file="test.html", mode='r', encoding='utf-8') as fp: soup = BeautifulSoup(markup=fp, features='html.parser') # 查找并获取HTML文档中的第一个

标签。

h2_tag = soup.h2 print(h2_tag) # 打印标签名 print(h2_tag.name) # 修改标签名后打印，并不会修改原HTML文档中的标签名 h2_tag.name = 'h3' print(h2_tag.name)

打印的结果为：

第一节标题

h2 h3

3.1.3 标签属性操作 一个 HTML 或 XML 标签可能有许多属性，可以像处理字典一样处理这些属性。

from bs4 import BeautifulSoup

with open(file="test.html", mode='r', encoding='utf-8') as fp: soup = BeautifulSoup(markup=fp, features='html.parser') # 查找并获取HTML文档中的第一个 img 标签。

img_tag = soup.img # 打印标签内容 print(img_tag) # 以字典方式获取所有属性的键和值 print(img_tag.attrs) # 获取img标签中属性alt的值，如果属性不存在报KeyError错误 print(img_tag['alt']) # 获取img标签中属性alt的值，如果属性不存在返回None print(img_tag.get('alt')) print(img_tag.attrs.get('alt')) img_tag['alt'] = '修改后的alt' # 打印修改后的alt的值 print(img_tag['alt']) # 删除属性 del img_tag['alt'] # 打印标签内容 print(img_tag)

打印的结果为：

{'src': 'image1.jpg', 'alt': '图片描述 1', 'id': 'img1', 'class': ['image']} 图片描述 1 图片描述 1 图片描述 1 修改后的alt

3.2 获取标签之间的内容

from bs4 import BeautifulSoup

with open(file="test.html", mode='r', encoding='utf-8') as fp: soup = BeautifulSoup(markup=fp, features='html.parser') # 查找并获取HTML文档中的第一个 h1 标签。

h1_tag = soup.h1 # 打印标签内容 print(h1_tag) # 获取标签之间的文本内容，如果标签中还有标签，则返回None print(h1_tag.string) # 获取标签之间的文本内容，如果标签中还有标签，则获取所有二级标签的内容（以换行分隔） print(h1_tag.get_text())

打印的结果为：

欢迎来到测试页面

欢迎来到测试页面 欢迎来到测试页面

3.3 获取标签之间的注释内容

from bs4 import BeautifulSoup

markup = ""

soup = BeautifulSoup(markup=markup, features='html.parser')

# 获取 标签 b_tag = soup.b # 打印 标签的内容 print(b_tag) # 获取 标签中的字符串内容（在这里是一个注释） comment = b_tag.string # 打印 comment 的类型 print(type(comment)) # 打印 comment 的内容 print(comment)

打印的结果为：

Hey, buddy. Want to buy a used parser?

三、获取标签

from bs4 import BeautifulSoup

with open(file="test.html", mode='r', encoding='utf-8') as fp: soup = BeautifulSoup(markup=fp, features='html.parser') print(下面的示例代码)

以下内容都基于此soup对象。

1. 获取HTML文档中的标签及内容 1.1 用法

soup.标签名

1.2 示例 获取HTML文档中的第一个head标签。

soup.head

获取HTML文档中的第一个head标签下的第一个title标签。

soup.head.title

获取HTML文档中的第一个img标签。

soup.img

2. 获取标签属性 2.1 用法 获取指定标签所有属性的键和值。

soup.标签名.attrs

获取指定标签的指定属性键的值。

如果属性键不存在会报

KeyError

错误。

soup.标签名['属性键']

获取指定标签的指定属性键的值。

如果属性键不存在返回

None

。

soup.标签名.get('属性键') soup.标签名.attrs.get('属性键')

2.2 示例 获取第一个

img

标签所有属性的键和值。

soup.img.attrs

获取第一个

img

标签的

alt

属性的值。

soup.img['alt']

soup.img.get('alt') soup.img.attrs.get('alt')

3. 获取标签间的内容 3.1 用法 获取标签之间的文本内容，如果标签中还有标签，则返回None。

soup.标签名.string

获取标签之间的文本内容，返回可迭代列表。

soup.标签名.strings

获取标签之间的文本内容，返回可迭代列表， 可以去除多余空白内容 。

soup.标签名.stripped_strings

获取标签之间的文本内容，如果标签中还有标签，则获取所有二级标签的内容（以换行分隔）。

soup.标签名.get_text()

3.2 示例 获取标签

h1

之间的文本内容，如果标签中还有标签，则返回None。

soup.h1.string

循环 获取标签

section

之间的文本内容。

for string in soup.section.strings:

print(string)

循环 获取标签

section

之间的文本内容， 去除多余空白内容 。

for string in soup.section.stripped_strings:

print(string)

获取标签

h1

之间的文本内容，如果标签中还有标签，则获取所有二级标签的内容（以换行分隔）。

soup.h1.get_text()

4. 获取指定标签的子节点标签及内容 4.1 用法 获取指定标签的 所有 子节点标签及内容。

soup.标签名.contents

获取指定标签的 所有 子节点标签及内容，返回一个可迭代列表。

soup.标签名.children

递归 获取指定标签的 所有 子节点标签及内容。

soup.标签名.descendants

获取指定标签的 指定索引 子节点标签及内容。

soup.标签名.contents[索引]

4.2 示例 获取

head

标签的子节点。

soup.head.contents

soup.head.contents[1] soup.head.contents[1].name

获取

head

标签的子节点。

for tag in soup.head.children:

print(tag)

递归获取

head

标签的子节点。

for tag in soup.head.descendants:

print(tag)

5. 获取指定标签的父节点 5.1 用法 获取指定标签的父节点。

soup.标签名.parent

递归 获取指定标签的父节点。

soup.标签名.parents

5.2 示例 获取

title

标签的父节点。

soup.title.parent

递归 获取

title

标签的父节点。

for parent in soup.title.parents:

print(parent)

6. 查找所有符合条件的标签

find_all()

方法是 Beautiful Soup 中最常用的搜索方法之一，它可以在当前标签的所有子节点中查找符合条件的标签。

该方法的基本语法如下：

find_all(name, attrs, recursive, string, **kwargs)

6.1

name

参数 功能 ：传入一个值用于查找所有名称为

name

的标签。

所有文本内容会被忽略，因为它们不匹配标签名称。

用法示例 ：

soup.find_all("title")

6.2

attrs

参数 功能 ：如果在动态参数中出现未识别的参数名，Beautiful Soup 会将该参数视为标签属性进行搜索。

例如，若搜索参数中包含

id

，则会搜索每个标签的

id

属性。

用法示例 ：

soup.find_all(id='link2')

6.3

string

参数 功能 ：通过

string

参数可以搜索文档中的字符串内容。

该参数接受字符串、正则表达式、列表、函数或

True

。

用法示例 ：

soup.find_all(string="Elsie")

6.4

limit

参数 功能 ：限制返回结果的数量，类似于 SQL 中的

LIMIT

关键字。

当搜索到的结果数量达到限制时，停止搜索并返回结果。

用法示例 ：

soup.find_all("a", limit=2)

6.5

recursive

参数 功能 ：控制是否检索所有子孙节点。

如果设置为

False

，则只搜索直接子节点。

用法示例 ：

soup.html.find_all("title", recursive=False)

使用示例 以下是一些使用

find_all()

方法的示例：

from bs4 import BeautifulSoup

# 示例 HTML 文档 html_doc = """

The Dormouse's story

Elsie Lacie Tillie

"""

soup = BeautifulSoup(html_doc, 'html.parser')

# 查找所有