本教程详细讲解如何使用Pandas和Python对文本列进行关键词概率分类，并为每行数据生成最高概率的关键词类别标签。我们将学习高效的文本分词、词频统计、基于预定义关键词列表的类别概率计算，以及如何正确地将自定义函数应用于DataFrame列，以解决文本分类中的常见问题。
在处理非结构化文本数据时，经常需要根据文本内容将其归类到预定义的类别中。一个常见的方法是识别文本中特定关键词的出现频率，并以此作为判断其类别倾向的依据。本教程将指导您完成一个实用的文本分类任务：给定一个包含文本内容的pandas dataframe列和一组按类别划分的关键词列表，计算每行文本中每个关键词类别的“概率”，并最终为每行分配概率最高的类别标签。
核心概念与方法
要实现上述目标，我们需要掌握以下几个核心概念和方法：
- 关键词组定义与管理: 将不同类别的关键词组织成一个易于访问和迭代的结构，例如Python字典。
- 文本预处理与分词: 对原始文本进行标准化处理，如转换为小写，并将其拆分成独立的单词（分词），以便进行准确的匹配和计数。
- 词频统计: 高效地统计分词后文本中每个单词的出现频率，这是计算概率的基础。
- 类别概率计算: 根据预定义的关键词列表和文本中的词频，计算每个类别的“概率”。这里的概率定义为：特定类别关键词总数 / 文本总词数。
- 最高概率类别选择: 比较所有类别的概率，选出最高者作为最终标签。如果所有类别概率均为零，则返回一个默认值（如NaN）。
- Pandas apply 函数的正确使用: 将自定义的分类逻辑高效地应用到DataFrame的每一行或每一列。
实现步骤与代码示例
我们将通过一个具体的例子来演示上述过程。假设我们有一个包含“内容（content）”列的DataFrame，并且我们希望根据其中出现的“水果”、“动物”或“国家”关键词来打标签。
首先，导入必要的库并定义我们的关键词类别。
import re import pandas as pd from collections import Counter # 定义关键词类别及其对应的关键词列表 labels = { 'fruits': ['mango', 'apple', 'lichi'], 'animals': ['dog', 'cat', 'cow', 'monkey'], 'country': ['us', 'ca', 'au', 'br'], } # 示例DataFrame data = { 'content': [ 'My favorite fruit is mango. I like lichies too. I live in au. Cows are domestic animals.', 'I own RTX 4090...', 'There is political conflict between us and ca.', 'au, br mango, lichi apple,.... n cat, cow, monkey donkey dogs' ] } df = pd.DataFrame(data) print("原始DataFrame:") print(df)
接下来，我们编写核心函数 calculate_probability，它将负责对单行文本进行处理并返回最高概率的标签。
def calculate_probability(text, labels_dict): """ 计算给定文本中各关键词类别的概率，并返回最高概率的类别标签。 参数: text (str): 输入的文本字符串。 labels_dict (dict): 包含关键词类别的字典，键为类别名称，值为关键词列表。 返回: str: 概率最高的类别标签，如果所有类别概率为0则返回 'NaN'。 """ # 1. 文本预处理与分词：转换为小写并提取所有单词 words = re.findall(r'bw+b', text.lower()) word_count = len(words) # 如果文本为空或没有单词，则无法计算概率 if word_count == 0: return 'NaN' # 2. 词频统计：使用Counter高效统计单词频率 counts = Counter(words) # 3. 类别概率计算：遍历每个类别，累加关键词词频 probs = {} for k, l_list in labels_dict.items(): # 对于每个类别，统计其关键词在文本中出现的总次数 # 注意：这里是精确匹配分词后的单词。 category_keyword_count = sum(counts[w] for w in l_list) probs[k] = category_keyword_count / word_count # 4. 最高概率类别选择 # 找出概率最高的类别名称 max_label = max(probs, key=probs.get) # 如果最高概率大于0，则返回该标签；否则返回'NaN' return max_label if probs[max_label] > 0 else 'NaN' # 将函数应用到DataFrame的 'content' 列 # 注意：当对Series应用函数时，函数应接收Series的单个元素作为输入。 # 额外的参数 (labels_dict) 通过关键字参数传递给apply。 df['label'] = df['content'].apply(calculate_probability, labels_dict=labels) print("n处理后的DataFrame:") print(df)
代码解析
-
re.findall(r’bw+b’, text.lower()):
- text.lower(): 将所有文本转换为小写，确保大小写不敏感的匹配。
- r’bw+b’: 这是一个正则表达式模式。
- b：匹配单词边界，确保只匹配完整的单词。
- w+：匹配一个或多个字母、数字或下划线字符。
- re.findall()：查找所有不重叠的匹配项，并以列表形式返回。这有效地将文本分词为独立的单词。
-
collections.Counter(words):
-
probs = {} … for k, l_list in labels_dict.items(): … sum(counts[w] for w in l_list) …:
- 这个循环遍历 labels_dict 中的每个类别（例如 ‘fruits’, ‘animals’）。
- 对于每个类别 k，它获取其对应的关键词列表 l_list。
- sum(counts[w] for w in l_list)：这是一个生成器表达式，它遍历 l_list 中的每个关键词 w，然后从 counts （词频统计结果）中获取 w 的出现次数。如果 w 不在 counts 中，counts[w] 会返回 0。所有这些计数被累加，得到该类别关键词在文本中的总出现次数。
- 最后，将总出现次数除以 word_count
word python go 正则表达式 app 工具 apple 常见问题 可迭代对象 Python 正则表达式 pandas for 子类 循环 对象