import pandas as pd import re from collections import Counter  # 示例DataFrame data = {     'content': [         'My favorite fruit is mango. I like lichies too. I live in au. Cows are domistic animals.',         'I own RTX 4090...',         'There is political colfict between us and ca.',         'au, br mango, lichi apple,.... n cat, cow, monkey donkey dogs'     ] } df = pd.DataFrame(data)  # 定义关键词类别 labels = {     'fruits': ['mango', 'apple', 'lichi'],     'animals': ['dog', 'cat', 'cow', 'monkey'],     'country': ['us', 'ca', 'au', 'br'], }  print("原始DataFrame:") print(df)

ModelScope

魔搭开源模型社区旨在打造下一代开源的模型即服务共享平台

467

查看详情

def calculate_probability(text, labels_dict):     """     计算文本中各关键词类别的概率，并返回最高概率的类别标签。      参数:     text (str): 输入的文本内容。     labels_dict (dict): 关键词类别字典，键为类别名，值为关键词列表。      返回:     str: 具有最高概率的类别标签，如果所有概率均为0则返回 'NaN'。     """     # 1. 文本分词与小写化     # 使用正则表达式匹配单词边界，提取所有单词并转换为小写。     # 这有助于处理标点符号并实现大小写不敏感的匹配。     words = re.findall(r'bw+b', text.lower())     word_count = len(words)      # 如果文本中没有单词，则无法计算概率，直接返回 'NaN'     if word_count == 0:         return 'NaN'      probs = {}     # 2. 遍历每个关键词类别，进行模糊匹配与计数     for label_name, keyword_list in labels_dict.items():         keyword_matches_count = 0         # 遍历文本中的每个单词         for text_word in words:             # 遍历当前类别的每个关键词             for keyword in keyword_list:                 # 模糊匹配：如果文本中的单词包含（作为子串）任一关键词                 # 例如：'lichies' 包含 'lichi'，'dogs' 包含 'dog'                 if keyword in text_word:                     keyword_matches_count += 1                     break # 找到一个匹配后，当前 text_word 不再与其他关键词比较，避免重复计数         # 3. 概率计算         probs[label_name] = keyword_matches_count / word_count      # 4. 找出最高概率的标签     # 使用 max() 函数和 key 参数，根据字典值（概率）找到对应的键（标签）     max_label = max(probs, key=probs.get)      # 5. 处理所有概率均为0的情况     # 如果最高概率值大于0，则返回该标签；否则，表示没有匹配到任何关键词，返回 'NaN'     if probs[max_label] > 0:         return max_label     else:         return 'NaN' 

# 将函数应用到DataFrame的 'content' 列 # labels=labels 是将我们定义的关键词类别字典作为额外参数传递给函数 df['label'] = df['content'].apply(calculate_probability, labels_dict=labels)  print("n处理后的DataFrame:") print(df)

import pandas as pd import re from collections import Counter  # 示例DataFrame data = {     'content': [         'My favorite fruit is mango. I like lichies too. I live in au. Cows are domistic animals.',         'I own RTX 4090...',         'There is political colfict between us and ca.',         'au, br mango, lichi apple,.... n cat, cow, monkey donkey dogs'     ] } df = pd.DataFrame(data)  # 定义关键词类别 labels = {     'fruits': ['mango', 'apple', 'lichi'],     'animals': ['dog', 'cat', 'cow', 'monkey'],     'country': ['us', 'ca', 'au', 'br'], }  def calculate_probability(text, labels_dict):     """     计算文本中各关键词类别的概率，并返回最高概率的类别标签。      参数:     text (str): 输入的文本内容。     labels_dict (dict): 关键词类别字典，键为类别名，值为关键词列表。      返回:     str: 具有最高概率的类别标签，如果所有概率均为0则返回 'NaN'。     """     words = re.findall(r'bw+b', text.lower())     word_count = len(words)      if word_count == 0:         return 'NaN'      probs = {}     for label_name, keyword_list in labels_dict.items():         keyword_matches_count = 0         for text_word in words:             for keyword in keyword_list:                 # 模糊匹配：如果文本中的单词包含（作为子串）任一关键词                 if keyword in text_word:                     keyword_matches_count += 1                     break          probs[label_name] = keyword_matches_count / word_count      max_label = max(probs, key=probs.get)      if probs[max_label] > 0:         return max_label     else:         return 'NaN'  # 应用函数 df['label'] = df['content'].apply(calculate_probability, labels_dict=labels)  print("最终结果:") print(df)

                                             content    label 0  My favorite fruit is mango. I like lichies too...   fruits 1                                  I own RTX 4090...      NaN 2      There is political colfict between us and ca.  country 3  au, br mango, lichi apple,.... n cat, cow, mo...   animals

大家都在看：