本文介绍如何在Pandas DataFrame中，基于现有ID和Name列，为每个ID分组内的不同Name实例生成一个唯一的复合ID。通过结合groupby().transform()和pd.factorize()函数，可以高效地为每个ID下的不同Name生成从1开始的序列号，并与原ID拼接，解决传统方法在大数据集上的效率问题或逻辑错误，确保新ID的全局唯一性和分组内顺序性。

1. 问题描述

在数据处理中，我们经常遇到需要为dataframe中的记录生成唯一标识符的场景。假设我们有一个包含name和id两列的dataframe，其结构如下：

可以看到，原始的ID列并非在所有上下文中都是唯一的。例如，ID=1对应了Name=’A’和Name=’E’，而ID=3则对应了Name=’C’和Name=’D’。我们的目标是创建一个新的ID_new列，使得在每个原始ID的分组内，每一个不同的Name实例都能获得一个唯一的序列号，并与原始ID拼接，形成类似原始ID_序列号的格式。期望的输出结果如下：

需要注意的是，传统的ngroup()方法在处理大规模数据集（例如超过35,000个ID）时可能效率不高，而cumcount()虽然能生成序列号，但它会为每个实例递增，无法实现对相同Name在同一ID分组内保持相同序列号的需求。例如，ID=1的第一个A和第二个A都应是1_1，而cumcount()会生成1_1和1_2。

2. 解决方案：结合groupby().transform()与pd.factorize()

为了解决上述问题，我们可以巧妙地利用Pandas的groupby().transform()方法结合pd.factorize()函数。factorize()能够将Series中的唯一值编码成数值，并返回一个整数数组和唯一值的数组。当它应用于groupby().transform()时，我们可以在每个分组内部对指定列的唯一值进行编码，从而生成分组内的唯一序列号。

2.1 示例数据准备

首先，我们创建上述问题的示例DataFrame：

import pandas as pd  data = {     'Name': ['A', 'B', 'A', 'C', 'B', 'D', 'E', 'F'],     'ID': [1, 2, 1, 3, 2, 3, 1, 2] } df = pd.DataFrame(data) print("原始DataFrame:") print(df)

输出:

即构数智人

即构数智人是由即构科技推出的ai虚拟数字人视频创作平台，支持数字人形象定制、短视频创作、数字人直播等。

41

查看详情

原始DataFrame:   Name  ID 0    A   1 1    B   2 2    A   1 3    C   3 4    B   2 5    D   3 6    E   1 7    F   2

2.2 生成分组内序列号

接下来，我们使用groupby(‘ID’)对DataFrame按ID列进行分组。在每个分组内部，我们对Name列应用一个Lambda函数，该函数利用pd.factorize()来为分组内不同的Name生成唯一的序列号。transform()方法确保了结果Series的索引与原始DataFrame对齐。

# 定义一个Lambda函数，用于factorize并转换为1-based索引 f = lambda x: pd.factorize(x)[0] + 1  # 对'ID'分组，并在每个分组内对'Name'进行factorize编码 # transform确保结果Series与原始DataFrame的行数相同，并正确对齐 s = df.groupby('ID')['Name'].transform(f).astype(str) print("n分组内Name的序列号:") print(s)

输出:

即构数智人

即构数智人是由即构科技推出的AI虚拟数字人视频创作平台，支持数字人形象定制、短视频创作、数字人直播等。

41

查看详情

分组内Name的序列号: 0    1 1    1 2    1 3    1 4    1 5    2 6    2 7    2 Name: Name, dtype: object

解释:

• pd.factorize(x)返回一个元组，第一个元素是编码后的整数数组（从0开始），第二个元素是唯一的原始值数组。我们只需要编码后的整数数组，所以使用[0]。
• + 1是为了将序列号从0-based转换为1-based，使其更符合人类阅读习惯。
• astype(str)将序列号转换为字符串，为后续的字符串拼接做准备。

2.3 拼接生成新的复合ID

最后一步是将原始的ID列（转换为字符串）与上一步生成的序列号Series s进行拼接，使用下划线_作为分隔符。

df['ID_new'] = df['ID'].astype(str).str.cat(s, sep='_') print("n最终结果DataFrame:") print(df)

输出:

即构数智人

即构数智人是由即构科技推出的AI虚拟数字人视频创作平台，支持数字人形象定制、短视频创作、数字人直播等。

41

查看详情

最终结果DataFrame:   Name  ID ID_new 0    A   1    1_1 1    B   2    2_1 2    A   1    1_1 3    C   3    3_1 4    B   2    2_1 5    D   3    3_2 6    E   1    1_2 7    F   2    2_2

3. 完整代码示例

将上述步骤整合，得到完整的解决方案代码：

import pandas as pd  # 示例数据 data = {     'Name': ['A', 'B', 'A', 'C', 'B', 'D', 'E', 'F'],     'ID': [1, 2, 1, 3, 2, 3, 1, 2] } df = pd.DataFrame(data)  # 1. 定义factorize函数并转换为1-based序列 f = lambda x: pd.factorize(x)[0] + 1  # 2. 按'ID'分组，对'Name'进行factorize编码，并使用transform对齐结果 # 将结果转换为字符串类型 s = df.groupby('ID')['Name'].transform(f).astype(str)  # 3. 将原始'ID'（转换为字符串）与生成的序列号进行拼接 df['ID_new'] = df['ID'].astype(str).str.cat(s, sep='_')  print("生成唯一复合ID后的DataFrame:") print(df)

4. 关键函数解析

• pandas.factorize(values):
  • 功能：将一个Series或数组中的唯一值编码为数值类型。
  • 返回：一个元组(codes, uniques)。codes是一个整数数组，表示每个原始值对应的编码；uniques是一个数组，包含所有唯一的原始值。
  • 在本例中，pd.factorize(x)[0]获取了编码后的整数数组，这些整数从0开始，为分组内的每个唯一Name分配一个唯一的数字。
• GroupBy.transform(func):
  • 功能：对分组对象应用一个函数，并返回一个与原始DataFrame（或Series）具有相同索引的Series或DataFrame。
  • 优点：它将分组操作的结果“广播”回原始DataFrame的结构，确保了结果与原始数据行的对齐，这对于创建新列非常有用。
  • 在本例中，transform(f)将factorize操作应用到每个ID分组的Name列，并将生成的序列号正确地映射回原始的每一行。
• Series.str.cat(others, sep=None, na_rep=None):
  • 功能：将Series中的字符串元素与其他字符串、Series或列表中的字符串进行拼接。
  • 参数：sep指定拼接时的分隔符。
  • 在本例中，df[‘ID’].astype(str).str.cat(s, sep=’_’)将ID列的字符串表示和序列号Series s的字符串表示通过_连接起来。

5. 注意事项与总结

• 数据类型转换: 在使用str.cat()进行字符串拼接之前，务必确保所有参与拼接的Series都已转换为字符串类型（例如通过astype(str)），否则可能引发类型错误。
• 性能: pd.factorize()是一个高度优化的函数，在处理大量数据时表现出色。结合groupby().transform()，这种方法能够高效地完成分组内的唯一编码任务，即使面对数万甚至数十万条记录也能保持良好的性能。
• 可读性与灵活性: 这种方法代码简洁，逻辑清晰。通过修改f函数，可以灵活调整序列号的起始值或编码逻辑。
• 与cumcount()的区别: cumcount()为每个分组内的每个实例简单地递增计数，而factorize()则关注分组内唯一值的编码。因此，当需要为分组内的相同值分配相同的序列号时，factorize()是更优的选择。

通过上述方法，我们成功地为DataFrame中的记录创建了满足特定需求的唯一复合ID，克服了传统方法在特定场景下的局限性，提供了一个高效且灵活的解决方案。