本文旨在介绍如何高效地在 Python 中列出 Parquet 文件的分区，避免使用 Pandas 读取整个数据集带来的性能瓶颈。我们将探讨使用 pyarrow 库直接读取 Parquet 文件元数据的方法，并提供代码示例，帮助你快速获取分区列表，从而更高效地处理分区 Parquet 数据。
使用 pyarrow 获取 Parquet 文件分区
当处理大型分区 Parquet 文件时，使用 pandas.read_parquet 读取整个数据集仅仅为了获取分区列表是一种低效的做法。pyarrow 库提供了一种更高效的方法，可以直接读取 Parquet 文件的元数据，从而获取分区信息，而无需加载实际的数据内容。
以下是使用 pyarrow 获取 Parquet 文件分区的示例代码：
import pyarrow.parquet as pq import os def get_parquet_partitions(parquet_path): """ 获取 Parquet 文件或目录的分区列表。 Args: parquet_path (str): Parquet 文件或目录的路径。 Returns: list: 分区列表。 """ try: # 尝试读取 Parquet 文件 parquet_file = pq.ParquetFile(parquet_path) partitions = parquet_file.metadata.row_group(0).column(0).path_in_schema.split('/')[0].split('=')[1] # 提取分区值 partition_values = [partitions] return partition_values except: # 尝试读取 Parquet 目录 partitions = [] for subdir in os.listdir(parquet_path): subdir_path = os.path.join(parquet_path, subdir) if os.path.isdir(subdir_path) and '=' in subdir: try: partition_value = subdir.split('=')[1] partitions.append(partition_value) except IndexError: print(f"Skipping invalid subdirectory: {subdir}") return partitions # 示例用法 parquet_path = "myparquet.parquet" # 替换为你的 Parquet 文件或目录路径 partitions = get_parquet_partitions(parquet_path) print(partitions)
代码解释：
立即学习“Python免费学习笔记（深入）”；
- 导入必要的库: pyarrow.parquet 用于读取 Parquet 文件，os 用于处理文件路径。
- get_parquet_partitions 函数: 接受 Parquet 文件或目录的路径作为输入。
- 读取 Parquet 文件元数据: 使用 pq.ParquetFile(parquet_path) 打开 Parquet 文件，并访问其元数据。parquet_file.metadata.row_group(0).column(0).path_in_schema.split(‘/’)[0].split(‘=’)[1] 获取第一个行组的第一个列的 schema 路径，并从中提取分区值。
- 处理 Parquet 目录: 如果提供的路径是一个目录，则遍历该目录下的所有子目录，并假设每个子目录名包含分区信息（例如，partition_col=1）。提取子目录名中的分区值。
- 返回分区列表: 函数返回一个包含所有分区值的列表。
注意事项：
- 确保已安装 pyarrow 库：pip install pyarrow
- 此方法假设 Parquet 文件按照标准的分区命名约定进行组织（例如，partition_col=value）。
- 如果 Parquet 文件没有分区，该函数将返回一个空列表。
- 该方法适用于目录结构的 Parquet 文件。
总结：
使用 pyarrow 库可以高效地获取 Parquet 文件的分区列表，避免了读取整个数据集的开销。这种方法特别适用于处理大型分区 Parquet 数据集，可以显著提高性能。通过读取 Parquet 文件元数据，我们可以快速获取分区信息，从而更有效地进行数据分析和处理。