本教程旨在解决JSON数据中 NaN (Not a Number) 值的清洗问题。我们将深入探讨 NaN 在Python中的特殊性及其识别挑战，并提供一个基于 math.isnan() 的高效Python解决方案，实现从字典或JSON对象中精确移除 float(‘nan’) 类型的键值对，从而生成干净、符合需求的数据结构。

引言

在数据处理和分析过程中，我们经常会遇到缺失值或无效值。其中，NaN (Not a Number) 是一种特殊的浮点数值，常用于表示计算结果未定义或数据缺失。当处理从外部系统（如数据库、API接口）获取的JSON数据时，NaN 值可能会以各种形式存在，例如作为Python的 float(‘nan’) 类型，或者在非标准JSON中直接以 NaN 字面量出现。为了确保数据质量和后续处理的准确性，移除这些 NaN 值是数据清洗的关键一步。本教程将专注于如何使用Python，特别是 math 模块，来高效地识别并移除JSON数据中表示为 float(‘nan’) 的值。

NaN在JSON和Python中的表现

JSON（JavaScript Object Notation）标准本身并不支持 NaN、Infinity 或 -Infinity 这些字面量。在标准的JSON中，表示缺失或空值通常使用 null。然而，在实际应用中，尤其当数据来源于支持这些概念的编程语言（如Python、JavaScript）时，NaN 可能会通过以下方式进入我们的处理流程：

1. Python float(‘nan’): 当Python对象被序列化为JSON时，如果使用了 json.dumps 并设置了 allow_nan=True，则 float(‘nan’) 会被序列化为JSON的 NaN 字面量。反之，如果一个包含 NaN 字面量的非标准JSON字符串被 json.loads 解析，在没有自定义解码器的情况下，它通常会报错。但如果数据源已经将 NaN 值转换为Python的 float(‘nan’)（例如，通过Pandas或其他库加载数据），那么我们就会在Python字典中遇到 float(‘nan’)。
2. JSON null: 这是JSON标准中表示空值的唯一方式。在Python中，null 会被解析为 None。本教程的目标是移除 float(‘nan’)，并保留 None（即JSON的 null），这与许多数据清洗场景的需求一致。

本教程将主要关注如何处理已在Python中表示为 float(‘nan’) 的值。

Python中识别NaN的挑战

在Python中，float(‘nan’) 有一个非常特殊的性质：它不等于自身。这意味着，float(‘nan’) == float(‘nan’) 的结果是 False。因此，我们不能简单地使用 == 运算符来判断一个值是否为 NaN。例如：

立即学习“Python免费学习笔记（深入）”；

import math  nan_value = float('nan') print(nan_value == nan_value) # 输出: False print(nan_value is nan_value) # 输出: True (因为是同一个对象引用)

虽然 is 运算符可以判断是否为同一个对象引用，但如果数据中存在多个不同的 float(‘nan’) 实例，is 也无法准确识别所有 NaN 值。为了可靠地识别 float(‘nan’)，Python的 math 模块提供了 math.isnan() 函数。这个函数专门设计用于检测浮点数是否为 NaN。

核心解决方案：使用 math.isnan() 移除NaN

我们的目标是从字典中移除所有值为 float(‘nan’) 的键值对，同时保留其他类型的值，包括 None。我们可以编写一个辅助函数来实现这一点。

import math import json # 用于演示JSON加载和输出  def remove_nans(obj: dict) -> dict:     """     从字典中移除所有值为 Python float('nan') 的键值对。     同时保留值为 None（对应JSON中的 null）的键值对。      Args:         obj (dict): 输入字典。      Returns:         dict: 移除了 NaN 值的字典。     """     cleaned_obj = {}     for key, value in obj.items():         # 检查值是否为浮点数且为 NaN         # 只有当值是 float 类型，并且 math.isnan() 返回 True 时，才认为是 NaN         if not (isinstance(value, float) and math.isnan(value)):             cleaned_obj[key] = value     return cleaned_obj 

代码解析：

Article Forge

行业文案ai写作软件，可自动为特定主题或行业生成内容

22

查看详情

1. isinstance(value, float): 这一步是关键，它首先确保我们只对浮点数进行 NaN 检查。如果 value 是字符串、整数、None 或其他类型，isinstance 会返回 False，从而避免 math.isnan() 对非浮点数类型抛出错误。
2. math.isnan(value): 当 value 确定为浮点数后，math.isnan() 会准确判断它是否为 NaN。
3. not (…): 整个条件 not (isinstance(value, float) and math.isnan(value)) 意味着：如果 value 不是一个浮点数 NaN，那么我们就将其保留在 cleaned_obj 中。这样就实现了对 float(‘nan’) 值的过滤。

实战示例

假设我们有一个包含多个记录的JSON文件，其中一些字段包含 NaN 值（在Python中已解析为 float(‘nan’)）。

模拟输入数据（Python字典列表）：

# 模拟从JSON文件加载后的数据 # 注意：实际的JSON文件不能直接包含 NaN 字面量， # 这里的 float('nan') 是假设 JSON 解析器已将其转换为 Python 浮点数 NaN。 data_with_nans = [     {         "name": "John Doe",         "age": 30,         "height": None, # 对应 JSON 的 null         "weight": float('nan'),         "city": "New York"     },     {         "name": "Jim Hanks",         "age": float('nan'),         "height": float('nan'),         "weight": float('nan'),         "occupation": "Actor"     },     {         "name": "Jane Smith",         "age": 25,         "height": 1.70,         "weight": 60.5     } ]  print("--- 原始数据 ---") for item in data_with_nans:     print(item)  # 应用 remove_nans 函数处理数据 processed_data = [remove_nans(row) for row in data_with_nans]  print("n--- 处理后的数据 ---") for item in processed_data:     print(item)  # 如果需要将处理后的数据再次输出为JSON格式（假设允许 NaN 的序列化） # import json # try: #     json_output = json.dumps(processed_data, indent=2, allow_nan=True) #     print("n--- 处理后并序列化为JSON ---") #     print(json_output) # except ValueError as e: #     print(f"n序列化为JSON时发生错误: {e}") #     print("注意：标准JSON不支持NaN字面量，如果 allow_nan=False 会报错。")

输出结果：

--- 原始数据 --- {'name': 'John Doe', 'age': 30, 'height': None, 'weight': nan, 'city': 'New York'} {'name': 'Jim Hanks', 'age': nan, 'height': nan, 'weight': nan, 'occupation': 'Actor'} {'name': 'Jane Smith', 'age': 25, 'height': 1.7, 'weight': 60.5}  --- 处理后的数据 --- {'name': 'John Doe', 'age': 30, 'height': None, 'city': 'New York'} {'name': 'Jim Hanks', 'occupation': 'Actor'} {'name': 'Jane Smith', 'age': 25, 'height': 1.7, 'weight': 60.5}

从输出可以看出，所有 float(‘nan’) 值的键值对都被成功移除了，而 None 值（对应JSON的 null）以及其他有效数据都被保留。

注意事项

1. JSON解析问题： 如果您的原始JSON文件直接包含 NaN 字面量（例如 {“value”: NaN}），标准的 json.loads() 函数会抛出 ValueError。在这种情况下，您可能需要：
   • 在加载前对JSON字符串进行预处理，将其中的 NaN 替换为 null 或其他可解析的值。
   • 使用自定义的JSON解码器来处理 NaN 字面量。 本教程假设 NaN 已经通过某种方式被正确解析为Python的 float(‘nan’)。
2. None 与 NaN 的区别： 请明确您的需求。本教程的解决方案是精确地移除 float(‘nan’)，并保留 None。如果您也想移除 None 值，可以修改 remove_nans 函数的条件，例如：

   # 如果也想移除 None 值 if value is not None and not (isinstance(value, float) and math.isnan(value)):     cleaned_obj[key] = value
3. 嵌套结构： 上述 remove_nans 函数仅处理字典的顶层键值对。如果您的JSON数据包含嵌套的字典或列表，并且 NaN 值可能出现在深层结构中，那么您需要一个递归函数来遍历整个数据结构。例如：

   def remove_nans_recursive(obj):     if isinstance(obj, dict):         return {k: remove_nans_recursive(v) for k, v in obj.items()                 if not (isinstance(v, float) and math.isnan(v))}     elif isinstance(obj, list):         return [remove_nans_recursive(elem) for elem in obj]     else:         return obj

总结

处理JSON数据中的 NaN 值是数据清洗中一个常见且重要的任务。由于 float(‘nan’) 在Python中具有不等于自身的特殊性质，我们不能依赖简单的等值比较。通过利用 math.isnan() 函数，并结合 isinstance() 进行类型检查，我们可以构建一个健壮且高效的解决方案，精确地识别并移除数据中的 float(‘nan’) 值。掌握这种方法，能够帮助您更好地管理和清洗数据，为后续的数据分析和应用奠定坚实的基础。