本文介绍在数据管道验证中高效识别异常数值(如 nan、inf、-inf、none)的专业方法,推荐使用 `math.isfinite()` 结合类型校验,并对比范围检查的局限性,提供可直接复用的健壮校验函数。
在构建
数据清洗
或校验模块时,仅依赖数值范围(如 [-10, 10])无法覆盖所有异常情况——例如 float('nan')、float('inf')、None 或字符串 'null' 均可能合法通过区间判断,却会导致后续计算崩溃或结果失真。真正可靠的“好数字”(good number)应同时满足三个条件:
✅ 是 Python 原生数值类型(int 或 float);
✅ 非空且非 None;
✅ 为有限数(finite),即既非 NaN 也非 ±inf。
math.isfinite(x) 是
标准库
中最简洁、高效的判定工具,它
自动排除 NaN 和 inf/-inf
,且对 int 类型安全兼容(无需额外 isnan 判断)。因此,推荐校验逻辑如下:
⚠️ 注意事项:
go语言参考手册 中文CHM版
Go 是一个开源的编程语言,它能让构造简单、可靠且高效的软件变得容易。本文给大家带来Go参考手册,需要的可以来下载! Go是从2007年末由Robert Griesemer, Rob Pike, Ken Thompson主持开发,后来还加入了Ian Lance Taylor, Russ Cox等人,并最终于2009年11月开源,在2012年早些时候发布了Go 1稳定版本。现在Go的开发已经是完全开放的,并且拥有一个活跃的社区。 Go 语言特色 简洁、快速、安全 并行、有趣、开源 内存管理、v数组安全、编译
下载
不要混用 numpy.isnan() 或 pandas.isna()
:它们对非数组对象行为不一致(如 np.isnan(None) 报错),而 math.isfinite() 是纯 Python、零依赖、类型安全的首选;
显式排除 None
:math.isfinite(None) 会抛出 TypeError,因此必须前置 isinstance 检查;
警惕字符串伪装
:如 'inf'、'nan' 等字符串需在上游解析阶段转换或拦截,is_good_number('inf') 直接返回 False(因类型不符);
性能提示
:对大规模数据,可结合 numpy 向量化加速(如 np.isfinite(arr) & ~np.isnan(arr)),但需确保输入为 np.ndarray 且已处理 None(建议先转 pd.Series 并用 .dropna() 预处理)。
总结:isinstance(x, (int, float)) and math.isfinite(x) 是校验“好数字”的黄金组合——语义清晰、无第三方依赖、覆盖全部 IEEE 754 异常值,远比范围约束更本质、更可靠。
import math
def is_good_number(x) -> bool:
"""判断单个值是否为有效有限数值(排除 None, NaN, inf, -inf, 字符串等)"""
if not isinstance(x, (int, float)):
return False
# math.isfinite 自动处理 NaN 和 inf,但要求输入为数值类型
return math.isfinite(x)
def all_good_numbers(data) -> bool:
"""批量校验数据中所有元素是否均为好数字"""
return all(is_good_number(x) for x in data)
# 示例测试
data1 = [1.5, -7, 0, 99]
data2 = [1.5, float('nan'), 42]
data3 = [1.5, None, 3.14]
data4 = [1.5, float('inf'), -float('inf')]
print(all_good_numbers(data1)) # True
print(all_good_numbers(data2)) # False (含 NaN)
print(all_good_numbers(data3)) # False (含 None)
print(all_good_numbers(data4)) # False (含 inf/-inf)