跳转到主内容
websoft网络软件专家 - 深耕网络技术,打造实用软件!

如何检查数值中的异常值(NaN、None、无穷大等)

本文介绍在数据管道验证中高效识别异常数值(如 nan、inf、-inf、none)的专业方法,推荐使用 `math.isfinite()` 结合类型校验,并对比范围检查的局限性,提供可直接复用的健壮校验函数。 在构建 数据清洗 或校验模块时,仅依赖数值范围(如 [-10, 10])无法覆盖所有异常情况——例如 float('nan')、float('inf')、None 或字符串 'null' 均可能合法通过区间判断,却会导致后续计算崩溃或结果失真。真正可靠的“好数字”(good number)应同时满足三个条件: ✅ 是 Python 原生数值类型(int 或 float); ✅ 非空且非 None; ✅ 为有限数(finite),即既非 NaN 也非 ±inf。 math.isfinite(x) 是 标准库 中最简洁、高效的判定工具,它 自动排除 NaN 和 inf/-inf ,且对 int 类型安全兼容(无需额外 isnan 判断)。因此,推荐校验逻辑如下:
import math def is_good_number(x) -> bool: """判断单个值是否为有效有限数值(排除 None, NaN, inf, -inf, 字符串等)""" if not isinstance(x, (int, float)): return False # math.isfinite 自动处理 NaN 和 inf,但要求输入为数值类型 return math.isfinite(x) def all_good_numbers(data) -> bool: """批量校验数据中所有元素是否均为好数字""" return all(is_good_number(x) for x in data) # 示例测试 data1 = [1.5, -7, 0, 99] data2 = [1.5, float('nan'), 42] data3 = [1.5, None, 3.14] data4 = [1.5, float('inf'), -float('inf')] print(all_good_numbers(data1)) # True print(all_good_numbers(data2)) # False (含 NaN) print(all_good_numbers(data3)) # False (含 None) print(all_good_numbers(data4)) # False (含 inf/-inf)
⚠️ 注意事项: go语言参考手册 中文CHM版 Go 是一个开源的编程语言,它能让构造简单、可靠且高效的软件变得容易。本文给大家带来Go参考手册,需要的可以来下载! Go是从2007年末由Robert Griesemer, Rob Pike, Ken Thompson主持开发,后来还加入了Ian Lance Taylor, Russ Cox等人,并最终于2009年11月开源,在2012年早些时候发布了Go 1稳定版本。现在Go的开发已经是完全开放的,并且拥有一个活跃的社区。 Go 语言特色 简洁、快速、安全 并行、有趣、开源 内存管理、v数组安全、编译 下载 不要混用 numpy.isnan() 或 pandas.isna() :它们对非数组对象行为不一致(如 np.isnan(None) 报错),而 math.isfinite() 是纯 Python、零依赖、类型安全的首选; 显式排除 None :math.isfinite(None) 会抛出 TypeError,因此必须前置 isinstance 检查; 警惕字符串伪装 :如 'inf'、'nan' 等字符串需在上游解析阶段转换或拦截,is_good_number('inf') 直接返回 False(因类型不符); 性能提示 :对大规模数据,可结合 numpy 向量化加速(如 np.isfinite(arr) & ~np.isnan(arr)),但需确保输入为 np.ndarray 且已处理 None(建议先转 pd.Series 并用 .dropna() 预处理)。 总结:isinstance(x, (int, float)) and math.isfinite(x) 是校验“好数字”的黄金组合——语义清晰、无第三方依赖、覆盖全部 IEEE 754 异常值,远比范围约束更本质、更可靠。

相关文章