跳转到主内容
websoft网络软件专家 - 深耕网络技术,打造实用软件!

pandas 如何用 pd.Grouper 在 groupby 时按分钟/小时聚合

pd.Grouper专用于时间频率分组,需配合groupby使用,要求时间列为datetime64[ns]类型,支持freq如'1T''1H'等,可混合其他列分组,时区、类型、对齐方式须准确设置。 pd.Grouper 的核心用途是时间频率分组,不是通用分组器 它专为
DateTimeIndex
或含时间列的 DataFrame 设计,不能替代普通字符串列分组。如果你的列是
object
类型(比如字符串格式的 '2023-01-01 10:30:45'),必须先用
pd.to_datetime()
转成
datetime64[ns]
,否则
pd.Grouper
会静默失败或报
TypeError: No frequency
。 常见错误现象:分组后结果为空、行数没变、或抛出
ValueError: freq not specified
—— 基本都是类型没转对,或传了错误的列名。 确认时间列类型:
df['ts'].dtype
应为
datetime64[ns]
若列名是
'time'
,别写成
key='Time'
(大小写敏感)
pd.Grouper
必须配合
groupby()
使用,不能单独调用 按分钟聚合:freq='1T' 或 freq='60S' 都可以,但推荐 '1T'
freq
参数支持 pandas 时间频率别名,
'1T'
(1 minute)比
'60S'
更常用且语义清晰。注意:它默认按时间戳“左边界”对齐(即每分钟从 :00 开始),例如
2023-01-01 10:30:00
到
2023-01-01 10:30:59.999
内的所有记录归入同一组。 示例(按分钟聚合均值):
df.groupby(pd.Grouper(key='ts', freq='1T')).mean()
如果想右对齐(以 :59 结束),加
closed='right'
和
label='right'
若原始数据有缺失分钟,结果中对应行默认为 NaN;加
dropna=False
不会补全,需用
.resample()
+
.asfreq()
聚合列若含非数值类型(如字符串),
.mean()
会跳过,改用
.agg({'val': 'mean', 'event': 'first'})
按小时聚合:freq='1H' 是标准写法,注意时区影响
freq='1H'
表示自然小时(如 00:00–00:59、01:00–01:59),但如果时间列带时区(如
UTC
或
'Asia/Shanghai'
),分组边界会按该时区计算。本地无时区的时间会被当作
UTC
处理,可能导致意外偏移。 示例(带时区的安全做法):
df['ts'] = pd.to_datetime(df['ts']).dt.tz_localize('Asia/Shanghai')
df.groupby(pd.Grouper(key='ts', freq='1H')).sum()
不指定时区时,
pd.Grouper
不会自动推断,容易和系统本地时间混淆
freq='60T'
和
'1H'
等价,但可读性差,不建议 跨天聚合(如每天 9:00–17:00)不能靠
freq
实现,得先用
dt.hour.between(9,16)
构造辅助列再分组 和 resample 的区别:groupby + Grouper 更灵活,但 resample 更简洁 如果你的数据索引已经是
DatetimeIndex
,直接用
df.resample('1T').mean()
更短。但
pd.Grouper
的优势在于:支持多级 groupby(如同时按设备 ID 和每小时)、支持非索引时间列、可与其他列混合分组。 典型混合场景:
df.groupby(['device_id', pd.Grouper(key='ts', freq='1H')]).agg({'temp': 'max', 'humidity': 'mean'})
resample
要求索引是时间,
pd.Grouper
不要求 混合分组时,
pd.Grouper
的
key
参数必须明确指向时间列名,不能省略 性能上,两者底层都走相同路径,差异可忽略;但
resample
对单时间维度更直观,不易错 时区、数据类型、对齐方式这三点,漏掉任一个都可能让聚合结果偏移一小时或完全错乱。实际跑之前,先用
df['ts'].head().dt.floor('1H')
手动看几行对齐逻辑,比盲调
freq
参数可靠得多。

相关文章