跳转到主内容
websoft网络软件专家 - 深耕网络技术,打造实用软件!

Python 中正确分块写入 JSON 文件:解决多键追加与嵌套结构问题

本文详解如何将大规模账户 id 列表按每 99 个一组切分,并以 paccountids1、paccountids2… 形式写入标准 json 文件的 parameters 字段,避免因误切嵌套结构导致数据错位或键重复。 本文详解如何将大规模账户 id 列表按每 99 个一组切分,并以 paccountids1、paccountids2… 形式写入标准 json 文件的 parameters 字段,避免因误切嵌套结构导致数据错位或键重复。 在使用 Python 处理部署参数(如 AWS CloudFormation 或 CDK 所需的 gen_parameter.json)时,常需将数百甚至上千个账户 ID 拆分为固定长度的字符串组,并映射为独立的参数键(如 "pAccountIds1": "id1,id2,...,id99")。但实践中,若对原始嵌套数据结构理解偏差,极易出现「看似分组、实则未真正扁平化」的问题——正如示例中:原始 targets 是三层嵌套列表([ [ [ {...}, {...} ] ], [ [ {...} ] ] ]),直接按外层切片会导致每组仍含多个子列表,extract_ids_from_targets() 被反复调用多次,最终所有 ID 都挤进 pAccountIds1,后续键为空。 ✅ 正确处理流程:先扁平提取,再分块构造 核心原则是 分离关注点 : 提取(Extract) :遍历完整嵌套结构,一次性收集全部有效 id 字符串; 分块(Chunk) :对扁平 ID 列表按指定大小(如 99)切分; 组装(Build) :为每块生成带序号的键值对,统一塞入 "Parameters" 对象(非数组)。 ⚠️ 注意:目标 JSON 格式要求 "Parameters" 是一个 对象(object) ,而非数组(array)。示例期望输出中:
{"Parameters": {"pAccountIds1": "...", "pAccountIds2": "..."}}
但原代码错误地将其构造成数组: Python 3.14.3 微软官方的 Python 扩展,是 VS Code 安装量最高的扩展(209M+)。集成 IntelliSense(通过 Pylance)、调试(通过 Python Debugger)、代码检查、格式化、重构和单元测试等功能。支持 Jupyter Notebook、虚拟环境管理和多 Python 版本切换。 下载 立即学习 “ Python免费学习笔记(深入) ”;
{"Parameters": [{"pAccountIds1": "..."}, {"pAccountIds2": "..."}]}
这会导致下游工具(如 AWS CLI 或 CFN StackSet)解析失败。 ✅ 修正后的完整可运行脚本
import json IGNORE_ACCOUNTID = '981813074321' OUTPUT_FILE = 'params/gen_parameter.json' def chunk_list(lst, chunk_size): """将列表按指定大小切分为子列表生成器""" for i in range(0, len(lst), chunk_size): yield lst[i:i + chunk_size] def extract_ids_from_targets(targets): """深度遍历 targets 嵌套结构,提取所有合法 id 字符串""" extracted_ids = [] # targets 示例结构: [[[{id: "..."}, ...]], [[{id: "..."}]], ...] for target_group in targets: # 第一层:每个环境(如 prod/dev) for target_list in target_group: # 第二层:每个路径/阶段 for account in target_list: # 第三层:每个账户对象 if isinstance(account, dict) and 'id' in account: account_id = str(account['id']).strip() if account_id and account_id != IGNORE_ACCOUNTID: extracted_ids.append(account_id) return extracted_ids def main(): with open("display.json", "r", encoding="utf-8") as f: data = json.load(f) # 安全获取嵌套 targets 数据 targets = ( data .get("pipeline_input", {}) .get("environments", {}) .get("targets", []) ) print(f"原始嵌套 targets 层数量: {len(targets)}") # ✅ 关键修正1:先提取全部 ID,得到扁平列表 all_ids = extract_ids_from_targets(targets) print(f"成功提取有效账户 ID 数量: {len(all_ids)}") # ✅ 关键修正2:对扁平 ID 列表进行分块 grouped_ids = list(chunk_list(all_ids, chunk_size=99)) print(f"生成 {len(grouped_ids)} 个分块(每块 ≤99 个 ID)") # ✅ 关键修正3:构建 Parameters 对象(非数组!) parameters = {} for i, chunk in enumerate(grouped_ids, start=1): key = f"pAccountIds{i}" parameters[key] = ",".join(chunk) final_data = {"Parameters": parameters} # 写入文件(带缩进便于调试,生产环境可移除 indent) with open(OUTPUT_FILE, "w", encoding="utf-8") as f: json.dump(final_data, f, indent=4) print(f"✅ 参数文件已生成: {OUTPUT_FILE}") print("示例片段:") print(json.dumps(final_data, indent=4, ensure_ascii=False)[:500] + "...") if __name__ == "__main__": main()
? 关键改进点说明 问题环节原代码缺陷修正方案数据提取时机chunk_list(targets, 99) → 切的是嵌套结构✅ 先 extract_ids_from_targets(targets) 得到纯 ID 列表Parameters 类型构造为 [{"pAccountIds1":...}](数组)✅ 改为 {"pAccountIds1":..., "pAccountIds2":...}(对象)键值赋值方式result.append({...}) → 导致数组嵌套✅ parameters[key] = value → 直接写入字典健壮性增强无类型检查、空值防护✅ 增加 isinstance(account, dict) 和 strip() 防御 ? 使用注意事项 编码安全 :显式指定 encoding="utf-8" 避免中文或特殊字符写入异常; 路径验证 :确保 display.json 存在且 params/ 目录已创建(可添加 os.makedirs("params", exist_ok=True)); ID 去重(可选) :若业务允许去重,可在 all_ids 后添加 list(dict.fromkeys(all_ids)); 超长字符串限制 :单个 pAccountIdsN 字符串长度受目标系统限制(如 CloudFormation 参数上限为 4096 字符),建议在 ",".join(...) 后校验长度并告警; 调试技巧 :临时启用 print(json.dumps(final_data, indent=2)) 快速验证结构。 通过以上重构,脚本能稳定、准确地将任意规模账户 ID 清单转化为符合基础设施即代码(IaC)规范的参数 JSON,兼顾可读性、健壮性与工程实践标准。

相关文章