本文详解如何将大规模账户 id 列表按每 99 个一组切分,并以 paccountids1、paccountids2… 形式写入标准 json 文件的 parameters 字段,避免因误切嵌套结构导致数据错位或键重复。
本文详解如何将大规模账户 id 列表按每 99 个一组切分,并以 paccountids1、paccountids2… 形式写入标准 json 文件的 parameters 字段,避免因误切嵌套结构导致数据错位或键重复。
在使用 Python 处理部署参数(如 AWS CloudFormation 或 CDK 所需的 gen_parameter.json)时,常需将数百甚至上千个账户 ID 拆分为固定长度的字符串组,并映射为独立的参数键(如 "pAccountIds1": "id1,id2,...,id99")。但实践中,若对原始嵌套数据结构理解偏差,极易出现「看似分组、实则未真正扁平化」的问题——正如示例中:原始 targets 是三层嵌套列表([ [ [ {...}, {...} ] ], [ [ {...} ] ] ]),直接按外层切片会导致每组仍含多个子列表,extract_ids_from_targets() 被反复调用多次,最终所有 ID 都挤进 pAccountIds1,后续键为空。
✅ 正确处理流程:先扁平提取,再分块构造
核心原则是
分离关注点
:
提取(Extract)
:遍历完整嵌套结构,一次性收集全部有效 id 字符串;
分块(Chunk)
:对扁平 ID 列表按指定大小(如 99)切分;
组装(Build)
:为每块生成带序号的键值对,统一塞入 "Parameters" 对象(非数组)。
⚠️ 注意:目标 JSON 格式要求 "Parameters" 是一个
对象(object)
,而非数组(array)。示例期望输出中:
但原代码错误地将其构造成数组:
Python 3.14.3
微软官方的 Python 扩展,是 VS Code 安装量最高的扩展(209M+)。集成 IntelliSense(通过 Pylance)、调试(通过 Python Debugger)、代码检查、格式化、重构和单元测试等功能。支持 Jupyter Notebook、虚拟环境管理和多 Python 版本切换。
下载
立即学习
“
Python免费学习笔记(深入)
”;
这会导致下游工具(如 AWS CLI 或 CFN StackSet)解析失败。
✅ 修正后的完整可运行脚本
? 关键改进点说明
问题环节原代码缺陷修正方案数据提取时机chunk_list(targets, 99) → 切的是嵌套结构✅ 先 extract_ids_from_targets(targets) 得到纯 ID 列表Parameters 类型构造为 [{"pAccountIds1":...}](数组)✅ 改为 {"pAccountIds1":..., "pAccountIds2":...}(对象)键值赋值方式result.append({...}) → 导致数组嵌套✅ parameters[key] = value → 直接写入字典健壮性增强无类型检查、空值防护✅ 增加 isinstance(account, dict) 和 strip() 防御
? 使用注意事项
编码安全
:显式指定 encoding="utf-8" 避免中文或特殊字符写入异常;
路径验证
:确保 display.json 存在且 params/ 目录已创建(可添加 os.makedirs("params", exist_ok=True));
ID 去重(可选)
:若业务允许去重,可在 all_ids 后添加 list(dict.fromkeys(all_ids));
超长字符串限制
:单个 pAccountIdsN 字符串长度受目标系统限制(如 CloudFormation 参数上限为 4096 字符),建议在 ",".join(...) 后校验长度并告警;
调试技巧
:临时启用 print(json.dumps(final_data, indent=2)) 快速验证结构。
通过以上重构,脚本能稳定、准确地将任意规模账户 ID 清单转化为符合基础设施即代码(IaC)规范的参数 JSON,兼顾可读性、健壮性与工程实践标准。
{"Parameters": {"pAccountIds1": "...", "pAccountIds2": "..."}}{"Parameters": [{"pAccountIds1": "..."}, {"pAccountIds2": "..."}]}import json
IGNORE_ACCOUNTID = '981813074321'
OUTPUT_FILE = 'params/gen_parameter.json'
def chunk_list(lst, chunk_size):
"""将列表按指定大小切分为子列表生成器"""
for i in range(0, len(lst), chunk_size):
yield lst[i:i + chunk_size]
def extract_ids_from_targets(targets):
"""深度遍历 targets 嵌套结构,提取所有合法 id 字符串"""
extracted_ids = []
# targets 示例结构: [[[{id: "..."}, ...]], [[{id: "..."}]], ...]
for target_group in targets: # 第一层:每个环境(如 prod/dev)
for target_list in target_group: # 第二层:每个路径/阶段
for account in target_list: # 第三层:每个账户对象
if isinstance(account, dict) and 'id' in account:
account_id = str(account['id']).strip()
if account_id and account_id != IGNORE_ACCOUNTID:
extracted_ids.append(account_id)
return extracted_ids
def main():
with open("display.json", "r", encoding="utf-8") as f:
data = json.load(f)
# 安全获取嵌套 targets 数据
targets = (
data
.get("pipeline_input", {})
.get("environments", {})
.get("targets", [])
)
print(f"原始嵌套 targets 层数量: {len(targets)}")
# ✅ 关键修正1:先提取全部 ID,得到扁平列表
all_ids = extract_ids_from_targets(targets)
print(f"成功提取有效账户 ID 数量: {len(all_ids)}")
# ✅ 关键修正2:对扁平 ID 列表进行分块
grouped_ids = list(chunk_list(all_ids, chunk_size=99))
print(f"生成 {len(grouped_ids)} 个分块(每块 ≤99 个 ID)")
# ✅ 关键修正3:构建 Parameters 对象(非数组!)
parameters = {}
for i, chunk in enumerate(grouped_ids, start=1):
key = f"pAccountIds{i}"
parameters[key] = ",".join(chunk)
final_data = {"Parameters": parameters}
# 写入文件(带缩进便于调试,生产环境可移除 indent)
with open(OUTPUT_FILE, "w", encoding="utf-8") as f:
json.dump(final_data, f, indent=4)
print(f"✅ 参数文件已生成: {OUTPUT_FILE}")
print("示例片段:")
print(json.dumps(final_data, indent=4, ensure_ascii=False)[:500] + "...")
if __name__ == "__main__":
main()