python
的zipfile模块支持zip_deflated和zip_stored两种主要压缩模式,前者使用deflate算法减小文件体积但消耗cpu时间,适合文本等未压缩文件,后者仅存储原始文件不压缩,速度快,适合已压缩的媒体文件或追求效率的场景;2. 添加多个文件时可通过遍历文件列表并逐个调用zf.write()实现,使用arcname=os.path.basename()可避免保留完整路径;3. 压缩整个文件夹需结合os.walk()递归遍历目录,并用os.path.relpath()计算文件在压缩包内的相对路径,以保留目录结构;4. 性能优化建议包括:始终使用with语句确保资源正确释放,选择合适的压缩模式以平衡速度与体积,避免在文件遍历中执行高开销操作,对于超大文件或海量小文件应注意内存使用并考虑更专业的工具,但zipfile模块对大多数场景已足够高效。
Python的
模块是处理ZIP压缩文件的核心工具,用它来创建压缩文件其实非常直观。简单来说,就是打开一个ZIP文件对象,然后把你想压缩的文件一个接一个地“写入”这个对象,最后别忘了关闭它。它就像一个数字打包机,你告诉它要打包什么,它就帮你装进去。
解决方案
要使用
模块创建压缩文件,基本流程是这样的:
这段代码展示了最基本的压缩操作。
这行代码是关键,它创建了一个名为
的新ZIP文件,
表示写入模式(如果文件存在则覆盖),
则指定了压缩方式。然后,
方法负责把文件放进去,
参数则可以指定文件在压缩包内部的路径和名称,这在处理目录结构时尤其有用。
立即学习
“
Python免费学习笔记(深入)
”;
Python zipfile模块支持哪些压缩模式,它们有什么区别?
模块在创建压缩文件时,主要支持两种核心的压缩模式,这两种模式的选择直接影响到压缩包的大小和压缩/解压的速度。了解它们的不同,能帮助你根据实际需求做出更合理的选择。
最常用的是
。这是我们通常意义上的“压缩”,它会使用DEFLATE算法来减小文件体积。这种模式的优点显而易见:文件变小了,节省存储空间,传输也更快。但代价是,压缩和解压都需要消耗一定的CPU时间。对于大多数文本文件、代码文件、日志文件等,DEFLATE压缩效果通常非常好。
另一种模式是
。顾名思义,它只是“存储”文件,并没有进行任何压缩。文件会以原始大小直接放入ZIP包中。你可能会问,那还有什么意义?它的优势在于速度。因为没有压缩计算,文件添加和提取的速度都非常快,几乎是瞬间完成。这种模式适用于那些本身就已经高度压缩的文件(比如JPEG图片、MP4视频、MP3音频等),或者你根本不关心文件大小,只希望把多个文件打包成一个方便传输的情况。比如,你只是想把一堆图片文件集合到一个ZIP里方便管理,但图片本身已经压缩过了,再进行DEFLATE压缩可能效果甚微,甚至可能因为额外的计算反而变慢。
简单来说:
:追求文件体积小,但会耗费CPU时间。
:追求速度快,文件体积不变。
选择哪种,就看你更看重“瘦身”还是“效率”了。通常情况下,如果你不确定,
是个稳妥的默认选项。
如何在压缩文件中添加多个文件或整个文件夹?
在实际应用中,我们很少只压缩一个文件。更多时候,是需要把一堆文件,甚至整个目录结构都打包进去。
模块提供了灵活的方式来处理这些情况。
添加多个文件
如果你有一系列文件,比如一个列表,你可以简单地遍历这个列表,然后逐个添加到ZIP文件中。
Python 3.14.3
微软官方的 Python 扩展,是 VS Code 安装量最高的扩展(209M+)。集成 IntelliSense(通过 Pylance)、调试(通过 Python Debugger)、代码检查、格式化、重构和单元测试等功能。支持 Jupyter Notebook、虚拟环境管理和多 Python 版本切换。
下载
这里关键是循环
列表,每次调用
。
是一个很实用的技巧,它确保了文件在压缩包里只保留文件名,而不会把原始路径结构也带进去,这样解压出来会更干净。
添加整个文件夹
要压缩整个文件夹,包括其子文件夹和文件,就需要用到
函数了。
会递归地遍历指定目录下的所有文件和子目录,非常适合这种场景。
这里最巧妙的部分是
。
函数能够计算出
相对于
的相对路径。这样,当文件被添加到ZIP包时,它会保留原始的目录结构,但会以
作为根目录。例如,如果你的源文件夹是
,里面有个文件是
,那么在ZIP包里,这个文件就会被存储为
,而不是
,这通常是我们想要的效果。
压缩大型文件时,Python zipfile模块有哪些性能考量和优化建议?
当处理非常大的文件或大量文件时,
模块的性能就变得尤为重要。虽然Python的I/O操作通常效率不错,但一些细节处理不当,还是可能导致内存占用过高或运行时间过长。
首先,
内存使用
是一个需要关注的点。
模块在写入文件时,通常不会一次性将整个文件读入内存。它会以流的方式进行处理,这意味着它会分块读取源文件并写入到ZIP文件中。这对于单个大文件来说是友好的。然而,如果你同时打开了大量文件句柄,或者在处理过程中有其他内存密集型操作,仍然可能遇到内存压力。
一个非常重要的优化建议,也是一个良好的编程实践,是
始终使用语句来管理对象
。就像前面示例中展示的那样:
语句确保了无论在
块中发生什么(包括异常),
对象都会被正确地关闭,释放其占用的资源,包括文件句柄和内存缓冲区。手动调用
虽然也能达到目的,但容易遗漏,特别是在错误处理分支中。
语句的自动管理机制,大大降低了资源泄漏的风险。
其次,
压缩模式的选择
直接影响性能。前面提到了
和
。对于大型文件,如果你选择
,那么压缩过程会消耗更多的CPU时间。如果这些大文件本身已经是压缩格式(如视频、音频、图片),那么选择
可以显著提高打包速度,因为省去了不必要的重复压缩计算。
再者,
文件遍历的效率
。当你压缩一个包含大量文件和深层子目录的文件夹时,
的效率通常很高,因为它是一个C语言实现的底层函数。但如果你在遍历过程中进行了额外的复杂操作(比如对每个文件进行哈希计算、内容分析等),那么这些额外操作的性能瓶颈可能会盖过
本身的性能。在这种情况下,考虑是否可以并行处理文件,或者优化文件处理逻辑。
最后,对于
极端的超大型文件或海量小文件
,
模块虽然强大,但可能不是唯一或最佳选择。例如,如果文件大小达到几十GB甚至TB级别,或者需要跨网络传输,可能需要考虑更专业的流式压缩工具或分布式文件系统。但在Python的生态系统内,
已经是非常成熟和高效的解决方案了,对于绝大多数日常的压缩任务,它都能很好地胜任。关键在于正确使用它的API,并遵循资源管理的最佳实践。
zipfilezipfileimport zipfile
import os
# 假设我们有一些文件要压缩
file_to_compress_1 = "example1.txt"
file_to_compress_2 = "example2.log"
output_zip_name = "my_archive.zip"
# 创建一些示例文件,方便测试
with open(file_to_compress_1, "w") as f:
f.write("This is the content of example1.")
with open(file_to_compress_2, "w") as f:
f.write("This is a log entry.\nAnother log entry.")
# 使用with语句确保文件对象被正确关闭,这是个好习惯
try:
with zipfile.ZipFile(output_zip_name, 'w', zipfile.ZIP_DEFLATED) as zf:
# 将第一个文件添加到压缩包
zf.write(file_to_compress_1, arcname=os.path.basename(file_to_compress_1))
# 将第二个文件添加到压缩包
zf.write(file_to_compress_2, arcname=os.path.basename(file_to_compress_2))
print(f"成功创建压缩文件:{output_zip_name}")
except Exception as e:
print(f"创建压缩文件时发生错误:{e}")
finally:
# 清理创建的示例文件
if os.path.exists(file_to_compress_1):
os.remove(file_to_compress_1)
if os.path.exists(file_to_compress_2):
os.remove(file_to_compress_2)
zipfile.ZipFile(output_zip_name, 'w', zipfile.ZIP_DEFLATED)my_archive.zip'w'zipfile.ZIP_DEFLATEDzf.write()arcnamezipfilezipfile.ZIP_DEFLATEDzipfile.ZIP_STOREDZIP_DEFLATEDZIP_STOREDZIP_DEFLATEDzipfileimport zipfile
import os
files_to_add = ["doc1.txt", "image.jpg", "report.pdf"]
output_zip = "multi_files_archive.zip"
# 创建一些示例文件
for f_name in files_to_add:
with open(f_name, "w") as f:
f.write(f"Content for {f_name}")
try:
with zipfile.ZipFile(output_zip, 'w', zipfile.ZIP_DEFLATED) as zf:
for file_path in files_to_add:
if os.path.exists(file_path):
# arcname 指定了文件在压缩包内的路径/名称
zf.write(file_path, arcname=os.path.basename(file_path))
else:
print(f"文件不存在,跳过:{file_path}")
print(f"成功创建包含多个文件的压缩包:{output_zip}")
except Exception as e:
print(f"添加多个文件时发生错误:{e}")
finally:
for f_name in files_to_add:
if os.path.exists(f_name):
os.remove(f_name)files_to_addzf.write()arcname=os.path.basename(file_path)os.walk()os.walk()import zipfile
import os
folder_to_compress = "my_project_folder"
output_zip_folder = "project_archive.zip"
# 创建一个示例文件夹结构
os.makedirs(os.path.join(folder_to_compress, "subfolder1"), exist_ok=True)
os.makedirs(os.path.join(folder_to_compress, "subfolder2"), exist_ok=True)
with open(os.path.join(folder_to_compress, "main_file.py"), "w") as f: f.write("print('Hello')")
with open(os.path.join(folder_to_compress, "subfolder1", "config.ini"), "w") as f: f.write("[settings]")
with open(os.path.join(folder_to_compress, "subfolder2", "data.json"), "w") as f: f.write("{}")
try:
with zipfile.ZipFile(output_zip_folder, 'w', zipfile.ZIP_DEFLATED) as zf:
# os.walk 会生成 (dirpath, dirnames, filenames)
for root, dirs, files in os.walk(folder_to_compress):
for file in files:
file_path = os.path.join(root, file)
# 计算文件在zip包内的相对路径,这是关键!
# 比如,如果 folder_to_compress 是 'my_project_folder'
# file_path 是 'my_project_folder/subfolder1/config.ini'
# 那么 arcname 就会是 'subfolder1/config.ini'
arcname = os.path.relpath(file_path, folder_to_compress)
zf.write(file_path, arcname=arcname)
print(f"成功创建包含整个文件夹的压缩包:{output_zip_folder}")
except Exception as e:
print(f"压缩文件夹时发生错误:{e}")
finally:
# 清理示例文件夹
import shutil
if os.path.exists(folder_to_compress):
shutil.rmtree(folder_to_compress)arcname = os.path.relpath(file_path, folder_to_compress)os.path.relpath()file_pathfolder_to_compressfolder_to_compressmy_project_foldermy_project_folder/src/main.pysrc/main.pymy_project_folder/src/main.pyzipfilezipfilewithzipfile.ZipFilewith zipfile.ZipFile(output_zip_name, 'w', zipfile.ZIP_DEFLATED) as zf:
# ... 进行写入操作 ...withtryzipfilezf.close()withZIP_DEFLATEDZIP_STOREDZIP_DEFLATEDZIP_STOREDos.walk()zipfilezipfilezipfile