Go语言通过compress/gzip和compress/zlib包支持基于DEFLATE算法的压缩,gzip适用于HTTP传输和文件压缩,zlib用于协议内数据块压缩,二者均需调用Close()确保数据完整,推荐流式处理大文件。
Go语言
标准库
提供了对常见压缩格式的支持,其中
gzip
和
zlib
是最常用的两种基于DEFLATE算法的压缩方式。它们广泛应用于HTTP传输、文件压缩和数据存储中。下面通过实际示例展示如何在Go中使用
和
进行数据压缩与解压。
使用 gzip 压缩和解压数据
gzip 是 HTTP 和文件压缩中最常见的格式,Go 的
包支持读写 gzip 格式文件或数据流。
压缩字符串为 gzip 数据:
从 gzip 数据解压为字符串:
使用 zlib 压缩和解压数据
zlib 也是一种常用的压缩格式,相比 gzip,它不包含文件头和尾部校验信息(或更轻量),常用于协议内部压缩,比如 WebSocket 或某些二进制协议。
zlib 压缩示例:
zlib 解压示例:
常见使用场景说明
理解 gzip 与 zlib 的差异有助于正确选择:
go语言参考手册 中文CHM版
Go 是一个开源的编程语言,它能让构造简单、可靠且高效的软件变得容易。本文给大家带来Go参考手册,需要的可以来下载! Go是从2007年末由Robert Griesemer, Rob Pike, Ken Thompson主持开发,后来还加入了Ian Lance Taylor, Russ Cox等人,并最终于2009年11月开源,在2012年早些时候发布了Go 1稳定版本。现在Go的开发已经是完全开放的,并且拥有一个活跃的社区。 Go 语言特色 简洁、快速、安全 并行、有趣、开源 内存管理、v数组安全、编译
下载
立即学习
“
go语言免费学习笔记(深入)
”;
gzip
:适合文件压缩、HTTP 响应体压缩(Content-Encoding: gzip),自带 CRC32 校验和文件头信息。
zlib
:适合嵌入协议中压缩数据块,如网络传输、数据库存储,开销更小。
两者底层都使用 DEFLATE 算法,区别在于封装格式。
Go 中的
包是底层实现,
和
都基于它构建。
注意事项
使用时注意以下几点:
压缩完成后必须调用
,否则输出不完整。
解压时使用
避免资源泄漏。
处理大文件时建议使用流式读写,避免一次性加载到内存。
可以通过
指定压缩等级(如
)。
基本上就这些。gzip 和 zlib 在 Go 中使用非常直观,配合
或文件流,能轻松实现数据压缩功能。
compress/gzipcompress/zlibcompress/gzippackage main
import (
"bytes"
"compress/gzip"
"fmt"
"io"
)
func gzipCompress(data string) ([]byte, error) {
var buf bytes.Buffer
writer := gzip.NewWriter(&buf)
_, err := writer.Write([]byte(data))
if err != nil {
return nil, err
}
err = writer.Close() // 必须调用 Close() 以写入尾部校验等信息
if err != nil {
return nil, err
}
return buf.Bytes(), nil
}
func gzipDecompress(data []byte) (string, error) {
reader, err := gzip.NewReader(bytes.NewReader(data))
if err != nil {
return "", err
}
defer reader.Close()
var buf bytes.Buffer
_, err = io.Copy(&buf, reader)
if err != nil {
return "", err
}
return buf.String(), nil
}
func main() {
original := "Hello, this is a test string for gzip compression."
compressed, err := gzipCompress(original)
if err != nil {
panic(err)
}
fmt.Printf("Gzipped data length: %d\n", len(compressed))
decompressed, err := gzipDecompress(compressed)
if err != nil {
panic(err)
}
fmt.Printf("Decompressed: %s\n", decompressed)
}
import (
"bytes"
"compress/zlib"
"fmt"
)
func zlibCompress(data string) ([]byte, error) {
var buf bytes.Buffer
writer := zlib.NewWriter(&buf)
_, err := writer.Write([]byte(data))
if err != nil {
return nil, err
}
err = writer.Close()
if err != nil {
return nil, err
}
return buf.Bytes(), nil
}
func zlibDecompress(data []byte) (string, error) {
reader, err := zlib.NewReader(bytes.NewReader(data))
if err != nil {
return "", err
}
defer reader.Close()
var buf bytes.Buffer
_, err = io.Copy(&buf, reader)
if err != nil {
return "", err
}
return buf.String(), nil
}
func main() {
original := "This is a test string for zlib compression."
compressed, err := zlibCompress(original)
if err != nil {
panic(err)
}
fmt.Printf("Zlib compressed length: %d\n", len(compressed))
decompressed, err := zlibDecompress(compressed)
if err != nil {
panic(err)
}
fmt.Printf("Decompressed: %s\n", decompressed)
}
flategzipzlibClose()defer reader.Close()gzip.NewWriterLevelgzip.BestCompressionbytes.Buffer