当前位置：首页 > news >正文

数据转储（go）

news 来源：原创 2025/5/1 6:00:47

随着时间推移，数据库中的数据量不断累积，可能导致查询性能下降、存储压力增加等问题。数据转储作为一种有效的数据管理策略，能够将历史数据从生产数据库中转移到其他存储介质，从而减轻数据库负担，提高系统性能，同时保留历史数据以备查询。

1.数据转存

数据转存是指将旧数据从当前表移动到数据库内的另一个表中，而不删除原始数据。历史数据经常访问时可以采用该方案。

优点：
- 保持数据完整性：所有数据仍然保留在数据库中，不会丢失历史记录
- 查询灵活性：可以独立查询历史数据表或与当前数据结合查询
- 索引优化：可以通过为历史数据表创建不同的索引来优化特定类型的查询
缺点：
- 数据库空间占用：如果历史数据量很大，查询原始表可能会变慢，特别是如果查询条件没有正确索引
- 查询性能问题：如果历史数据量很大，查询原始表可能会变慢，特别是如果查询条件没有正确索引
- 维护复杂性：需要维护多个表的结构一致性、索引和约束

2.数据归档

数据归档是指将旧数据移动到另一个存储位置（如不同的数据库、文件系统或云存储），然后从原始表中删除这些数据。历史数据很少或基本不需要访问时可以采用该方案。

优点：
- 提高查询性能：减少需要扫描的数据量，提高当前数据查询效率
- 存储成本优化：可以将历史数据存储在成本更低的存储介质上
- 避免历史数据干扰：防止历史数据对当前业务逻辑产生干扰
缺点：
- 数据访问延迟：历史数据访问可能需要额外步骤（恢复后再访问），增加查询复杂性
- 存储介质依赖：依赖外部存储系统，可能引入新的故障点
- 数据一致性风险：数据迁移过程中可能出现不一致

3.数据转存+数据归档

结合数据转存与数据归档的优点，将旧数据定时转存记录和转存文件地址到另一个表中。可以通过转存文件表读取到那一批转存的数据。历史数据根据需要访问时可以采用该方案。

优点：
- 数据可用性与性能平衡：近期数据保留在数据库中，确保了高频访问数据的性能和实时性；非常老的历史数据（几乎不会访问）归档到外部存储，降低了数据库的负担，提高了整体系统性能。
- 数据管理灵活性：数据库管理更加灵活，可以根据业务需求动态调整数据的保留策略
缺点：
- 数据管理灵活性：数据库管理更加灵活，可以根据业务需求动态调整数据的保留策略
- 数据访问复杂性：用户需要知道数据位于哪个存储层，增加了数据访问的复杂性

实现方案：

使用 GORM 定时查询 3 个月前的数据。

func queryOldData(db *gorm.DB) ([]YourData, error) {threeMonthsAgo := time.Now().AddDate(0, -3, 0)var data []YourDataif err := db.Where("created_at <= ?", threeMonthsAgo).Find(&data).Error; err != nil {return nil, err}return data, nil
}

将查询结果存储为 CSV 格式文件，如果查询结果为空则不存储。

func storeAsCSV(data []YourData, filename string) error {if len(data) == 0 {return nil // 不存储空数据}file, err := os.Create(filename)if err != nil {return err}defer file.Close()writer := csv.NewWriter(file)defer writer.Flush()// 写入 CSV 头if err := writer.Write([]string{"ID", "Data", "Created At"}); err != nil {return err}// 写入数据for _, d := range data {if err := writer.Write([]string{fmt.Sprintf("%d", d.ID), d.Data, d.CreatedAt.Format(time.RFC3339)}); err != nil {return err}}return nil
}

将转储文件记录存储到数据库表中。

func recordDump(db *gorm.DB, filename string) error {return db.Create(&DumpRecord{Filename: filename, DumpedAt: time.Now()}).Error
}

删除原数据表中已经转储的数据。

func deleteDumpedData(db *gorm.DB, data []YourData) error {for _, d := range data {if err := db.Delete(&d).Error; err != nil {return err}}return nil
}

分页查询历史数据

根据转储记录表的ID查询到对应的CSV文件名。

func getFilenameByID(db *gorm.DB, id uint) (string, error) {var record DumpRecordif err := db.First(&record, id).Error; err != nil {return "", err}return record.Filename, nil
}

读取CSV文件内容。

根据高级查询对结构体数据筛选

func filterData(data []YourData，stu param) []YourData {var filteredData []YourDatafor _, item := range data {if stu.name != "" {if ... {filteredData = append(filteredData, item)}}}return filteredData
}

对CSV文件内容进行分页处理。

提取第二页的数据。

func readCSVAndPaginate(filename string, page, pageSize int) ([][]string, error) {csvfile, err := os.Open(filename)if err != nil {return nil, err}defer csvfile.Close()reader := csv.NewReader(csvfile)records, err := reader.ReadAll()if err != nil {return nil, err}start := (page - 1) * pageSizeend := start + pageSizeif start > len(records) || start < 0 {return nil, fmt.Errorf("page out of range")}if end > len(records) {end = len(records)}return records[start:end], nil
}

4.表全量备份

定期检测，并把表全量导出为sql,再清除全量表数据。

优点：
- 简单粗暴，可定期全量备份，可用户点击按钮全量备份表数据
- 几乎不需要维护，一键全量备份
- 恢复简单快速，只需要把指定sql文件导入即可
缺点：
- 需要考虑全量备份时其他用户操作问题，是否停止全部业务操作，或者加备份操作缓存暂存当前操作产生的影响

5.容器全量备份

定期检测，并把mysql docker容器数据导出tar,导出过程中停止docker容器服务。
优点：

简单粗暴，可定期全量备份。以容器为单位直接备份。

缺点：

以容器为单位备份范围太大，不能针对表

转储文件格式调研

转储文件需求:

高效存储
- 要求文件体积最小化（相比CSV/JSON缩小50%-90%）
- 支持压缩（需兼容Snappy/LZO等常见压缩算法）
- 行式存储结构（支持按字段快速跳转读取）
直接查询能力
- 支持按任意字段过滤（如WHERE age > 30）
- 支持分页查询（需记录偏移量/分块索引）
- 兼容复杂类型（嵌套对象、数组、联合类型）
Go语言生态适配
- 需原生支持Go的序列化/反序列化库
- 需兼容GORM ORM框架的模型映射6
- 需提供分页查询的API封装

转储文件格式对比表

格式	文件大小	查询性能	Go支持度	兼容性	适用场景
Avro	★★★★★	★★★★☆	★★★★☆	Hadoop/Spark/Flink	大数据批处理、流式计算
Parquet	★★★★☆	★★★★★	★★★☆☆	Hadoop/Impala	OLAP分析、列式存储需求
ORC	★★★★☆	★★★★☆	★★☆☆☆	Hive/Impala	Hadoop生态深度集成
CSV	★☆☆☆☆	★☆☆☆☆	★★★★★	通用	小数据量、临时分析
JSON	★★☆☆☆	★★☆☆☆	★★★★★	通用	REST API交互、日志存储

Avro优势：二进制格式压缩率比JSON高3-5倍

Parquet劣势：Go生态支持较弱

ORC限制：Go语言无官方SDK,需依赖Java桥接

Avro文件操作全流程教程（Go语言实现）

go get github.com/linkedin/goavro/v2@latest  # 官方Avro库
go get github.com/goccy/go-json@latest    # 高性能JSON序列化（辅助工具）

{"type": "record","name": "User","fields": [{"name": "id", "type": "int"},{"name": "name", "type": "string"},{"name": "emails", "type": {"type": "array", "items": "string"}},{"name": "metadata", "type": "map", "values": "string"}]
}

序列化实现

package mainimport ("github.com/linkedin/goavro/v2""encoding/json""os"
)func main() {// 1. 加载模式schema, err := goavro.NewSchemaFromFileReader("schema.json")if err != nil { panic(err) }// 2. 准备数据（支持动态类型）data := map[string]interface{}{"id":       1001,"name":     "Alice","emails":   []string{"a@test.com", "b@test.com"},"metadata": map[string]string{"created_at": "2023-01-01"},}// 3. 序列化codec, err := goavro.NewCodec(schema)if err != nil { panic(err) }// 将Go map转换为Avro的GenericDatumdatum, err := codec.NativeToBinary(data)if err != nil { panic(err) }// 4. 写入文件（带压缩）file, _ := os.Create("users.avro")defer file.Close()writer := goavro.NewBinaryFileWriter(file, codec)writer.Write(datum)writer.Close()
}

分页模糊查询

package queryimport ("fmt""strings""github.com/jinzhu/gorm""github.com/golang/snappy""sync"
)// 分页参数结构体
type PageParam struct {Page     int    `form:"page" binding:"required"`PageSize   int    `form:"size" binding:"required"`Search   string `form:"search"`Order    string `form:"order"`
}// 数据模型（示例）
type User struct {gorm.ModelName     string `gorm:"type:varchar(255)"`Email    string `gorm:"type:varchar(255)"`Age      int    `gorm:"type:int"`
}// 分页查询函数
func (q *Query) Paginate(db *gorm.DB, param PageParam, model interface{}) ([]User, int64, error) {// 1. 构建基础查询query := db.Model(&User{})// 2. 添加模糊查询条件if param.Search != "" {search := fmt.Sprintf("%%%s%%", param.Search)query = query.Where("name LIKE ? OR email LIKE ? OR age = ?",search, search, param.Search,)}// 3. 分页参数offset := (param.Page - 1) * param.PageSizelimit := param.PageSize// 4. 执行查询并获取总数var total int64if err := query.Count(&total).Error; err != nil {return nil, 0, err}
ｇｏ// 5. 获取分页数据var users []Userif err := query.Offset(offset).Limit(limit).Order(param.Order).Find(&users).Error; err != nil {return nil, 0, err}return users, total, nil
}

Snappy压缩集成

// 数据压缩接口
type Compressor interface {Compress([]byte) ([]byte, error)Decompress([]byte) ([]byte, error)
}// Snappy压缩实现
type SnappyCompressor struct{}func (s *SnappyCompressor) Compress(data []byte) ([]byte, error) {return snappy.Encode(nil, data), nil
}func (s *SnappyCompressor) Decompress(data []byte) ([]byte, error) {return snappy.Decode(nil, data)
}// 全局压缩器实例
var compressor = &SnappyCompressor{}

sync.Pool缓存解码器对象

// 解码器对象池配置
var (decoderPool = sync.Pool{New: func() interface{} {return &AvroDecoder{reader: bytes.NewReader([]byte{}),cache:  make(map[string]interface{}),}},}
)// Avro解码器结构体
type AvroDecoder struct {reader *bytes.Readercache  map[string]interface{}
}// 从池中获取解码器
func GetDecoder() *AvroDecoder {return decoderPool.Get().(*AvroDecoder)
}// 释放解码器回池
func ReleaseDecoder(d *AvroDecoder) {d.reader.Reset(nil)d.cache = nildecoderPool.Put(d)
}// 示例解码方法
func (d *AvroDecoder) Decode(data []byte) (map[string]interface{}, error) {d.reader.Reset(data)// 实现Avro解码逻辑...return nil, nil
}

完整工作流程

// 数据转储流程
func StoreData(db *gorm.DB, users []User) error {// 1. GORM查询数据data, _, err := query.NewQuery().Paginate(db, PageParam{Page:1, Size:100}, &User{})if err != nil {return err}// 2. 序列化为Avro格式avroData, err := serializeToAvro(data)if err != nil {return err}// 3. Snappy压缩compressed, err := compressor.Compress(avroData)if err != nil {return err}// 4. 存储到文件return os.WriteFile("data.avro.snappy", compressed, 0644)
}// 数据读取流程
func LoadData() ([]map[string]interface{}, error) {// 1. 读取压缩文件compressed, err := os.ReadFile("data.avro.snappy")if err != nil {return nil, err}// 2. Snappy解压avroData, err := compressor.Decompress(compressed)if err != nil {return nil, err}// 3. 使用对象池解码decoder := GetDecoder()defer ReleaseDecoder(decoder)return decoder.Decode(avroData)
}