将mongdb中文档转储到mysql设计思路
将mondodb中文档转储到mysql设计
场景
由于mongdb使用率较低,为了节省成本,决定将mongodb中的数据迁移到mysql中。
mondodb中是一个大对象,json值可能有几十w个字符,mysql一条记录可能只支持几十kb,存储不下
解决思路
对mongodb数据进行分片 单条数据中主数据在mysql用一张表t_header存储,
附带的大数据用一张t_data表存储,
将大数据按照每1w个字符切分成一条数据,数据用一个{“data”:”放截取的1w个字符”}
然后每个t_data中有顺序字段和关联的header_id字段