【数据治理】数据生命周期
导读：数据已成为现代组织的核心资产，其管理直接关系到业务效率、合规性、成本及安全。了解数据生命周期（规划→创建→传输→存储→加工→发布→使用→归档→销毁）能帮助企业或个人从全流程视角优化数据价值，同时规避潜在风险。
1. 规划（Planning）
- 目标：明确数据的用途、来源、存储需求及合规要求。规划企业的数据资产构成与管控要求等。
- 关键点：
- 需求分析：确定业务目标（如分析、运营）、数据类型（结构化/非结构化）及数据量。
- 合规性：符合法律法规（如GDPR、CCPA、中国《数据安全法》），评估隐私影响（PIA）。
- 技术设计：选择存储架构（云/本地）、数据模型及访问权限框架（如RBAC）。
- 示例：企业搭建数据分析平台前，需规划数据采集范围、用户权限及加密策略。
2. 创建/采集（Creation/Collection）
- 目标：生成或收集数据，确保质量与合法性。
- 关键点：
- 来源控制：内部系统（ERP、CRM）、外部API/传感器，验证数据源可靠性。
- 数据清洗：去重、标准化格式（如日期统一为ISO 8601）、补全缺失值。
- 权限管理：仅收集必要数据，获取用户同意（如Cookie弹窗）。
- 风险：低质量数据导致分析偏差；非法采集引发法律问题。
3. 传输（Transmission）
- 目标：安全移动数据至目标系统。
- 关键点：
- 加密传输：使用TLS 1.3、SFTP，避免明文传输敏感数据。
- 完整性校验：哈希算法（如SHA-256）验证数据未被篡改。
- 网络隔离：通过VPN或专线传输，限制公网暴露。
- 示例：医疗数据从医院传输至云端时，需端到端加密并记录日志。
4. 存储（Storage）
- 目标：安全、高效保存数据。
- 关键点：
- 存储分层：热数据（SSD）、冷数据（磁带/Glacier）按访问频率划分。
- 加密存储：静态数据使用AES-256，密钥独立管理（如HSM）。
- 备份与容灾：3-2-1原则（3份数据、2种介质、1处异地）。
- 合规：跨境存储需符合数据本地化要求（如中国《个人信息出境标准合同》）。
5. 加工（Processing）
- 目标：转换数据以支持业务需求。（形成定制应用、数据服务、分析图表、业务模型、分析报告等数据产品）
- 关键点：
- ETL/ELT流程：使用工具（如Apache Spark）清洗、聚合数据。
- 脱敏处理：替换敏感字段（如用“张*三”代替全名）。
- 资源优化：选择云服务（AWS Lambda）或自建集群，平衡成本与性能。
- 风险：加工过程中泄露中间结果，需限制临时数据访问。
6. 发布（Publication）
- 目标：向外部或内部用户提供数据。（形成衍生数据、数据应用、数据产品）是数据资产可以使用的标志与前提。
- 关键点：
- 访问控制：API鉴权（OAuth 2.0）、数据集权限分级。
- 版本管理：标注发布时间、变更日志（如Git）。
- 审核机制：人工审核公开数据（如社交媒体内容）。
- 示例：企业发布财报摘要时，需脱敏财务细节并添加免责声明。
7. 使用（Usage）
- 目标：支持分析、决策或二次开发。（将发布后的数据资产进行使用：营销、交易、运营等）
- 关键点：
- 动态权限：基于属性（ABAC）实时控制访问（如仅允许销售部门查看客户数据）。
- 审计跟踪：记录查询行为（如Who、When、What），使用SIEM工具（如Splunk）分析异常。
- 沙箱环境：测试时使用隔离环境，防止生产数据污染。
- 风险：数据滥用（如员工私自导出客户名单），需定期审查权限。
8. 归档（Archival）
- 目标：长期保存低频访问数据。
- 关键点：
- 冷存储方案：Glacier、阿里云归档存储，成本低但检索延迟高。
- 元数据管理：记录数据背景（如业务上下文、关联关系）。
- 合规保留：遵循行业规定（如金融交易记录保存5年以上）。
- 挑战：数据检索效率低，需设计自动化生命周期策略（如AWS S3 Lifecycle规则）。
9. 销毁（Destruction）
- 目标：确保数据不可恢复。
- 关键点：
- 物理销毁：硬盘粉碎、消磁（针对磁性介质）。
- 逻辑擦除：多次覆写（如DoD 5220.22-M标准），验证擦除结果。
- 审计证明：保留销毁记录（如第三方认证报告）。
- 示例：云存储数据删除时，需同时清除快照和备份副本。