基于“物理—事理—人理”的多源异构大数据融合探究

在大数据时代，海量数据作为各领域的重要资源，其更多的价值有待被挖掘，更大的潜能有待释放。此外，移动通信设备的深度普及、互联网的全面覆盖，以及5G、人工智能（AI）等的高速发展，不断推动大数据自身的更新和前进。从企业产生的内部数据在生产经营等环节中蕴含着重要价值，到个人产生的数据在健康管理及智慧医疗等应用场景发挥着重要作用；从海量数据采集困难重重到社会经济活动随时随地产生数据司空见惯，数字已赋能全社会、各领域、各行业产业的发展。

在科学技术进步和社会发展变革的背景下，当前大数据除了拥有巨大的体量，多源异构的特点也充分凸显，对海量数据的分析也产生了许多新需求和新挑战。因此，如何科学、有效、全面地融合多种来源、各种类型的“硬数据”和“软数据”，化解多源异构大数据融合在理论和实践中的难题，使数据的堆砌变为具有价值的“黄金”，成为有待解决的重要问题。

多源异构大数据新特征与数据融合新需求

互联网连接了人们的生活、企业的生产和政府的管理，也使得社会各参与者在无数活动中产生数据。这些数据来源广泛，结构复杂多样，同时，数据可获得性的增强也使更多领域日益重视数据资源价值的挖掘。因此，海量数据的新特征及更多领域的新需求，促使多源异构大数据融合成为大数据研究领域的重要内容。

多源异构大数据呈现的新特征总体可以概括为：交叉性、多元性、变化性和共识性。不同活动、不同业务的内容常常出现重叠，大量跨行业、跨媒体、跨数据库的数据具有很强的交叉性。数据形态结构也呈现多样化，既有数字、表格等结构化数据，也有文本、图片、声音、视频等非结构化及半结构化数据。此外，多元性不仅是数据类型、结构不同，而且是数据中蕴含的内容和知识的多“维度”与多“粒度”，体现了数据和知识间复杂的立体关系。数据的变化性指数据随着时间的推移发生变化。数据的共识性是指人们对很多数据之间的关系及数据和知识之间的关系已经达成共识，这些关系和知识具有普遍适用性，有助于建立起数据、信息和知识间的关联关系，挖掘更多知识。

挖掘多源异构数据中的信息和知识并将其转化为价值，离不开数据融合。过去的数据融合也称为信息融合，其内涵为组合和处理多来源的数据和信息，使其优势互补、排除噪声、化解矛盾，提高信息的完整性和可信度，得到比单一信息更准确、更可靠的估计或决策。信息融合的模型主要包括结构模型和功能模型。结构模型描述了信息融合系统的工作方式，在融合功能的部署上分为集中式结构、分布式结构和混合式结构。功能模型主要对信息融合系统及子系统的功能作用及各部分的关系进行建模，包括JDL模型（Joint Directors of Laboratories）、Omnibus模型、OODA模型（Observation,Orientation,Decision,Action）及其改进模型。JDL改进模型对多元信息融合任务构建了6级功能：次目标估计、目标评估、态势评估、影响评估、过程优化、认知优化。OODA模型由观测、定向、决策和行动4部分组成，其扩展模型可以处理相互影响的信息之间的融合。信息融合模式可以抽象为3个层级，分别是数据级融合、特征级融合和决策级融合。数据级融合主要指对相同介质传感器收集的数据直接进行融合；特征级融合是指先从原始数据中提取特征，然后对它们进行融合；决策级融合则是对特征或已经得到的初步结果进行更高层次的融合，得出更综合和系统的决策。不同融合层次都有大量方法和技术，包括主成分分析、Kalman滤波、贝叶斯估计、机器学习、D-S证据理论、智能计算等。从数据级融合到特征级融合再到决策级融合，融合的层次越来越高，计算量和精度降低，信息损失增加，但稳健性和灵活性得到提升。多元信息融合的应用主要在军事、通信、控制、医疗、交通等领域，融合的数据以传感器产生的“