【计算机科学与应用】基于FME的自动化数据库建设方法及应用实践
基金项目:
江苏省自然资源科技项目(编号:JSZRKJ202409)。
作者信息:
曹婷丽, 徐贵阳, 崔悦慧:江苏省测绘工程院,江苏 南京
原文链接:https://doi.org/10.12677/csa.2025.159225
导读:
建设自然资源和规划“一张图”数据库是推进国家治理体系和治理能力现代化的重要支撑,亟需对格式多样、坐标系不统一、多源异构、关系复杂的数据进行整合建库。传统手段效率低下、质量可控性差,难以满足高精度、标准化的建库需求。针对这一情况,研究提出了结合FME (Feature Manipulate Engine)软件全流程自动化建库方法,形成了数据格式转换、坐标系统一、数据处理、图属融合、规范建库、质量检查等功能模块,并顺利应用于实际项目中,有效提升了数据的整合效率与质量,为自然资源碳汇监测体系构建和生态产品价值实现机制的建立提供高效可靠的数据整合与治理解决方案。
正文
本文结合典型案例,研究FME在自然资源和规划“一张图”数据库建设中的应用,提出一套结合FME软件的建库方案,并总结定制了数据批处理工具,高效准确地完成多源数据的格式转换、坐标系统一、数据清洗以及数据建库,解决了多源异构数据的整合难题,形成标准统一、数据完整的核心数据库,全面提升了自然资源各领域的数据质量和综合应用能力。
研究方法
具体建库流程如图1所示:
由于自然资源领域数据来源多、体量庞大、质量参差不齐,数据处理工序复杂,工作量大,且处理完成后,质量检查也是极为重要的一步,依靠传统的作业方式和工具都无法满足要求,且效率低下。笔者通过大量尝试与实践,发现借助FME (Feature Manipulate Engine)可快速准确地完成这些工序。借助FME进行数据处理、数据建库,制定质检工具对数据进行质量检查。
案例研究与结果
本文选取DWG样例数据,源数据、转换处理过程成果及最终成果如图5所示。
首先将原始excel表构建进行检查与标准化,通过Feature Reader读模块读标准的建库表,然后通过Feature Writer建立库结构,最后借助自定义转换器Relatalias关联别名,完成数据库结构的建设(图6)。
为定量评估本方法的优势,设计对比实验:选取某市100幅典型DWG数据,分别采用本文提出的FME自动化处理流程和传统人工处理方法进行处理、建库和质检。
为全面衡量方法效能,我们选取了三个核心维度进行量化对比:
(1) 处理效率:完成100幅数据全流程处理所需的总时间(小时)。
(2) 质量提升:通过自动化质检工具发现的错误数量与传统方法发现的错误数量对比,计算关键错误类型的减少率(%)。具体指标包括:拓扑错误减少率(如面缝隙、重叠)、属性缺失减少率(必填字段缺失)、图属一致性错误减少率。
(3) 人力成本:完成100幅DWG数据处理、建库和质检所需投入的人工时长(人天)。
对比指标及结果如下表1所示:
实验结果表明,基于FME的全流程自动化建库方法在处理效率、数据质量和人力成本三个关键维度上均显著优于传统人工方法。该方法不仅大幅缩短了项目周期,显著提高了数据成果的准确性和规范性,还极大地节约了人力资源投入。
结论
本研究提出的基于FME的自动化建库方法在实践中取得了显著成效,其优势主要体现在高效性、高质量、灵活性、低成本。通过模块化、流程化的FME工作空间设计,实现了数据处理、建库、质检的批量自动化运行,极大提升了工作效率。严格的流程控制和定制化的质检工具,有效减少了人工操作引入的错误,确保了数据转换、整合和入库的准确性与规范性。FME强大的数据转换和处理能力,能够适应多源异构数据的整合需求,且工作空间易于根据具体项目标准和数据进行调整复用。自动化大幅降低了对专业GIS操作人员的持续高强度依赖,显著节约了人力成本和时间成本。