当前位置: 首页 > news >正文

【计算机科学与应用】基于FME的自动化数据库建设方法及应用实践

基金项目:

江苏省自然资源科技项目(编号:JSZRKJ202409)。

作者信息:

曹婷丽, 徐贵阳, 崔悦慧:江苏省测绘工程院,江苏 南京

原文链接:https://doi.org/10.12677/csa.2025.159225

导读:

建设自然资源和规划“一张图”数据库是推进国家治理体系和治理能力现代化的重要支撑,亟需对格式多样、坐标系不统一、多源异构、关系复杂的数据进行整合建库。传统手段效率低下、质量可控性差,难以满足高精度、标准化的建库需求。针对这一情况,研究提出了结合FME (Feature Manipulate Engine)软件全流程自动化建库方法,形成了数据格式转换、坐标系统一、数据处理、图属融合、规范建库、质量检查等功能模块,并顺利应用于实际项目中,有效提升了数据的整合效率与质量,为自然资源碳汇监测体系构建和生态产品价值实现机制的建立提供高效可靠的数据整合与治理解决方案。

正文

本文结合典型案例,研究FME在自然资源和规划“一张图”数据库建设中的应用,提出一套结合FME软件的建库方案,并总结定制了数据批处理工具,高效准确地完成多源数据的格式转换、坐标系统一、数据清洗以及数据建库,解决了多源异构数据的整合难题,形成标准统一、数据完整的核心数据库,全面提升了自然资源各领域的数据质量和综合应用能力。

研究方法

具体建库流程如图1所示:

由于自然资源领域数据来源多、体量庞大、质量参差不齐,数据处理工序复杂,工作量大,且处理完成后,质量检查也是极为重要的一步,依靠传统的作业方式和工具都无法满足要求,且效率低下。笔者通过大量尝试与实践,发现借助FME (Feature Manipulate Engine)可快速准确地完成这些工序。借助FME进行数据处理、数据建库,制定质检工具对数据进行质量检查。

案例研究与结果

本文选取DWG样例数据,源数据、转换处理过程成果及最终成果如图5所示。

首先将原始excel表构建进行检查与标准化,通过Feature Reader读模块读标准的建库表,然后通过Feature Writer建立库结构,最后借助自定义转换器Relatalias关联别名,完成数据库结构的建设(图6)。

为定量评估本方法的优势,设计对比实验:选取某市100幅典型DWG数据,分别采用本文提出的FME自动化处理流程和传统人工处理方法进行处理、建库和质检。

为全面衡量方法效能,我们选取了三个核心维度进行量化对比:

(1) 处理效率:完成100幅数据全流程处理所需的总时间(小时)。

(2) 质量提升:通过自动化质检工具发现的错误数量与传统方法发现的错误数量对比,计算关键错误类型的减少率(%)。具体指标包括:拓扑错误减少率(如面缝隙、重叠)、属性缺失减少率(必填字段缺失)、图属一致性错误减少率。

(3) 人力成本:完成100幅DWG数据处理、建库和质检所需投入的人工时长(人天)。

对比指标及结果如下表1所示:

实验结果表明,基于FME的全流程自动化建库方法在处理效率、数据质量和人力成本三个关键维度上均显著优于传统人工方法。该方法不仅大幅缩短了项目周期,显著提高了数据成果的准确性和规范性,还极大地节约了人力资源投入。

结论

本研究提出的基于FME的自动化建库方法在实践中取得了显著成效,其优势主要体现在高效性、高质量、灵活性、低成本。通过模块化、流程化的FME工作空间设计,实现了数据处理、建库、质检的批量自动化运行,极大提升了工作效率。严格的流程控制和定制化的质检工具,有效减少了人工操作引入的错误,确保了数据转换、整合和入库的准确性与规范性。FME强大的数据转换和处理能力,能够适应多源异构数据的整合需求,且工作空间易于根据具体项目标准和数据进行调整复用。自动化大幅降低了对专业GIS操作人员的持续高强度依赖,显著节约了人力成本和时间成本。


文章转载自:

http://hRZhpH9S.srjbs.cn
http://B5KriABb.srjbs.cn
http://OsSvTAUc.srjbs.cn
http://3V6t6qhg.srjbs.cn
http://yEgVJpwA.srjbs.cn
http://va9oumai.srjbs.cn
http://kSHNtFwN.srjbs.cn
http://xfsUHovM.srjbs.cn
http://9yD287Ip.srjbs.cn
http://aVhGIWv6.srjbs.cn
http://hZPKzcL0.srjbs.cn
http://Z27y3Skn.srjbs.cn
http://s7SD5Yc7.srjbs.cn
http://MHVDbOOO.srjbs.cn
http://SanmoogB.srjbs.cn
http://tt0QBqyd.srjbs.cn
http://NtxQwv7h.srjbs.cn
http://pg8YTM8l.srjbs.cn
http://Jo8zrqz8.srjbs.cn
http://X5nswbrB.srjbs.cn
http://h9S4C0m9.srjbs.cn
http://OLNekD1r.srjbs.cn
http://JSKDD9ph.srjbs.cn
http://nXXpIowe.srjbs.cn
http://2K0PFfNP.srjbs.cn
http://ej2oybRf.srjbs.cn
http://pi5pzOZH.srjbs.cn
http://trkLOToa.srjbs.cn
http://49RcJLbP.srjbs.cn
http://N1sUAk7W.srjbs.cn
http://www.dtcms.com/a/365104.html

相关文章:

  • 产线自动化效率上不去?打破设备和平台的“数据孤岛”是关键!
  • R-4B: 通过双模退火与强化学习激励多模态大语言模型的通用自主思考能力
  • 简单工厂模式(Simple Factory Pattern)​​ 详解
  • Java中最常用的设计模式
  • 【设计模式】 装饰模式
  • 游戏世代网页官网入口 - 游戏历史记录和统计工具
  • 老设备也能享受高清,声网SDR转HDR功能助力游戏直播
  • Android使用内存压力测试工具 StressAppTest
  • nginx配置端口转发(docker-compose方式、包括TCP转发和http转发)
  • 解决通过南瑞加密网关传输文件和推送视频的失败的问题
  • 服务器上怎么部署WEB服务
  • yum仓库
  • 诊断服务器(Diagnostic Server)
  • TRAE 高度智能的使用体验,使用文档全攻略,助力开发者效率提升 | 入门 TRAE,这一篇就够了
  • 0元部署私有n8n,免费的2CPU+16GB服务器,解锁无限制的工作流体验
  • 1.Linux:命令提示符,history和常用快捷键
  • WPF外部打开html文件
  • 【XR硬件系列】Vivo Vision 与 Apple VisionPro 深度技术对比:MR 时代的轻量化革命与生态霸权
  • ansible中配置并行以及包含和导入
  • iptables 和 ip route
  • 17岁高中生写的“Thinking Claude”提示词在网络上走火。提示词全文,并附高价值解读。
  • GEO优化专家孟庆涛:优质内容是GEO优化的核心
  • 使用sudo命令执行程序不保留父进程
  • 51单片机(按键,外部中断,定时器中断,PWM与蜂鸣器)
  • 【序列晋升】27 Spring Cloud Sleuth给分布式系统装上透视镜
  • Shell 秘典(卷八)—— 万流归宗秘术・AWK 通玄真解
  • GitHub热门AI编程工具推荐:CodeGeeX4+CodeLlama实战教程,程序员高效开发必备
  • etcd的强一致性和redis的最终一致性都是如何实现的?
  • HTML应用指南:利用POST请求获取全国九号电动车体验店服务店位置信息
  • 【GM3568JHF】FPGA+ARM异构开发板 使用指南:WIFI