当前位置: 首页 > news >正文

时序数据库 TDengine 助力华锐 D5 平台实现“三连降”:查询快了,机器少了,成本也低了

小T导读:在金融市场飞速发展的当下,行情数据的处理与分析已成为金融机构高效决策的关键支撑。华锐技术推出了华锐新一代历史行情中心——D5 平台,全面支持信创环境下的时序型历史行情数据库,具备海量数据存储能力,显著提升数据提取效率。相比传统方案,历史行情数据查询性能实现数倍提升本文将深入解析 TDengine 在 D5 平台中的应用实践,展示其在数据建模、性能优化、成本控制、运维简化等方面带来的核心优势。

作为分布式低时延技术的引领者,华锐技术致力于为金融机构提供高性能行情解决方案。在传统的行情处理中,传统数据库面临着数据量大、处理效率低、存储成本高等诸多挑战。面对日益增长的市场数据,金融机构亟需一种具备高并发处理、高可扩展性和低运维成本的新一代行情数据库,以应对更严苛的数据挑战。

TDengine 的落地实践

在 D5 平台中,时序数据库TDengine 作为历史行情数据库 HDB 的核心组件,与行情持久化适配器 DPS、历史行情服务 HQS 等模块深度协同。凭借 TDengine 的产品优势,D5 平台显著提升了客户在历史行情数据获取方面的体验,有力支撑了历史查询、行情回放、证券信息检索等关键服务。

平台架构如下图所示:

  历史行情中心——D5 平台架构图

历史行情建模

D5 平台的历史行情数据覆盖了沪深交易所、中金所、大商所、郑商所、上期所、上海能源所、北交所、港交所、外汇交易中心本币市场等主要交易场所,涵盖现货、固收债券、基金、衍生品等多种品类,实现对国内主要交易市场和品种的全行情支持。这类数据组织结构复杂,若采用传统关系型建模方式,管理难度高、维护成本大。

基于 TDengine“一个设备一张表”的建模理念,D5 平台在构建历史行情数据模型时,按证券市场和证券代码进行分类,将每支证券简化为一张子表,实现对全市场各类证券的统一管理和高效存储,大幅降低了数据建模和运维复杂度,同时显著提升查询性能。

如图所示,平台将证券市场和证券代码抽象为 TAG,在一张超级表下统一管理所有市场的 K 线数据。每支证券作为子表,记录其在每个时点的开盘价、最高价、收盘价、成交量、成交额等关键指标。

借助 TDengine 的时序数据特性,平台可通过 TAG 标签组织管理不同市场和品种的数据,同时通过数据分区分片机制,实现按市场、品种、证券维度的高效检索。

从这一机制出发,平台按不同 K 线周期(1 分、3 分、5 分、10 分、15 分、30 分、60 分、120 分、日、周、月、年)分别建立超级表,覆盖各类时间粒度的查询需求,从而实现全市场的 K 线极速查询。

纳秒级大规模数据存储与检索

以 Level-2 行情数据为例,D5 平台借助 TDengine 强大的存储与计算能力,构建了纳秒级快照超级表,用于存储全市场行情数据,单表数据量超百亿条。

在传统关系型数据库中,查询一天沪深全品种的历史快照数据往往需要长达 50 分钟;而基于 TDengine解决方案,最快仅需 17 秒即可完成同等查询,效率提升超过百倍

凭借极高的压缩比和卓越的查询性能,TDengine 显著提升了历史行情服务的存储和访问效率,为投研人员提供了更快速、更便捷的数据支持,加速策略开发与决策过程。

超大数据量导入

在项目落地过程中,华锐技术团队也曾面临挑战。例如,项目初期在进行历史数据迁移时,由于数据量大且格式复杂,使用 taosdump 命令导入 CSV 格式的历史数据时出现了部分数据导入速度较慢的问题。通过与 TDengine 开发团队紧密协作,我们对数据格式进行了优化调整,并完善了数据质检与回补机制,在保证导入性能的基础上,也确保了数据的完整性和准确性。

批量导入性能对比

批量导入是行情数据库的主要指标,本表为对比数据库下的批量导入速度

数据库

测试场景

导入耗时

TDengine 数据库

多线程导入一天的快照、逐笔的行情数据

74

某国产时序数据库

多线程导入一天的快照、逐笔的行情数据

111

某非时序数据库

多线程导入一天的快照、逐笔的行情数据

500

成本优势

在资源成本方面,得益于 TDengine 的架构优势、高压缩比和高效的资源利用能力,我们存储 10 年规模的历史数据,服务器数量大幅减少,硬件采购与运维成本也大幅降低。同时,TDengine 的简单易用性也降低了开发和运维的难度,进一步提升了团队的工作效率。

下一步规划

华锐技术计划进一步拓展 TDengine 在更多业务场景中的应用,尤其是在构建全栈信创体系、全面支持国产化方面发力。近年来,随着国家对网络与信息安全的高度重视,信创产业已上升为国家战略重点,信息化发展环境也在持续演进。利用TDengine 的高性能优势与国产化能力,华锐技术将为客户提供更加完备的信创解决方案。同时,公司也在积极探索 TDengine 在金融其他领域的应用潜力,推进复杂衍生指标计算、多维度数据挖掘等行情分析功能的开发,持续丰富产品能力,助力客户实现更全面的数据价值挖掘。

关于华锐技术

华锐技术创立于 2016 年,拥有世界领先的分布式低时延技术,是中国领先的分布式基础技术公司和资本市场核心业务平台提供商。公司总部位于深圳,在北京、上海、长沙设有子公司,业务网络覆盖全国。

华锐 AMD 行情产品部是华锐众多产线之一,致力于打造公司级新一代高速行情服务平台,提供行情极速分发、多数据中心行情传输、实时行情加工、历史行情服务等综合解决方案。平台具备高性价比,能够满足公司各类系统对行情数据的不同需求,现已在多家头部券商、银行理财子公司及私募基金稳定运行多年,持续为各类行情消费系统提供超高可用、超低时延的优质行情服务。

相关文章:

  • 深圳有哪些做网站公司好云搜索系统
  • 免费域名做网站网络策划方案
  • 做网站需要哪些资料2345网址导航安装
  • 做外贸的网站看啥书百度竞价推广联系方式
  • 做网站用b s和c s网络营销培训班
  • 领创科技网站开发北京网站优化企业
  • Node.js-fs模块
  • FPGA笔记——ZYNQ-7020运行PS端的USB 2.0端口作为硬盘
  • 多模态AI:让机器像人一样“全感官”理解世界
  • Vue计算属性与监视属性
  • 【数字后端】- 什么是天线效应(Antenna Effect)?如何修复?
  • 黑马python(十六)
  • 【DataWhale组队学习】AI办公实践与应用-数据分析
  • 3 大语言模型预训练数据-3.2 数据处理-3.2.2 冗余去除——2.SimHash算法文本去重实战案例:新闻文章去重场景
  • SpringBoot(九)--- HttpClient、Spring Cache、Spring Task、WebSocket
  • 【图论题典】Swift 解 LeetCode 最小高度树:中心剥离法详解
  • Git知识梳理常见问题
  • 04-html元素列表-表格-表单
  • 【爬虫入门】CSS样式偏移混淆文本内容的解析与爬取案例解析
  • 水水水水水水水水水水水水水水水水水水水
  • Alembic迁移系统初始化实战教程
  • Day.42
  • 【嘉立创EDA】PCB 如何按板框轮廓进行铺铜
  • 2081、k镜像数组的和
  • linux-修改文件命令(补充)
  • Python-4-考试等级划分