当前位置: 首页 > news >正文

Apache IoTDB 架构特性与 Prometheus+Grafana 监控体系部署实践

Apache IoTDB 架构特性与 Prometheus+Grafana 监控体系部署实践

文章目录

    • Apache IoTDB 架构特性与 Prometheus+Grafana 监控体系部署实践
      • Apache IoTDB 核心特性与价值
      • Apache IoTDB 监控面板完整部署方案
        • 安装步骤
          • 步骤一:IoTDB开启监控指标采集
          • 步骤二:安装、配置Prometheus
          • 步骤三:安装grafana并配置数据源
          • 步骤四:导入IoTDB Grafana看板
      • TimechoDB(基于 Apache IoTDB)增强特性
      • 总结与应用场景建议

在这里插入图片描述

Apache IoTDB 核心特性与价值

在这里插入图片描述

Apache IoTDB 专为物联网场景打造的高性能轻量级时序数据库,以 “设备 - 测点” 原生数据模型贴合物理设备与传感器关系,通过高压缩算法、百万级并发写入能力和毫秒级查询响应优化海量时序数据存储成本与处理效率,同时支持边缘轻量部署、云端集群扩展及边缘 - 云端协同,为工业物联网、智能城市、车联网等场景提供全生命周期的数据存储、查询与分析解决方案

物联网原生优化:采用 “设备 - 测点” 数据模型,完美映射物理设备与传感器关系,配合标签机制支持多维度分析,贴合物联网实际业务场景

极致性能表现:通过特殊编码算法实现 10:1~20:1 的高压缩率,同时支持每秒数百万条数据的并发写入和毫秒级时序查询响应,平衡存储成本与处理效率

全场景部署能力:轻量设计可运行于边缘设备,分布式架构支持云端集群扩展,兼容边缘 - 云端协同存储,适配从边缘到云端的全场景物联网部署需求

Apache IoTDB 监控面板完整部署方案

安装步骤
步骤一:IoTDB开启监控指标采集

打开监控配置项。IoTDB中监控有关的配置项默认是关闭的,在部署监控面板前,您需要打开相关配置项(注意开启监控配置后需要重启服务)

配置项所在配置文件配置说明
cn_metric_reporter_listconf/iotdb-system.properties将配置项取消注释,值设置为PROMETHEUS
cn_metric_levelconf/iotdb-system.properties将配置项取消注释,值设置为IMPORTANT
cn_metric_prometheus_reporter_portconf/iotdb-system.properties将配置项取消注释,可保持默认设置9091,如设置其他端口,不与其他端口冲突即可
dn_metric_reporter_listconf/iotdb-system.properties将配置项取消注释,值设置为PROMETHEUS
dn_metric_levelconf/iotdb-system.properties将配置项取消注释,值设置为IMPORTANT
dn_metric_prometheus_reporter_portconf/iotdb-system.properties将配置项取消注释,可默认设置为9092,如设置其他端口,不与其他端口冲突即可

以3C3D集群为例,需要修改的监控配置如下

节点ip主机名集群角色配置文件路径配置项
192.168.1.3iotdb-1confignodeconf/iotdb-system.propertiescn_metric_reporter_list=PROMETHEUS cn_metric_level=IMPORTANT cn_metric_prometheus_reporter_port=9091
192.168.1.4iotdb-2confignodeconf/iotdb-system.propertiescn_metric_reporter_list=PROMETHEUS cn_metric_level=IMPORTANT cn_metric_prometheus_reporter_port=9091
192.168.1.5iotdb-3confignodeconf/iotdb-system.propertiescn_metric_reporter_list=PROMETHEUS cn_metric_level=IMPORTANT cn_metric_prometheus_reporter_port=9091
192.168.1.3iotdb-1datanodeconf/iotdb-system.propertiesdn_metric_reporter_list=PROMETHEUS dn_metric_level=IMPORTANT dn_metric_prometheus_reporter_port=9092
192.168.1.4iotdb-2datanodeconf/iotdb-system.propertiesdn_metric_reporter_list=PROMETHEUS dn_metric_level=IMPORTANT dn_metric_prometheus_reporter_port=9092
192.168.1.5iotdb-3datanodeconf/iotdb-system.propertiesdn_metric_reporter_list=PROMETHEUS dn_metric_level=IMPORTANT dn_metric_prometheus_reporter_port=9092

重启所有节点。修改3个节点的监控指标配置后,可重新启动所有节点的confignode和datanode服务

./sbin/stop-standalone.sh      #先停止confignode和datanode
./sbin/start-confignode.sh  -d #启动confignode
./sbin/start-datanode.sh  -d   #启动datanode

重启后,通过客户端确认各节点的运行状态,若状态都为Running,则为配置成功

步骤二:安装、配置Prometheus

下载 Prometheus 安装包,要求安装 V2.30.3 版本及以上,可前往 Prometheus 官网下载,解压安装包,进入解压后的文件夹

tar xvfz prometheus-*.tar.gz
cd prometheus-*

修改配置。修改配置文件prometheus.yml如下

  • 新增confignode任务收集ConfigNode的监控数据
  • 新增datanode任务收集DataNode的监控数据
global:scrape_interval: 15s evaluation_interval: 15s 
scrape_configs:- job_name: "prometheus"static_configs:- targets: ["localhost:9090"]- job_name: "confignode"static_configs:- targets: ["iotdb-1:9091","iotdb-2:9091","iotdb-3:9091"]honor_labels: true- job_name: "datanode"static_configs:- targets: ["iotdb-1:9092","iotdb-2:9092","iotdb-3:9092"]honor_labels: true

启动Prometheus。Prometheus 监控数据的默认过期时间为15天,在生产环境中,建议将其调整为180天以上,以对更长时间的历史监控数据进行追踪,启动命令如下所示

./prometheus --config.file=prometheus.yml --storage.tsdb.retention.time=180d

确认启动成功,进入Prometheus,点击进入Status下的Target界面,当看到State均为Up时表示配置成功并已经联通

在这里插入图片描述

点击Targets中左侧链接可以跳转到网页监控,查看相应节点的监控信息

在这里插入图片描述

步骤三:安装grafana并配置数据源

下载 Grafana 安装包,要求安装 V8.4.2 版本及以上,可以前往Grafana官网下载,解压并进入对应文件夹

tar -zxvf grafana-*.tar.gz
cd grafana-*

启动Grafana

./bin/grafana-server web

登录Grafana,进入Grafana,默认初始用户名和密码均为 admin。

配置数据源。在Connections中找到Data sources,新增一个data source并配置Data Source为Prometheus

在这里插入图片描述

步骤四:导入IoTDB Grafana看板

进入Grafana,选择Dashboards

在这里插入图片描述

点击右侧 Import 按钮

在这里插入图片描述

使用upload json file的方式导入Dashboard

在这里插入图片描述

选择IoTDB监控面板中其中一个面板的json文件,这里以选择 Apache IoTDB ConfigNode Dashboard为例

在这里插入图片描述

选择数据源为Prometheus,然后点击Import

在这里插入图片描述

之后就可以看到导入的Apache IoTDB ConfigNode Dashboard监控面板

在这里插入图片描述

同样地,我们可以导入Apache IoTDB DataNode Dashboard、Apache Performance Overview Dashboard、Apache System Overview Dashboard,可看到如下的监控面板

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

至此,IoTDB监控面板就全部导入完成了,现在可以随时查看监控信息了

在这里插入图片描述

TimechoDB(基于 Apache IoTDB)增强特性

在这里插入图片描述

TimechoDB 国产自研高性能时序数据库,核心团队源于清华大学,自主研发积累深厚,多项发明专利与顶会论文为技术支撑,通过工信部信创测评,适配信创生态,性能经 TPx - IoT 国际榜单验证达国际领先水平 ,成本把控上大幅降低存储与运维成本,借助云边协同节省网络带宽、接收端 CPU 等资源;原厂团队提供企业级技术支持与可视化工具,提升使用便捷性;超 40 项国产 CPU、OS 兼容认证,集成多类大数据系统,构建稳定全流程方案,助力各行业高效运用时序数据

端边云数据协同:支持设备端、边缘、云端数据高效流转,适配多场景部署,实现数据分层处理与协同管理

性能无瓶颈:高并发写入(百万级设备)、低延迟查询,经存储与编码优化,平衡读写性能与成本

智能 AI 分析:内置时序大模型(本地微调 / 推理),配 70 + 时序 UDF 函数,覆盖数据处理到智能分析全流程

稳定安全:分布式架构保障高可用,结合权限、加密机制,满足工业场景数据安全与业务连续性需求

运维便捷:可视化工具 + 简化部署,支持集群监控、故障诊断,降低工业环境运维门槛

总结与应用场景建议

在这里插入图片描述

Apache IoTDB 靠 “设备 - 测点” 模型、高压缩率和高并发写入,能搞定物联网从边缘到云端的时序数据存储,适合需要轻量部署的场景;TimechoDB 在此基础上强化了端边云协同、AI 分析和信创适配,更贴合企业级需求。具体用的话,工业物联网存设备传感数据、智能城市降分布式数据带宽成本、车联网存高频车况数据都能用,前者胜在轻量开源,后者适合要国产化和智能分析的场景。

http://www.dtcms.com/a/464741.html

相关文章:

  • LLM时代基于unstructured解析非结构化pdf
  • uniapp tab切换及tab锚点效果(wx小程序及H5端)
  • Hadoop面试题及详细答案 110题 (71-85)-- 集群部署与运维
  • 5-1〔OSCP ◈ 研记〕❘ SQL注入攻击▸SQL注入理论基础
  • 南充市企业网站建设wordpress极客主题
  • 企业做小红书关键词搜索排名推广时,怎么找到小红书上有一定搜索量但竞争度低的蓝海词?
  • 数据仓库与数据挖掘基础知识
  • 鸿蒙:使用Rating组件实现五角星打分评价
  • 外国人可以在中国做网站吗做个网站得花多少钱
  • 双均线策略
  • 【vLLM 学习】Neuron
  • 网站做行业认证好处施工企业在施工过程中发现工程设计图纸存在差错的
  • 迅为RK3576开发板挂载Windows以及虚拟机Ubuntu测试
  • 第1篇:创建基础电商AI客服
  • 【MyBatis从入门到入土】告别JDBC原始时代:零基础MyBatis极速上手指南
  • MaxScript 科研绘图教程:从数据到精确的可视化
  • org.apache.http.conn.HttpHostConnectException: Connect to localhost:8086
  • 深度学习入门(一)——从神经元到损失函数,一步步理解前向传播(上)
  • 沧州网站制作公司宁波网站的优化
  • 工程承包去哪个网站做网站的步骤 优帮云
  • 网站建设课程wordpress 去掉左上角
  • 怎么创建一个博客网站wordpress电影下载
  • 搭建网站案例精粹北京cos网站
  • 云南澄江县建设局网站做网站江门
  • 企业外贸网站建设互联网创业项目概述
  • 关于企业网站建设数据现状分析重庆百度推广关键词优化
  • 手机网站免费网站安全建设费用预算表
  • 网站seo推广计划网页制作工具可以分为
  • 北京企业建设网站制作建设网站总经理讲话范本
  • 沂南网站设计不用wordpress