{dede:global.cfg_webname/}

当前位置: 首页 > 科技 > 科技快讯 > 正文

云上集成时序数据库 IoTDB 海量储能数据实现高效处理与实时分析

来源:互联网    时间:2024-08-21 15:25:25

  01 选型背景

  我公司致力于储能业务的开发,包括对庞大而复杂的储能装置进行设计、制造和管理。

  在生产安全的重任下,我们需要实时监测电池的每一次充放电过程、电流、电压等值,以保障电池安全,而每一个变化的数据就是一个带有时间戳的时序数据。

  大型储能装置十分复杂,伴随着业务的扩展,我们的设备和测点数量不断激增,数据采集的频率也在不断提高。

  面对海量的时序数据,传统的处理方案显得力不从心,成本高昂且效率低下。因此,我们需要一款高性能的时序数据库,实现数据的高效处理和实时分析。

  经过深入的调研之后,我们在 InfluxDB 和 IoTDB 之间选择了 IoTDB 作为储能业务线的时序数据库。

  IoTDB 1.0 版本后支持了分布式部署,其数据分区存储的高可扩展性,以及多副本存储实现了无单点故障的高可用性,都深深吸引了我们。

  而且,IoTDB 搭配了多种一致性协议,能够适配不同的场景,这种易于横向扩展的系统架构,完美匹配了我们业务的发展趋势。

  02 部署架构

  考虑到将 IoTDB 部署在物理服务器上,通过公网进行业务应用交互可能会带来数据延迟和运维成本问题,并且需要从头规划计算、存储以及监控系统,整个过程耗时漫长,不利于项目推进。

  最终,我们决定直接在业务应用的 K8S 环境上部署 IoTDB,实现云上集成应用。这样不仅可以提高运维的一致性,也充分利用了云环境的弹性。

  部署 IoTDB 后的业务架构是这样的:在储能设备端,电池簇持续实时上报增量时序数据,并每隔 5 秒上报一次超过 10 万指标的全量时序数据。

  这些数据通过站端转发服务器,使用 MQTT 协议传输至云端,经过 EMQX 的数据转换后,存储至阿里云环境中部署的 IoTDB 数据库,并进一步进行数据的查询、计算与分析。

  IoTDB 新颖的分布式架构和高可用模式,为我们提供了强有力的数据存储保障,因此目前我们采用了 3C3D 的高性能分布式架构。

  对于整体存储空间,IoTDB 支持使用公有云的 SSD 云盘随时扩容,DataNode 节点容量也可以通过 scale StatefulSet 工作负载进行扩容,为我们的业务架构提供了非常高的灵活性。

  为满足实时监控处理需求,我们利用了 IoTDB 内置的 Prometheus Exporter,快速接入监控,实时了解集群状态,为性能优化指明方向。

  在数据备份方面,我们采用了 Velero 对 IoTDB 相关负载进行备份,数据可以直接备份到 OSS 上,也可以通过 crontab 定时备份,并使用 velero hook annotation 在备份前进行强制 flush 刷盘,以保障备份过程中的数据完整性。

  值得一提的是,在部署落地的过程中,IoTDB 的用户文档描述清晰,运维简便,上手成本低,大大方便了我们运维人员的部署工作。

  并且,我们深深感受到 IoTDB 背后有一群热爱研发的程序员,他们的运维支持稳定可靠、响应积极快速,我们生产中遇到的问题能够在很短时间内获得很多实质性的帮助,因此我们对于 IoTDB 产品和团队是非常信任的。

  我们的 IoTDB 集群配置如下:

  使用的 IoTDB 数据备份脚本如下:

  03 应用效果

  以下举例两个 IoTDB 在我们的储能业务中的实际应用场景:

  业务场景一:在某大型储能业务中,IoTDB 共监测 150 个设备,10000 测点,1 秒采集一次上报的时序数据。其集群写入性能稳定实现千万级吞吐,并发 10 个聚合查询场景,平均耗时都在 1 秒之内,各项监控指标表现优异,完全满足我们的业务需求。

  在该场景,我们使用 IoT-Benchmark 进行压测的结果如下:

  集群设置:

  性能表现:

  业务场景二:在某大型储能业务中,IoTDB 共监测 150 个设备,1 分钟采集一次,连续上报 3 个月的时序数据,覆盖测点数近 150 亿个。IoTDB 的千万级写入性能完全满足场景需要。在核心聚合查询场景中,SQL 结果均在 1 秒内返回,而对于如此数量的模型数据,关系型数据库是不可能完成查询的。

  聚合查询场景举例如下:

  04 未来展望

  部署 IoTDB 后,我们不但可以很自豪地和客户说:“我们使用的是国产时序数据库。”而且这款国产时序数据库还能够真正高效地管理海量时序数据,有效提升数据的处理和实时分析能力,为公司储能业务的电池安全监控提供有力保障。

  未来,我们希望抽象出一套 operator 来满足各种不同架构的 IoTDB 部署,同时实现 K8S 环境的一键部署。我们也希望与 IoTDB 团队继续保持紧密合作,适配更大规模的数据体量,通过对更多时序数据的有效管理,进一步赋能我们储能业务的发展。

声明:来源非IT商业科技网的作品均转载自其它媒体,转载请尊重版权保留出处,一切法律责任自负。文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。转载稿件或作者投稿可能会经编辑修改或者补充, 如有异议可投诉至:Email:342 4350 938@qq.com

频道精选
云上集成时序数据库 IoTDB 海量储能数据实现高效处理与实时分析

云上集成时序数据库 IoTDB 海量储能数据实现高效处理与实时分析

  01 选型背景  我公司致力于储能业务的开发,包括对庞大而复杂的储能装置进行设计、制造和管理。  在生产安全的重任下,我们需要实
2024-08-21
小度联合新华网客户端 举办“AI技术对中小学教育的深度赋能”主题活动

小度联合新华网客户端 举办“AI技术对中小学教育的深度赋能”主题活动

  AI+教育正在让传统教育方式和学习体验发生深刻变革。  8月21日,小度科技联合新华网客户端在京举办AI技术对中小学教育的深度赋能主题
2024-08-21
全球AI支出扩张 企业如何抢占AI市场一席之地?

全球AI支出扩张 企业如何抢占AI市场一席之地?

  数字时代,AI技术的巨大价值正在凸显,投资布局AI已是企业增强竞争力、赢得未来的重要举措。这一趋势下,围绕AI的支出呈高速增长态势。
2024-08-21
从高质量的供应链 透视一个正在变化的海辰储能

从高质量的供应链 透视一个正在变化的海辰储能

  商业世界中的赢家,总会被贴上许多耀眼的标签,比如果敢的决策、深入人心的营销,仿佛这就是其成功的全部秘籍。但一家企业的长久胜出,不仅
2024-08-21
威刚携手研华 打造基于英伟达平台的AI自走机器人

威刚携手研华 打造基于英伟达平台的AI自走机器人

  记忆体模组大厂威刚今日宣布,与研华在基于英伟达Nova Orin 平台上,成功打造 AI 自走机器人,具有高整合性与强大 AI 运算效能,
2024-08-21
科隆电玩展 华硕ROG展出水冷散热、AI 主板等高端设备

科隆电玩展 华硕ROG展出水冷散热、AI 主板等高端设备

  华硕旗下电竞品牌ROG(玩家共和国)21日在德国科隆电玩展上展示了一系列针对AI PC、水冷散热等高效能电竞设备的创新产品,再次彰显其在
2024-08-21
所罗门携手英伟达 大秀机器人智能运动规划软件

所罗门携手英伟达 大秀机器人智能运动规划软件

  AI 视觉业者所罗门今日指出,公司在今年自动化展展示各种视觉应用,从机器人3D视觉、AI缺陷检测到整合AI和AR技术的增强智能解决方案,
2024-08-21
Panasonic传携两家车厂、在日本增设EV电池据点

Panasonic传携两家车厂、在日本增设EV电池据点

  日本电动车电池大厂Panasonic传出将和SUBARU、马自达合作,在日本增设EV电池生产据点。  综合日本媒体20日报道,Panasonic将分别和SU
2024-08-21
传清仓京东持股 沃尔玛回应了

传清仓京东持股 沃尔玛回应了

  美国最大零售商「沃尔玛」近日爆出正在抛售持有的1 445亿股京东股份,消息一出,京东ADR周二(20日)盘后股价重挫逾10%。 对此,沃尔玛
2024-08-21
京东汽车与膜小二战略合作升级 产品、营销、服务、渠道方面深化共建

京东汽车与膜小二战略合作升级 产品、营销、服务、渠道方面深化共建

  8 月 20 日, 京东汽车与膜小二宣布战略合作再升级, 双方将在产品、营销、服务、渠道等方面持续深化共建, 共同为车主提供更好的车
2024-08-21

2017-2019 Copyright © IT商业科技网 备案许可证号粤ICP备2022153948号 豫公网安备110102003388号

紧急处理QQ:133 4673 445@qq.com