qData 数据中台专业版 v2.4.0 发布:扩展多源接入、增强集成组件,推进信创适配

在实际项目中,数据标准不统一、指标口径不一致、数据源类型支持不足,仍是不少企业数据中台从建设走向运营时反复遇到的障碍。

与此同时,信创环境下的全栈适配要求,已从“可选”变为“必选”,对平台的国产化兼容性提出了更具体的检验标准。

正是在这样的背景下,qData 数据中台专业版v2.4.0正式发布。

本次版本没有追求大而全的功能堆叠,而是围绕我们在客户侧反复听到的几个真实需求点展开:

扩展数据源类型、增强集成组件的可用性、完善元数据管理覆盖、补充逻辑模型能力、提升查询与资产预览的兼容性,以及深化国产化部署适配。

以下从六个维度梳理本次更新的主要内容,供技术选型和架构评估参考。


一、多源数据连接能力扩展:让更多数据“接得进来”

在企业数据建设过程中,数据来源越来越复杂,不再只来自传统关系型数据库,还包括国产数据库、时序数据库、消息中间件、文件系统、大数据组件等多种类型。

业务系统、物联网设备、消息队列和大数据平台不断增加,企业往往面临“数据接不全、采不动、查不了、管不住”的困境。

qData 数据中台专业版v2.4.0在数据连接层面进行了系统性扩展:

  • 新增GBase数据源连接,满足国产数据库接入需求;
  • 新增TDengine时序数据库,适用于物联网、设备监控、时序指标采集等场景;
  • 新增RabbitMQ消息中间件读取;
  • 新增RocketMQ消息中间件写入。

在这里插入图片描述

这意味着,无论是传统关系型数据库、时序数据库,还是消息队列,企业都可以通过qData数据中台实现统一接入与管理,不再需要为每一种数据源单独开发接入方案。

同时,本次版本还新增了资源监控能力,支持在平台侧查看数据连接相关资源状态,提升数据源连接状态、资源使用情况及运行状态的可视化查看能力。


二、数据集成组件增强:从“能接”到“好用”

数据接入只是第一步,如何在接入之后高效地进行数据处理、分发和编排,才是数据中台真正的考验。

qData 数据中台专业版v2.4.0在数据集成组件层面进行了多项重要补充:

  1. 消息队列组件方面,新增RocketMQ输入组件和输出组件,支持从RocketMQ消息队列中读取数据,也支持将处理后的数据写入RocketMQ,满足消息型数据采集、数据分发和实时消息推送场景。
  2. 文件传输组件方面,新增FTP输入组件和输出组件,支持从FTP文件服务器读取文件数据,也支持将数据处理结果输出到FTP指定目录,适用于文件交换、批量数据传输和系统间文件集成场景。
  3. 接口类数据接入方面,新增WebService输入组件,支持通过WebService方式接入外部数据,扩展了接口类、服务类数据接入方式。
  4. 国产数据库适配方面,通用表组件新增支持GBase数据源类型,可在数据同步、数据转换等场景中使用GBase作为输入或输出数据源。

此外,本次版本还新增了条件分发组件,支持根据配置条件对数据流向进行判断与分支处理,适用于数据分流、规则路由和复杂流程编排场景。

新增的子流程组件则支持在集成任务中引用和编排子流程,可将通用处理逻辑封装为可复用流程,减少重复配置,提高复杂任务建设效率。

如果说此前qData解决的是“能不能接”的问题,那么qData数据中台v2.4.0解决的是“接得好不好、用得顺不顺”的问题。


三、逻辑模型与元数据管理:为数据资产化打好基础

数据中台的上限由架构决定,下限由治理决定。而治理的基础,在于元数据

  • 逻辑模型方面,qData 数据中台专业版v2.4.0新增支持Hive、ClickHouse、Doris、Phoenix、GBase等数据源。

企业可以基于更多类型的数据源进行逻辑模型配置,将不同技术栈中的数据统一纳入模型管理,为后续数据开发、数据服务和指标建设提供更稳定的数据结构基础。

在这里插入图片描述

  • 元数据采集方面,本次版本的扩展力度尤为突出——新增支持PostgreSQL、SQL_Server2008、SQL_Server、Kingbase8、OSCAR、DB2、Hive、HDFS、TDengine、GBase等十余类数据源的元数据采集。

覆盖传统数据库、国产数据库、大数据组件、文件系统和时序数据库。

企业可以通过qData统一盘点分散在不同系统中的数据资源,为数据资产目录、数据血缘、数据查询和数据治理提供更完整的元数据基础。

在这里插入图片描述


四、数据查询与资产预览:让数据“看得见、用得上”

数据接入和治理的最终目的是让数据被使用。

如果数据查询和资产预览能力跟不上,前期的投入就无法转化为实际价值。

qData 数据中台专业版v2.4.0在数据查询方面新增支持GBase和TDengine时序数据库查询,用户可以在平台内对更多类型数据源进行统一查询。

资产预览方面,同样新增支持GBase和TDengine数据源,数据资产管理过程中可直接查看对应数据内容,提升资产盘点和数据确认效率。

这两项能力看似简单,实则解决了数据使用中的关键断点:数据接进来了、治理完成了,但用户能不能方便地查到、看到、用到,才是衡量数据中台价值的最终标尺。


五、国产化与企业级部署适配:信创环境下的稳定运行

信创适配不是简单的“能连上就行”,而是要求平台在国产芯片、国产操作系统、国产数据库的全栈环境下稳定运行、持续交付。

qData 数据中台专业版v2.4.0在国产化适配方面完成了两项关键工作:

  • 一是完成DolphinScheduler人大金仓适配,支持在人大金仓数据库环境下部署和运行调度能力,提升调度服务在国产化环境中的兼容性。
  • 二是补充GBase8s基础运行库,qdata-pro、qdata-pro2、qdata-portal-pro三个核心服务模块均新增GBase8s基础运行库支持,完善平台核心服务在GBase8s环境下的基础运行支撑。

这意味着,在信创项目和国产数据库环境下,qData数据中台不仅能够接入数据,更能稳定运行、持续交付


写在最后

qData 数据中台专业版v2.4.0一次简单的数据源补充,而是围绕企业真实数据环境的一次基础能力增强。

从多源异构数据接入到数据集成组件增强,从元数据采集范围扩大到逻辑模型适配深化,从数据查询与资产预览兼容提升到国产化部署适配

每一个更新背后,都是对企业真实数据问题的回应。

面对越来越复杂的异构数据、越来越明确的信创要求和越来越深入的数据治理需求。

qData数据中台专业版将持续帮助企业从“单点接入数据”走向“统一接入、统一管理、统一查询、统一资产化”的数据中台建设模式。

qData 数据中台专业版v2.4.0现已发布,欢迎关注qData数据中台获取更多信息:qData企业级数据中台 | 数据治理与资产管理一体化解决方案

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值