APP下载

数据总线平台DBus多项功能更新

消息来源:baojiabao.com 作者: 发布时间:2024-05-20

报价宝综合消息数据总线平台DBus多项功能更新

不知不觉,DBus(数据总线平台)的0.5版本已经发布20余天。众人瞩目的更新增加的那些亮点,不知道大家有没有完全发觉。本文就是对DBus_v0.5更新的所有总结。首先,我们来看一下内容提要~

(1)引入多租户管理,实现租户资源隔离、许可权管理、项目有效期管理等。

(2)安装部署高度自动化,并提供了全面、强大的辅助检测功能,有限的几步配置即可快速开始试用系统。

(3)集群健康全维监测,让系统故障检测及排查更简单、更直观。

(4)数据线健康检测,数据流是否通畅,或者在何处断流一目了然。

(5)提供灵活的脱敏插件化管理机制,让用户能灵活自定义脱敏策略。

(6)Web管理系统架构重大调整,部署维护更简单。微服务化提供了灵活的架构及模块管理。

(7)Web UI重大重构,全新设计,UI更美观,功能更丰富。

接下来请看详细内容。


一、多租户支持

DBus提供了灵活、强大的无侵入数据源接入。但在DBus_v0.4及以下版本,所有租户共享同一个Kafka集群,输出Topic之间未作有效隔离和项目归属管理。

DBus_v0.5提供了强大的多租户支持,主要分为两个部分:贴源数据采集和多租户数据分发。两个部分相互解耦,以Kafka为媒介进行衔接。

无多租户资源、数据隔离需求的用户,无需进行多租户相关配置,直接消费源端“数据采集”这一级输出到Kafka的数据。

不同租户对不同源端数据有不同访问许可权、脱敏需求,对于这种情形,管理员可通过创建项目、分配资源及许可权等,实现租户间资源、数据的隔离。租户有权创建Router分发Topology,自定义脱敏逻辑等,将源端贴源数据,根据配置好的许可权、用户有权获取的源端表、不同脱敏规则等,分发到自己有权访问的Topic,从而实现多租户资源隔离。这一级的引入,在DBus管理系统中,涉及到用户管理、Sink管理、资源分配、脱敏配置等。不同项目消费分配给它的Topic。


二、安装部署高度自动化

根据过去一段时间社区交流的经验,大家在安装部署上遇到不少问题,体验不够顺畅。与DBus团队沟通交流的时候,很多问题诊断起来也非常麻烦、困难。

DBus_v0.5对社区用户碰到的问题进行了梳理,并总结了团队内部部署安装中碰到的一些问题,在安装部署方面做了很多优化。

  • 明确、清晰的配置修改说明。

    将环境准备、通用基础组件安装和DBus自身的安装区分开。基础组件,例如ZK、Kafka、Storm等的安装,遵照相关组件的官网指南,进行安装即可。用户碰到问题时,也能明确知道是通用组件的问题,还是DBus相关的问题。基础组件的问题用户可以自己通过互联网搜索引擎等工具协助解决。另外,对于基础组件相关配置,DBus_v0.5明确提供了DBus特定的、需要用户修改的地方,用户不再迷失于大片的、没有重点标注的配置项中,不得要领。出故障时,对明确修改了的有限项进行排查、分析,更利于故障的定位和解决。

  • 集中配置、自动部署。

    DBus_v0.5整理了用户必须提供的配置,提供专门的conf文件,供用户集中填写这些配置。用户集中填写必填项后,DBus自动部署程序会自动将这些配置项分发应用到目标组件,大大简化了用户配置步骤。在一个地方集中维护各种配置,一方面有利于用户的安装部署操作,另一方面也利于故障的排查。
  • 全面强大的辅助检测功能。

    安装过程中,DBus安装程序自动检测前序步骤安装的基本组件是否正常,一旦有问题,终止安装,生成检测报告,并自动将相关日志归集到移除。哪个环节有问题,一目了然。如果需要DBus团队排查故障,用户可以轻松将检测报告及日志打包发送给DBus团队,大大提升沟通效率。
  • 有限几步,开始试用。

    安装部署高度自动化,并加入检测功能后,DBus的安装配置大大简化。用户只需通过下载、解压、修改配置、启动、初始化等有限的几步,即可成功安装部署DBus。

三、集群健康全维监测

DBus_v0.5提供了集群状态检测功能,让系统故障检测及排查更简单、更直观。用户点击集群检测,系统进入自检,各组件健康状况一目了然。对于用户对集群状态的了解、故障的排查、日常的运维等提供了强有力的协助。


四、数据线健康检测

社区用户常常问:我集群都跑起来了,数据线也接入了,但是Grafana监控界面没看到数据来,怎么办?面对这样的问题,DBus团队和用户一样,是一头雾水,需要逐级检查数据线的各个环节,看是哪个地方出了问题。步骤琐碎,且非常分散。

DBus_v0.5提供了数据线健康检测功能。点击“检查数据线”,系统自动逐级检测该表数据流状态,看是否正常。如果不正常,哪一级出了故障?

例如,testdb.test.user表,检测发现Dispatcher环节出问题了。看看是Dispatcher Topology没启动,还是正常启动了,但程序有bug?这个时候,故障范围大大缩小,排查解决就容易多了。


五、脱敏插件化管理

脱敏插件化机制让用户能灵活自定义脱敏策略。用户只需遵守有限的界面约定,开发脱敏逻辑jar包,提交给管理员,管理员上传到DBus即可。之后,管理员和租户均可对归属该租户项目的表应用jar包提供的脱敏逻辑。

每个脱敏插件包可提供多种脱敏类型。管理员可以针对不同的项目上传不同的脱敏插件包,租户在设置项目级自定义脱敏信息时,根据项目下拥有的脱敏插件包,选择脱敏方式。

DBus_v0.5自带一个内置脱敏插件,提供了基本的替换、md5加密、带盐的加密等。所有项目均可使用。

上传脱敏插件时可指定范围:


六、Web架构重大调整

DBus_v0.4及以下版本,Web管理系统采用Node.js+React实现,部署较为复杂,容易出故障。DBus_v0.5采用Spring Cloud微服务架构,一方面对系统相关服务进行了解耦、微服务化,架构和理念更先进;另一方面,部署安装依赖复杂度大大降低,实操的时候更简单、更容易。此外,系统还可享受到Spring Cloud提供的一些固有的微服务便利,例如服务监控、熔断机制、服务隔离等。系统可扩展性更好更灵活。


七、Web UI重大重构

DBus_v0.5的Web管理系统保留了大部分 DBus_v0.4的功能,但UI进行了全新的改版。设计方面由专业的UI设计师规划、设计,配色、字体、间距布局等方面对标目前最新的业界标准,功能的分布进行了重新的规划、布局,并且加入了许多新的功能;出错提示、国际化等方面也做了大量细致的工作,努力提升用户体验,尽力让用户用起来简单、好用、易上手。DBus_v0.5的Web管理界面功能更丰富,界面更美观。(如图所示)



2018-09-05 03:31:00

相关文章