架构图

我们感动!为了改善客户体验,Collibra数据质量用户指南已转移到亚愽视频 亚愽视频Collibra文档中心 作为Collibra数据质量2亚愽视频022.11版本的一部分。为了确保平稳过渡, dq-docs.亚愽视频collibra.com 仍然可以访问,但DQ用户指南现在只在文档中心进行维护。

亚愽视频Collibra DQ建筑

高级图

Kubernetes图

猫头鹰独立

猫头鹰独自站着
上图描述了owl-web、owl-core、postgres和orient,它们都部署在同一台服务器上。它可以是Hadoop集群的边缘节点,也可以是能够向Hadoop集群运行spark-submit作业的服务器。这个服务器还可以有JDBC访问其他有兴趣被Owl高质量扫描的DB引擎。从左到右查看这个描述,客户端使用浏览器连接到运行在端口9000(默认端口)上的Owl的Web应用程序。Owl Web应用程序与两个亚矿(Postgres和Orient)通信。Web应用程序可以在本地运行owlcheck作业,也可以从CLI本地启动owlcheck脚本。owlcheck将使用Owl内置的Spark Local DQ引擎启动作业。根据提供给owlcheck命令的选项,DQ作业可以使用JDBC连接扫描文件或数据库。

猫头鹰的分布式

猫头鹰Semi-Distributed
上图描述了部署在不同服务器上的owl-web和owl-core。Owl-web不会被部署在边缘节点上。Owl-core将安装在边缘节点上,并将Owlcheck结果写回Owl-web指向的metastore(注意在此场景中metastore和web-app运行在同一台主机上)。另一个变化是owlcheck作业将在Hadoop集群之上分发工作,以便利用spark和Hadoop引擎本身附带的并行处理。

猫头鹰完全分布

上图描述了部署在不同服务器上的所有组件。将OrientDB设置为集群,在单机出现问题时提供容错功能(注意:从Owl的1.1.0版本开始,Orient是可选服务-或者Owl- web和Owlcheck不依赖Orient可用)。在集群中设置Postgres,以防其中一台服务器出现故障。多个owl-web部署在负载均衡器后面,但与相同的元数据通信。Owl-core将安装在边缘节点上,并将Owlcheck结果写入Owl-web指向的亚metastore。在这个描述中,owlcheck驱动程序在边缘节点上运行,而大部分工作被推送到集群(deploymode =客户端标记被发送),因此所有通信都从边缘节点连接到亚metastore。
在这个描述中,owlcheck驱动程序和作业被推送到集群(deploymode = cluster标志被发送),因此所有通信都从集群上的任何节点连接回metastore。