代理
DQ代理配置指南
搬家亚愽视频提高客户经验Collibra数据质量用户指南已移到
亚愽视频Collibra文献中心
亚愽视频Collibra数据质量2022.11发布保证无缝过渡
亚愽视频dq-docs.collibra.com
DQ用户指南目前完全保留在文档中心
使用
设置.sh脚本定位/opt/owl/或其它
基础路径
即您的安装使用)示例代码块安装带Postgres服务器运行本地主机端口5432带数据库后写gresPostgres用户名/密码组合后写gres/密码
dir平台嵌入
导出 BASE_PATH=/opt
华府
通向直达
inSTALLPATH=/opt/owl导出
华府
#DQ元数据插件存储设置
export METASTORE_HOST=localhost
导出METASTORE_PORT=5432
导出METASTORE_DB=posgres
导出Metastore_USER
export METASTORE_PASSWORD=password
华府
国元邮局
华府
#安装DQ代理
/setup.sh
owlbase=$BASEPATH
选项=owlagent
Pguser=$metaste
-pgpassword=$METASTORE_PASSWORD \
-pgserver=${METASTORE_HOST}:${METASTORE_PORT}/${METASTORE_DB}
搭建脚本自动生成
/opt/owl/config/owl.properties文件加密提供密码
-
DQ元数据插件存储器密码应加密后再存储
/opt/owl/config/owl.properties文件.
通向直达
inSTALLPATH=/opt/owl导出
华府
国元邮局
华府
#加密DQ元数据插件存储密码
./owlmanage.sh encrypt=password
猫头鹰管理.sh生成加密字符串用于纯文本密码输入加密字符串可用/opt/owl/config/owl.properties配置文件避免曝光DQ元数据Postgres存储密码
-
Owl代理配置编辑
/opt/owl/config/owl.properties配置文件基本代理值
vi $INSTALL_PATH/config/owl.properties
-
并添加下列属性
spring.datasource.url=jdbc:postgresql://{DB_HOST}:{DB_PORT}/{METASTORE_DB}
spring.datasource.username={METASTORE_USER}
spring.datasource.password={METASTORE_PASSWORD}
spring.datasource.driver-class-name=com.owl.org.postgresql.Driver
spring.agent.datasource.url=jdbc:postgresql://{DB_HOST}:{DB_PORT}/{METASTORE_DB}
spring.agent.datasource.username={METASTORE_USER}
spring.agent.datasource.password={METASTORE_PASSWORD}
spring.agent.datasource.driver-class-name=org.postgresql.Driver
-
重开 web应用
-
登录DQ网页并导航管理员控制台
图1:主页
-
从行政控制台点击远程代理牌
Fig2管理控制台
-
标识行代理编辑
图3:代理管理表
-
点击笔图标编辑
Fig4:DQ代理默认值
从Fig3选择链路图标旁DQ代理建立链接dB连接模式加法允许代理运行DQ作业dB连接名显示左侧面板为表DB连接名,该名名未与DQ代理连接右侧面板列表db连接名并允许运行dQ作业
双击DQ连接名从左向右移动Fig 5中DB连接命名Metastore点击更新按钮保存新链表dB连接
Fig5:向DQ代理添加名为Metastore的DB连接
Fig 6: 如何向所选DQ代理添加所有连接
|
参数
|
描述性
|
|---|---|
|
本地化
|
只为 Hadoop
|
|
Livy市
|
预设性未使用
|
|
基础路径
|
DQ安装文件夹路径DQ代理中所有其他路径都与此安装路径相关
位置设置
OWLBSE完全自主搭建猫头鹰/文件夹中举例说,如果设置命令OWL_BASE=/home/centos并发基础路径代理配置中应设置/home/centos/owl/.
默认值 :
/opt/owl/
|
|
Owl核心JAR
|
文件路径DQ核心罐文件默认
|
|
Owl核心日志
|
文件夹路径存储DQ核心日志DQ作业日志存储到此文件夹中默认值 :
|
|
OwlWe日志
|
文件夹路径存储dQWe日志DQWebApp日志存储于此文件夹中默认值 :
|
|
猫头鹰脚本
|
文件路径DQ执行脚本
猫头鹰检查.sh.本脚本用于通过命令行运行DQ作业而不使用代理使用猫头鹰检查.sh运行dQ作业由dQ代理执行模型取代默认值 : |
|
部署部署模式
|
Spark部署模式
客户端或集群化
|
|
默认大师
|
Spark主URL复制自spark集群验证屏
sparkfl)
|
|
默认队列
|
YARN默认资源队列
|
|
动态spark分配
|
预设性未使用
|
|
spark配置密钥
|
预设性未使用
|
|
spark组合值
|
预设性未使用
|
|
执行程序数目
|
使用代理运行DQ扫描时默认数按DQ作业分配
|
|
执行器内存
|
默认内存/每个执行者分配按DQ作业时使用代理运行DQ扫描
|
|
核心数
|
使用代理运行DQ扫描时每个执行者分配的默认核心数
|
|
驱动存储器
|
默认驱动量分配/ DQ作业时使用代理运行DQ扫描
|
|
免费表单
|
其余
spark上交参数附加到每个DQ作业时使用代理运行DQ扫描
|
Fig2:D编辑dQ代理模式
有多重DQ代理程序后,可建立HA集团这样做时,确保两位DQ代理拥有与它们相同的连接
-
点击AgentGroups(H/A)标签命名HA集团并添加代理器注:HAGOS会执行工作圆轮
无法加载图像
-
代理程序注册后,与DB连接时,用户现在可以通过Explorer页面执行作业
无法加载图像
图7:通过DQWebExplorer执行a
无法加载图像
Fig 1:高层次描述DQ代理器使用CDH、HDP和EMR单元DQWea
Fig1高层次描述代理程序在DQ内部工作作业执行由写到
代理器_qDQ元数据插件存储Owl-Postress数据库Fig 1通过WebUI或RESTAPI端点每位代理并运行查询Owl-Postgres表5秒执行代理负责的DQ作业eMR代理Owl代理3Fig 1只执行EMR定时的DQ作业
代理取DQ作业执行时,代理或局部代理节点启动或集群启动spark作业(如果代理设为集群边缘节点)。视工作启动地点而定,DQ作业结果写回DQ元数据存储
Owl-Postgres数据库)测试结果放入dqwebUI上,作为RESTAPI发布,并可供直接SQL查询Owl-Postgres数据库中
上次修改
一模前