代理

图

dq代理图

上面的图提供了一个高度概括的代理工作亚愽视频Collibra DQ。作业执行是由DQ写入一个工作agent_q表内DQ Metastore (DQ-Postgres通过Web应用程序)或REST API端点。每个活跃的和可用的代理查询DQ-Postgres表每5秒执行DQ就业代理负责。例如,EMR代理DQ-Agent3只有执行DQ EMR上调度运行工作。

代理拿起一个DQ工作时,启动工作上本地代理节点本身或集群作为一个火花工作(如果代理设置作为边缘节点的集群)。根据工作启动,结果写回DQ Metastore DQ工作。结果显示在DQ Web应用程序,公开为REST API,可用直接针对DQ Metastore SQL查询。

建立一个DQ代理setup.shDQ包的一部分

使用setup.sh脚本位于/ opt /猫头鹰/(或其他基本路径您的安装使用)。看下面的代码块中的示例设置DQ代理与Postgres服务器运行本地主机在端口5432年与数据库postgres postgres用户名/密码组合postgres /密码。

复制 
#路径包含INSTALL DIR DIR
出口BASE_PATH = / opt

#路径代理安装DIR
出口INSTALL_PATH = / opt /猫头鹰

# DQ Postgres存储元数据设置
出口METASTORE_HOST = localhost
出口METASTORE_PORT = 5432
出口METASTORE_DB = postgres
出口METASTORE_USER = postgres
出口METASTORE_PASSWORD =密码

cd INSTALL_PATH美元

#安装DQ代理
/设置。sh \
-owlbase = $ BASE_PATH \
选择= owlagent \
-pguser = $ METASTORE_USER \
-pgpassword = $ METASTORE_PASSWORD \
-pgserver = $ {METASTORE_HOST}: $ {METASTORE_PORT} / $ {METASTORE_DB}

安装脚本自动生成/ opt /猫头鹰/ config / owl.properties提供文件和加密密码。

设置一个手动DQ代理

步骤

  1. 打开终端会话和安装程序的目录。
  2. 运行以下命令来加密您的DQ Metastore密码存储在之前/ opt /猫头鹰/ config / owl.properties文件:
    复制 
    #路径代理安装DIR
    出口INSTALL_PATH = / opt /猫头鹰

    cd INSTALL_PATH美元

    # Postgres DQ元数据存储加密密码
    / owlmanage。sh =加密密码

    请注意owlmanage.sh为纯文本密码生成一个加密的字符串输入。您可以使用加密的字符串/ opt /猫头鹰/ config / owl.properties配置文件,以避免暴露Postgres的DQ元数据存储的密码。

  3. 运行以下命令来打开/ opt /猫头鹰/ config / owl.properties配置文件:
    复制 
    vi INSTALL_PATH / config / owl.properties美元
  4. 向配置文件中添加以下属性:
    复制 
    spring.datasource.url = jdbc: postgresql: / / {DB_HOST}: {DB_PORT} / {METASTORE_DB}
    spring.datasource.username = {METASTORE_USER}
    spring.datasource.password = {METASTORE_PASSWORD}
    spring.datasource.driver-class-name = com.owl.org.postgresql.Driver

    spring.agent.datasource.url = jdbc: postgresql: / / {DB_HOST}: {DB_PORT} / {METASTORE_DB}
    spring.agent.datasource.username = {METASTORE_USER}
    spring.agent.datasource.password = {METASTORE_PASSWORD}
    spring.agent.datasource.driver-class-name = org.postgresql.Driver
  5. 重新启动DQ Web应用程序。

从管理控制台设置DQ代理

步骤

  1. 在亚愽视频Collibra DQ主页,鼠标移设置并选择管理控制台。
    打开管理控制台。
  2. 单击远程代理。
    的代理管理页面打开。
  3. 代理表的最后一列的右边,点击铅笔图标编辑你的代理。
    的编辑代理模态出现。
  4. 输入所需的信息。
    • 独立的
    • 纱
    • 美丽

    场 描述
    代理人身份证

    你的代理的数字标识符。例如,6。

    这个字段自动生成,不能编辑。
    代理名称

    你的代理的惟一名称。

    这个字段自动生成,不能编辑。
    代理显示名称

    你代理的描述性名称显示代理信息存在于任何地方DQ Web应用程序,您可以自定义代理显示名称,让它更容易确定您的代理。

    提示没有字符限制代理显示名称字段,但这是最佳实践只使用字母数字字符,连字符,下划线。
    是本地的 选择这个选项仅供Hadoop部署。
    使用李维 不适用。
    李维主机 不适用。
    基本路径

    DQ的安装文件夹的路径。所有其他路径的DQ代理安装路径是相对的。

    这是设置的位置OWL_BASE完全独立的设置和其他安装设置紧随其后猫头鹰/文件夹中。例如,如果设置命令出口OWL_BASE = / home / centos然后基本路径应该设置为代理配置/home/centos/owl/。

    默认值:/ opt /猫头鹰/。
    亚愽视频Collibra DQ核心JAR

    DQ核心jar文件的文件路径。

    默认的<基本路径> / owl / bin /
    亚愽视频Collibra DQ核心的日志

    DQ核心日志存储的文件夹路径。从DQ工作日志存储在这个文件夹。

    默认值:<基本路径> /猫头鹰/日志
    亚愽视频Collibra DQ脚本

    DQ执行脚本的文件路径owlcheck.sh。这个脚本是用来通过命令行运行DQ工作不使用代理。使用owlcheck.sh为运行DQ乔布斯取代DQ代理执行模型。

    默认值:<基本路径> / owl / bin / owlcheck
    亚愽视频Collibra DQ网络日志

    DQ Web日志存储的文件夹路径。DQ Web应用程序的日志存储在这个文件夹。

    默认值:<基本路径> /猫头鹰/日志
    缺省队列 仅用于纱线。
    部署部署模式

    可以是火花的部署模式客户端或集群。同时我们建议集群,有最佳实践:

    • 如果你只有一个火花工作者节点,它是选择最佳实践客户端。
    • 如果你有多个引发工人节点,它是选择最佳实践集群。
    默认的主

    火花主URL从火花集群复制验证屏幕。例如,火花:/ /……
    动态火花分配 不适用。
    火花配置关键 不适用。
    火花配置值 不适用。
    数量的执行人(s) 默认的分配执行人/ DQ工作使用这个代理运行时DQ扫描。缺省值是1。
    遗嘱执行人的记忆

    默认的RAM /分配执行人/ DQ工作使用这个代理运行时DQ扫描。去硬件规模为更多的信息。

    默认是1 gb。
    数量的核心(s)

    默认的内核数/分配执行人/ DQ工作使用这个代理运行时DQ扫描。去硬件规模为更多的信息。

    缺省值是1。
    驱动程序内存

    默认驱动程序内存分配/ DQ工作使用这个代理运行时DQ扫描。去硬件规模为更多的信息。

    默认是1 gb。
    自由形式(附加) 其他spark-submit参数附加到每个DQ工作当使用这个代理运行DQ扫描。

    场 描述
    代理人身份证

    你的代理的数字标识符。例如,6。

    这个字段自动生成,不能编辑。
    代理名称

    你的代理的惟一名称。

    这个字段自动生成,不能编辑。
    代理显示名称

    你代理的描述性名称显示代理信息存在于任何地方DQ Web应用程序,您可以自定义代理显示名称,让它更容易确定您的代理。

    提示没有字符限制代理显示名称字段,但这是最佳实践只使用字母数字字符,连字符,下划线。
    是本地的 您可以选择此选项形成司机位置路径,这通常只适用于当你运行你的代理在主或边缘节点。
    使用李维 不适用。
    李维主机 不适用。
    基本路径

    DQ的安装文件夹的路径。所有其他路径的DQ代理安装路径是相对的。

    这是设置的位置OWL_BASE完全独立的设置和其他安装设置紧随其后猫头鹰/文件夹中。例如,如果设置命令出口OWL_BASE = / home / centos然后基本路径应该设置为代理配置/home/centos/owl/。

    默认值:/ opt /猫头鹰/
    亚愽视频Collibra DQ核心JAR

    DQ核心jar文件的文件路径。

    默认值:<基本路径> / owl / bin /
    亚愽视频Collibra DQ核心的日志

    DQ核心日志存储的文件夹路径。从DQ工作日志存储在这个文件夹。

    默认值:<基本路径> /猫头鹰/日志
    亚愽视频Collibra DQ脚本

    DQ执行脚本的文件路径owlcheck.sh。这个脚本是用来通过命令行运行DQ工作不使用代理。使用owlcheck.sh为运行DQ乔布斯取代DQ代理执行模型。

    默认值:<基本路径> / owl / bin / owlcheck
    亚愽视频Collibra DQ网络日志

    DQ Web日志存储的文件夹路径。DQ Web应用程序的日志存储在这个文件夹。

    默认值:<基本路径> /猫头鹰/日志。
    缺省队列 默认的资源队列提交工作。
    默认的部署模式 纱的火花部署模式集群。
    默认的主

    设置为纱。

    点击编辑线配置确保你有必要的Hadoop的xml文件。根据需要编辑该文件模板:

    XML文件 描述
    core-site.xml

    包含有关认证协议,HDFS_RPC_PROTECTION, NAME_NODE运行Hadoop集群。

    复制 
    <配置>
    <属性>
    <名称> hadoop.security.authentication < /名称>
    kerberos <价值> < /值>
    < /属性>
    <属性>
    <名称> hadoop.rpc.protection < /名称>
    HDFS_RPC_PROTECTION美元<价值> < /值>
    < /属性>
    <属性>
    <名称> fs.defaultFS < /名称>
    <价值> hdfs: / / NAME_NODE: 8020美元< /值>
    < /属性>
    < /配置>
    hdfs-site.xml

    包含认证协议的配置设置,NAME_NODE, DATA_NODE。

    复制 
    <配置>
    <属性>
    <名称> hadoop.security.authentication < /名称>
    <价值> HDFS /美元_HOST@ KERBEROS_DOMAIN < /值>
    < /属性>
    < /配置>
    yarn-site.xml

    包含纱线资源管理器设置。

    复制 
    <配置>
    <属性>
    <名称> yarn.resourcemanager.scheduler.address < /名称>
    <价值> RESOURCE_MANAGER美元:8030 < /值>
    < /属性>
    <属性>
    <名称> yarn.resourcemanager.address < /名称>
    <价值> RESOURCE_MANAGER美元:8032 < /值>
    < /属性>
    <属性>
    <名称> yarn.resourcemanager.webapp.https.address < /名称>
    <价值> RESOURCE_MANAGER美元:8090 < /值>
    < /属性>
    < /配置>
    动态火花分配 不适用。
    火花配置关键 不适用。
    火花配置值 不适用。
    数量的执行人(s)

    默认的分配执行人/ DQ工作使用这个代理运行时DQ扫描。

    缺省值是1。
    遗嘱执行人的记忆

    默认的RAM /分配执行人/ DQ工作使用这个代理运行时DQ扫描。去硬件规模为更多的信息。

    默认是1 gb。
    数量的核心(s)

    默认的内核数/分配执行人/ DQ工作使用这个代理运行时DQ扫描。去硬件规模为更多的信息。

    缺省值是1。
    驱动程序内存

    默认驱动程序内存分配/ DQ工作使用这个代理运行时DQ扫描。去硬件规模为更多的信息。

    默认是1 gb。
    自由形式(附加) 其他spark-submit参数附加到每个DQ工作当使用这个代理运行DQ扫描。

    请注意确保你的服务帐户允许发射引发执行人吊舱。指执行程序启动模板和权限。

    场 描述
    代理人身份证

    你的代理的数字标识符。例如,6。

    这个字段自动生成,不能编辑。
    代理名称

    你的代理的惟一名称。

    这个字段自动生成,不能编辑。
    代理显示名称

    你代理的描述性名称显示代理信息存在于任何地方DQ Web应用程序,您可以自定义代理显示名称,让它更容易确定您的代理。

    提示没有字符限制代理显示名称字段,但这是最佳实践只使用字母数字字符,连字符,下划线。
    是本地的 选择这个选项仅供Hadoop部署。
    使用李维 不适用。
    李维主机 不适用。
    基本路径

    DQ的安装文件夹的路径。所有其他路径的DQ代理安装路径是相对的。

    这是设置的位置OWL_BASE完全独立的设置和其他安装设置紧随其后猫头鹰/文件夹中。例如,如果设置命令出口OWL_BASE = / home / centos然后基本路径应该设置为代理配置/home/centos/owl/。

    默认值:/ opt /猫头鹰/
    亚愽视频Collibra DQ核心JAR

    DQ核心jar文件的文件路径。

    默认值:<基本路径> / owl / bin /
    亚愽视频Collibra DQ核心的日志

    DQ核心日志存储的文件夹路径。从DQ工作日志存储在这个文件夹。

    默认值:<基本路径> /猫头鹰/日志
    亚愽视频Collibra DQ脚本

    DQ执行脚本的文件路径owlcheck.sh。这个脚本是用来通过命令行运行DQ工作不使用代理。使用owlcheck.sh为运行DQ乔布斯取代DQ代理执行模型。默认值:<基本路径> / owl / bin / owlcheck。
    亚愽视频Collibra DQ网络日志

    DQ Web日志存储的文件夹路径。DQ Web应用程序的日志存储在这个文件夹。

    默认值:<基本路径> /猫头鹰/日志
    缺省队列 仅用于纱线。
    默认的部署模式 火花Kubernetes部署模式集群。
    默认的主

    Kubernetes主URL从Kubernetes集群复制验证屏幕。

    将这个值设置为美丽:/ /而不是一个特定的URL。当你离开这个值设置为美丽:/ /,这有助于亚愽视频Collibra DQ自动发现的高可用性端点Kubernetes控制飞机在运行时。

    警告只设置一个特定的URL,比如美丽:/ /{主机名}:443,如果你是一个高级用户或如果您的具体的用例需要它。
    动态火花分配 不适用。
    火花配置关键 不适用。
    火花配置值 不适用。
    数量的执行人(s) 默认的分配执行人/ DQ工作使用这个代理运行时DQ扫描。缺省值是1。
    遗嘱执行人的记忆

    默认的RAM /分配执行人/ DQ工作使用这个代理运行时DQ扫描。去硬件规模为更多的信息。

    默认是1 gb。
    数量的核心(s)

    默认的内核数/分配执行人/ DQ工作使用这个代理运行时DQ扫描。去硬件规模为更多的信息。

    缺省值是1。
    驱动程序内存

    默认驱动程序内存分配/ DQ工作使用这个代理运行时DQ扫描。去硬件规模为更多的信息。

    默认是1 gb。
    自由形式(附加) 其他spark-submit参数附加到每个DQ工作当使用这个代理运行DQ扫描。

    请注意如果你带来自己的火花执行人pod发布模板,确保服务帐户用于发射火花执行人豆荚的许可。指的是遗嘱执行人发布模板和更多的信息。

  5. 点击保存。

连接数据源的DQ代理管理控制台

当你添加新的数据源,DQ代理需要允许运行DQ与他们的工作。

步骤

  1. 在亚愽视频Collibra DQ主页,鼠标移设置并选择管理控制台。
    打开管理控制台。
  2. 单击远程代理。
    的代理管理页面打开。
  3. 代理表的最后一列的右边,点击链链接图标链接你的代理数据源连接。
    的代理连接管理向导。

    请注意左侧面板包含一个可用连接列表中,尚未与DQ代理和还没有权限运行DQ工作。右边的面板包含一个连接列表与DQ代理和允许运行DQ工作。

  4. 在左边面板中点击一个连接链接连接一次或单击双箭头图标链接所有可用的连接在同一时间。
  5. 点击更新。

提示你可以拆开连接与上述相同的方法,但是点击右边面板中列出的连接,而不是离开。成功的链接出现在左面板的连接。

添加一个连接到DQ代理