行为性(自动)
通常指统计变化检测或数据可观察性
搬家亚愽视频提高客户经验Collibra数据质量用户指南已移到
亚愽视频Collibra文献中心
亚愽视频Collibra数据质量2022.11发布保证无缝过渡
亚愽视频dq-docs.collibra.com
DQ用户指南目前完全保留在文档中心
行为标签下发现结果(行为解析短片)。跟踪基础数据剖析度量变化自适应规则模式显示全表监控类型和标准
亚愽视频Collibra数据质量的主要目标是提供企业数据质量深入度,同时大幅减少需人工写法规则量亚愽视频当数据集归管时,Collibra剖析数据并构建每个数据集模型亚愽视频允许Collibra学习每个数据集上下文中何谓正常数据变换时 定义常态也会变亚愽视频Collibra不要求你调整规则设置,而是继续调整模型亚愽视频这种方法使Collibra能够提供自动化企业级数据质量覆盖,免去写出几十条规则或数以百计规则/数据集的需要
行为默认开关监控将校准并检测基于剖析活动DQ观察
通常数据质量检验定时每日运行给定数据集行为数据质量或变化检测建在剖析活动计算数据之上亚愽视频默认设置常工作精细,但Collibra允许你指定两个密钥参数:
|
参数
|
描述性
|
|---|---|
|
行为回溯
|
数DQ检验模型包含例例:回溯10表示模型基于数据集最后10DQ检验综合统计
|
|
学习阶段
|
行为评分应用前最小数DQ检验亚愽视频colibraDQ不试图对数据集应用行为评分,直到至少对它进行多次DQ检验
|
可选择放弃应用上下文中的任何因子实现模型评分亚愽视频举例说,可指令 Collibra数据质量不跟踪列中MIN和MAX值范围亚愽视频禁止Collibra使用行为模型检测数据集中任何列中的任何极端值
亚愽视频Collibra数据质量剖析列级数据集并开始为数据集建立模型初始时 无需人工干预 数据继续提供少数运行中模型变得足够强健,可开始检测人工规则原本覆盖的数据质量问题亚愽视频举例说,Collibra可检测到一列经历NULL值增值(通常是人工定义规则)。
亚愽视频Collibra数据质量模型由下列因素组成:
-
NULL值
-
空值
-
红十字
-
数据类型移位
-
行计数
-
加载时间
-
最小值
-
最大值
-
平均值
随时间推移,数据集内任一列的常态定义可变换数据可能会自然稀疏或减少量亚愽视频Collibra数据质量持续学习并调整模型全程数据集但是,如果数据发生剧烈(但合法)变化,这仍指数日不必要的警告,而模型正在调整中亚愽视频加速模型调整,CollibraDQ提供能力调整可接受范围以查找行为
亚愽视频举例说,CollibraDQ发现一列空值介于10%至20%之间今日列为80%空值亚愽视频Collibra提高数据质量问题并从今天DQ运行质量评分中按比例减分可审查发现并意识到该列为何空值更多有正当商业理由点几下,你就可以调整可接受范围查找亚愽视频Collibra整合用户定义输入模型并调整当前日质量评分亚愽视频colibra数据质量最终会到达正确范围而没有任何输入,但如果没有用户输入,它可能用几步运达
自动标注误差记录
上截图显示一些控件和可视化可调和行为模型亚愽视频Collibra检测到EXCH域基本值从1倍翻二倍至2倍亚愽视频可指示Collibra忽略这一发现并调整模型,手动说明本列可接受值范围亚愽视频帮助用户Collibra提供线程图和历史顶级可视化本列基本特征
亚愽视频如果要指令CollibraEXCH列中最多3有效值,请点击“手动”按钮并调整上界从1到3,然后单击保存按钮
亚愽视频Collibra调整行为模型基线,消除发现并调整质量评分亚愽视频从此Collibra知道EXCH列中唯一值的可接受范围介于1至3间
|
项目
|
描述性
|
|---|---|
|
盲点
|
列名中检测到可能的修改
|
|
类型
|
类型DQ检查执行给定列unique(Range)指超出给定范围的独特值数
|
|
基准线
|
基线值为前数扫描平均值,由探索者页面剖析段选择行为回溯值判定
|
|
今日
|
华府
|
|
百分比变化
|
百分数从一行换一行
|
|
%变化
|
三角洲百分数从一行换一行
|
|
子数组
|
标准偏差数离预期基准值
|
|
描述性
|
描述类型DQ检查执行给定列
|
|
分数
|
从总DQ评分中减值距离预期范围由基准值差分和边界确定ARS面板中还可见预期范围,细节面板中为每一行提供图解
|
|
动作
|
|
|
状态
|
状态dQ项,例如观察
|
|
配置文件
|
华府
|
|
细节
|
点击细节按钮时,线性图允许你钻入时间变化
|
亚愽视频Collibra数据质量构建进化行为模型时,它暴露它所学的所有“适应规则”。亚愽视频上例显示Collibra学习并自动应用规则亚愽视频Collibra理解到给定数据集何谓National并相应评分数据集产生大套规则随数据集随时间变化自动应用和修改
查看或修改自适应规则,浏览行为标签页面以获取理想数据集并点击屏幕右侧的“ViewAR”按钮产生全表自适应规则
自适应规则还提供调适范围能力 从行为模型推导可手动调整容留范围并评分自适应规则亚愽视频允许Collibra数据质量通过自身学习过程处理模型调优
亚愽视频适应模式Collibra数据质量自动生成基于线性异常的DQ项评分测距直接成比例 从绿距离到红线实例如下
得分范围介于0-30连接百分数变化和Z-Score例Z-Score介于 0.0-6.0
华府
亚愽视频问题:CollibraDQAPI包含所有行为检查
-
/v2/getdqchecksdetails
问题:行为模式图中如何定义ean
-
平均值表示行为回溯窗口的平均值,例如if today为11月,bhlb定为10,平均值为1至10日平均值,11日统计表示向该平均值变化
-
备注:平均值仅包括传递规则而非故障运行
上次修改
一模前