休息时间
搬家亚愽视频提高客户经验Collibra数据质量用户指南已移到
亚愽视频Collibra文献中心
亚愽视频Collibra数据质量2022.11发布保证无缝过渡
亚愽视频dq-docs.collibra.com
DQ用户指南目前完全保留在文档中心
RESTAPI应用内行政部分提供API可用实战工作模式比API文档优先使用,因为它指API工作并用编译时间测试文档时间
产品API面向终端用户与官方支持API交互下方四步从API生成客户端SDK
suedo代码例RESTAPI
华府
数据集=公共.nyse
运行标识=2021-03-05
华府
save数据集def
数据集=POST/V3/DatasetDefs/{{son_datasetdef}
华府
UPDATE数据集Def
数据集=PUT/V3/DatasetDefs/{{son_datasetdef}
华府
RUN作业
作业标识=PST/V3作业/运行/{{数据集},{{运行日期}
华府
#CHECK状态
状态=/V3作业{{作业标识}/状态
华府
getDQ发现
发现=/V3作业/{{作业标识}/调查
导入请求
导入json
url = http://localhost9900/auth/signin
有效载荷=json.dups
用户名:
..
密码:
..
ss公有
}
页眉={
'Content-Type': 'application/json'
}
响应=请求.请求(POST,url,headers=headers,data=payload)
print(response.text)
curl-place-requestPost网站9900/auth/signin
头目Centent-Type应用/json
--datarai
用户名:
..
密码:
..
ss公有
}'
或可直接使用余端点示例显示如何用 Python实现
-
一号 .创建数据集def
-
一号 .UI使用
-
2 .数据集-def-api使用
/swagger-ui.html#/dataset-def-api)
-
-
2 .确认ython环境有合适的模块并导入
-
3 .填充变量并定制偏爱
-
一号 .url用户传递
-
2 .数据集、运行日期和代理Name
-
导入请求
导入公元前
华府
#验证
猫头鹰=网站s/
...
URL=网站s/
/ath/sign
有效载荷=公元前.垃圾场{{
用户名:...
...
,#编辑到此
密码:...
...
,#编辑到此
ss:公有性#编辑到此
}
页眉={{
ent-Type:'application/json'
}
响应=请求.请求高山市Post,URL,页眉=页眉,数据显示=有效载荷,验证=虚伪)
猫头鹰头目={{认证:生者+响应.公元前()[令牌}
华府
华府
运行
数据集='
'
#编辑到此
运行日期=2021-08#编辑到此
代理程序Name='
#编辑到此
华府
响应=请求.邮局高山市
URL=猫头鹰+'/v3/jobs/run?agentName='+代理程序Name+dataset=+数据集+runDate=+运行日期,
页眉=猫头鹰头目,
验证=虚伪
)
华府
作业标识=字符串高山市响应.公元前()[工作Id)
华府
华府
#状态
For状态分析内范围划分高山市百元:
时间轴.入睡高山市一号)
华府
响应=请求.获取高山市
URL=猫头鹰+/v3/jobs/+作业标识,
页眉=猫头鹰头目,
验证=虚伪
)
作业=响应.公元前(b)
if作业[状态万事通汉城完成:
中断
华府
华府
#结果
响应=请求.获取高山市
URL=猫头鹰+/v3/jobs/+作业标识+/查找,
页眉=猫头鹰头目,
验证=虚伪
)
华府
打印高山市响应.公元前)
假设你用UI或模板创建数据集定义
可使用cmd线运行相似作业提交请注意最易从数据集-def-api获取保存命令行/v3/datasetDefs/{dataset}/cmdline并传递到/v3/jobs/runCmdLine.
发送数据集名、日期和代理提交作业启动引擎去工作
运行
数据集=API_V3
运行日期=2021-08
代理程序Name='owldq-owl-agent-owldq-dev-0'
华府
响应=请求.邮局高山市
URL=猫头鹰+'/v3/jobs/run?agentName='+代理程序Name+dataset=+数据集+runDate=+运行日期,
页眉=猫头鹰头目
)
华府
作业标识=字符串高山市响应.公元前()[工作Id)
使用作业Id从提交作业返回后,您可以检查状态上例中,有区间等待作业完成你可以创建自己的逻辑并更精确地编程
响应=请求.获取高山市
URL=猫头鹰+/v3/jobs/+作业标识,
页眉=猫头鹰头目
)
使用同作业Id从提交作业返回时,你可以检查结果详细json对象 并装满所有功能和检测器并基于您的组织过程
响应=请求.获取高山市
URL=猫头鹰+/v3/jobs/+作业标识,
页眉=猫头鹰头目
)
导入请求
导入公元前
华府
#变量
猫头鹰=https/
'
#Edit
用户名='
'
#Edit
密码='
'
#Edit
房客=公有性#Edit
数据集='
'
#Edit
运行日期=2021-08#Edit
代理程序Name='your_agent_name'#Edit
华府
#验证
URL=猫头鹰+/ath/sign
有效载荷=公元前.垃圾场{{用户名:用户名,密码:密码,ss:房客}
页眉={{ent-Type:'application/json'}
响应=请求.请求高山市Post,URL,页眉=页眉,数据显示=有效载荷,验证=虚伪)
猫头鹰头目={{认证:生者+响应.公元前()[令牌}
华府
运行
响应=请求.邮局高山市URL=猫头鹰+'/v3/jobs/run?agentName='+代理程序Name+dataset=+数据集+runDate=+运行日期,页眉=猫头鹰头目,验证=虚伪)
作业标识=字符串高山市响应.公元前()[工作Id)
华府
#状态
For状态分析内范围划分高山市百元:
时间轴.入睡高山市一号)
华府
响应=请求.获取高山市URL=猫头鹰+/v3/jobs/+作业标识,页眉=猫头鹰头目,验证=虚伪)
状态=响应.公元前()[状态万事通
if状态汉城完成:
中断
华府
#结果
响应=请求.获取高山市URL=猫头鹰+/v3/jobs/+作业标识+/查找,页眉=猫头鹰头目,验证=虚伪)
亚愽视频CollibraDQ还披露内部API,以便所有潜在运算都可用警告是这些通话可能随时间变化或暴露底层功能
.png?alt=media)
.png?alt=media)
JSON全数据集定义寄进cmdline字符串的可能性更多DQ作业
-dfyyy/MM/dowluser<用户名>num执行者一号一g执行器\
-fs3a/s3-dataset/dataset.csv-h<主机>:5432/dev?currentSchema=公共\
-fq从数据集选择*iverimory1g-masterk8s/-ds数据集_csv_\
模块集群-bhlb10北端2021-0401全文件级INFO-cxns3est5\
sparkprinc[email protected]sparkkeytab/tmp/user2.keytab
{{
数据集:...,
运行标识:...,
运行IdEnd:...,
运行状态:DRAFT,
路由故障:一号,
PassFailli:75,
JOBID:0,
"coreMaxActiveConnections":空号,
链路:空号,
连通键:...,
算法:...,
算法级:...,
独机:虚伪,
prettyPrint:真实性,
使用模板:虚伪,
并行线:虚伪,
平面图:虚伪,
"dataPreviewOff":虚伪,
"datasetSafeOff":虚伪,
偏差:300,
PGUSER:...,
pgassword语言:...,
宿主:空号,
港口:空号,
用户名:匿名使用-owluser,
备战邮件:空号,
定时:空号,
schemaScore:一号,
选项附录:...,
密钥定义器:"~~",
代理Id:空号,
上载:{{
唯读:虚伪,
"passwordManager":空号,
异想天开:...,
query语言:...,
密钥:...,
表达式:...,
添加日期Column:虚伪,
零fillNULLL:虚伪,
重置NULLS:...,
串行模式:虚伪,
操作者:空号,
日期Column:空号,
变换式:空号,
过滤器:...,
过滤者非:...,
标本:一号,
回运行:0,
返回RunBin:日报,
UnionLookack:虚伪,
Cache小说:真实性,
日期格式:yyy-MM-D,
时间格式:HH:mmssssss,
定时印:虚伪,
filePath:...,
文件查询:...,
全易:虚伪,
文件头:空号,
进化Schema:真实性,
fileType:空号,
定义符:..,
fileCharset:UTF-8,
斯基普林斯:0,
维罗Schema:...,
smlRowTag:...,
分片机:虚伪,
handleMaps:虚伪,
"handleMixedJson":虚伪,
多线程:虚伪,
里比特:...,
驱动名:空号,
"connectionName":...,
连通ell:...,
用户名:...,
密码:...,
"connectionProperties":...
hiveNative:空号,
hiveNativeHWC:虚伪,
Sql使用:真实性,
列名:空号,
低波:空号,
上接:空号,
符号分割:0,
"escapeWithBackTick":虚伪,
"escapeWithSingleQuote":虚伪,
"escapeWithDoubleQuote":虚伪,
"escapeCharacter":...,
头人:真实性
},
外线:[
{{
识别码:空号,
开:虚伪,
唯一:虚伪,
回看:5,
密钥:空号,
内含:空号,
排除性:空号,
日期Column:空号,
timeColumn:空号,
定时宾:日报,
定时BinQuery:...,
分类法:真实性,
by:空号,
限值:300,
历史学:3,
历史缩写:5,
数组:一号,
aggFunc:...,
aggQuery:...,
query语言:...,
q1:0.15,
q3:0.85,
"categoricalColumnConcatenation":虚伪,
"limitCategorical":空号,
"measurementUnit":...,
"multiplierUpper":1.35,
"multiplierLower":1.35,
记录:真实性,
过滤器:空号,
combine语:真实性,
"categoricalConfidenceType":...,
"categoricalTopN":3,
"categoricalBottomN":2,
"categoricalMaxConfidence":0.02,
"categoricalMaxFrequencyPercentile":0.25,
"categoricalMinFrequency":一号,
"categoricalMinVariance":0,
"categoricalMaxCategoryN":一号,
"categoricalParallel":真实性,
"categoricalAlgorithm":...,
"categoricalAlgorithmParameters":{}
}
万事通
外端:{{
识别码:空号,
开:虚伪,
唯一:虚伪,
回看:5,
密钥:空号,
内含:空号,
排除性:空号,
日期Column:空号,
timeColumn:空号,
定时宾:日报,
定时BinQuery:...,
分类法:真实性,
by:空号,
限值:300,
历史学:3,
历史缩写:5,
数组:一号,
aggFunc:...,
aggQuery:...,
query语言:...,
q1:0.15,
q3:0.85,
"categoricalColumnConcatenation":虚伪,
"limitCategorical":空号,
"measurementUnit":...,
"multiplierUpper":1.35,
"multiplierLower":1.35,
记录:真实性,
过滤器:空号,
combine语:真实性,
"categoricalConfidenceType":...,
"categoricalTopN":3,
"categoricalBottomN":2,
"categoricalMaxConfidence":0.02,
"categoricalMaxFrequencyPercentile":0.25,
"categoricalMinFrequency":一号,
"categoricalMinVariance":0,
"categoricalMaxCategoryN":一号,
"categoricalParallel":真实性,
"categoricalAlgorithm":...,
"categoricalAlgorithmParameters":{}
},
模式化:{{
识别码:空号,
唯一:虚伪,
回看:5,
密钥:空号,
日期Column:空号,
内含:空号,
排除性:空号,
数组:一号,
微信支持:0.00033,
置信度:0.6,
限值:30码,
query语言:...,
过滤器:空号,
定时宾:日报,
开:虚伪,
相匹配:真实性,
lowFreq:虚伪,
BucketLimit:450000,
dedupe语言:真实性
},
模式化:[
{{
识别码:空号,
唯一:虚伪,
回看:5,
密钥:空号,
日期Column:空号,
内含:空号,
排除性:空号,
数组:一号,
微信支持:0.00033,
置信度:0.6,
限值:30码,
query语言:...,
过滤器:空号,
定时宾:日报,
开:虚伪,
相匹配:真实性,
lowFreq:虚伪,
BucketLimit:450000,
dedupe语言:真实性
}
万事通
织物:{{
开:虚伪,
唯一:虚伪,
内含:空号,
排除性:空号,
深度:0,
低波:99,
上接:百元,
近似:一号,
限值PerDupe:15,
校验头:真实性,
过滤器:空号,
无效Case:真实性,
数组:一号,
限值:300
},
剖面图:{{
开:真实性,
唯一:虚伪,
内含:空号,
排除性:空号,
形状:真实性,
关系:空号,
直方图:空号,
语义化:空号,
限值:300,
"histogramLimit":0,
数组:一号,
"shapeTotalScore":0,
"shapeSensitivity":0,
"shapeMaxPerCol":0,
"shapeMaxColSize":0,
形状Granal:空号,
"behavioralDimension":...,
"behavioralDimensionGroup":...,
"behavioralValueColumn":...,
"behaviorScoreOff":虚伪,
"behaviorLookback":10,
"behaviorMinSupport":4,
"profilePushDown":空号,
"behaviorRowCheck":真实性,
"behaviorTimeCheck":真实性,
"behaviorMinValueCheck":真实性,
"behaviorMaxValueCheck":真实性,
"behaviorNullCheck":真实性,
"behaviorEmptyCheck":真实性,
"behaviorUniqueCheck":真实性,
适配台:空号
},
源码:{{
开:虚伪,
唯一:虚伪,
"validateValues":虚伪,
配方块:虚伪,
"sourcePushDownCount":虚伪,
内含:空号,
排除性:空号,
includeSrc:空号,
Excludessrc:空号,
密钥:空号,
地图:空号,
数组:一号,
限值:30码,
数据集:...,
驱动名:...,
用户名:...,
密码:...,
"passwordManager":...,
"connectionName":...,
连通ell:...,
query语言:...,
里比特:...,
检验类型:真实性,
查卡:虚伪,
"validateValuesFilter":...,
"validateSchemaOrder":虚伪,
"connectionProperties":...
filePath:...,
文件查询:...,
全易:虚伪,
头人:空号,
斯基普林斯:0,
进化Schema:真实性,
fileType:空号,
定义符:..,
fileCharset:UTF-8,
维罗Schema:...,
smlRowTag:...,
分片机:虚伪,
handleMaps:虚伪,
"handleMixedJson":虚伪,
多线程:虚伪,
头人:真实性
},
规则:{{
开:真实性,
唯一:虚伪,
里比特:空号,
名声:...,
"absoluteScoring":虚伪,
"ruleBreakPreviewLimit":6
},
二次匹配:{{
"colMatchParallelProcesses":3,
"colMatchDurationMins":20码,
"colMatchBatchSize":2,
级:精度,
奇异偏差:一号,
"connectionList":家常便饭
},
spark游戏:{{
num执行程序:3,
江山记忆:...,
"executorMemory":...,
执行者Corse:一号,
容积:...,
quee语言:...,
师傅:局部性,
Principal:...,
键调:...,
部署模式:...,
罐头:空号,
包装:空号,
文件类:空号
},
env:{{
jdbcroot:...,
jdbcKeyTab:...
},
记录:{{
开:虚伪,
进:...,
非输入:...,
内含:空号,
"percDeltaLimit":0.1,
数组:一号
},
变换方式:中位数
水管线:家常便饭
}
-
一号 .
-
2 .点击文件导入URL
-
3 .
-
4 .点击生成客户端
PythonSDK实例
华府
GETCDLINE
mdLine=Get_job_cmdline高山市数据集)
华府
SUBMIT作业
作业i=运行高山市数据集,运行日期)
华府
#CHECK状态
状态=Get_job_status高山市作业i)
华府
GETDQ题
状态=get_job_findings高山市数据集,运行日期)