命令行
我们感动!为了改善客户体验，Collibra数据质量用户指南已转移到亚愽视频
亚愽视频Collibra文档中心
作为Collibra数据质量2亚愽视频022.11版本的一部分。为了确保平稳过渡，
dq-docs.亚愽视频collibra.com
仍然可以访问，但DQ用户指南现在只在文档中心进行维护。
规模与数据科学的结合。通过添加执行器和/或内存来线性扩展数据
-f "file:///Users/home/salary_data.csv" \
-d "，" \
-rd "2018-01-08" \
- ds“salary_data”
-numexecutors 2 \
-executormemory 2 g
如果Owl运行在流行的hadoop发行版(如HDP、CDH、EMR)的边缘节点上，它将自动向Yarn资源管理器注册作业。
Owl也可以通过使用-master输入并传入spark:url来运行spark master
Owl大多数情况下可以独立运行，但自然不会将处理分布到激活它的硬件之外。
|
选项
|
描述
|
|---|---|
|
deploymode
|
Spark部署模式选项
|
|
drivermemory
|
驱动内存示例3G为本地空间
|
|
executorcores
|
火花执行器核心
|
|
executormemory
|
spark执行器内存选项示例3G
|
|
主
|
覆盖本地[*]，即spark://myhost:7077, yarn-client, yarn-cluster
|
|
sparkprinc
|
Kerberos主体名ex:(电子邮件保护)
|
spark-submit＼
——driver-class-path / opt / / postgres42 / postgresql-42.2.4.jar owl /驱动程序＼
——driver-library-path / opt / / postgres42 / postgresql-42.2.4.jar owl /驱动程序＼
——驱动内存3g——num-executor2——executor-memory 1克＼
——主火花:/ / Kirks-MBP.home: 7077＼
——class com.owl.core.cli.OwlCheck /opt/owl/bin/owl-core-trunk-jar-with-dependencies.jar＼
-u user -p pass -c jdbc:postgresql://xyz.chzid9w0hpyi.us-east-1.rds.amazonaws.com/postgres＼
-ds accounts -rd2019-05 -dssafeoff -q“select * from accounts”
-driver org.postgresql.Driver -lib /opt/owl/drivers/postgres42/
spark-submit＼
——driver-class-path / opt / / postgres42 / postgresql-42.2.4.jar owl /驱动程序＼
——driver-library-path / opt / / postgres42 / postgresql-42.2.4.jar owl /驱动程序＼
——配置spark.driver.extraJavaOptions＝-Dlog4j.configuration＝file:///opt/owl/config/log4j-TRACE.properties＼
——配置spark.executor.extraJavaOptions＝-Dlog4j.configuration＝file:///opt/owl/config/log4j-TRACE.properties＼
——文件/ opt /猫头鹰/ config / log4j-TRACE.properties＼
——driver-memory 2g——num-executors2——executor-memory 1g——master spark:// kirks - mmb .home:7077＼
——class com.owl.core.cli.OwlCheck /opt/owl/bin/owl-core-trunk-jar-with-dependencies.jar＼
-u us -p pass -c jdbc:postgresql://xyz.chzid9w0hpyi.us-east-1.rds.amazonaws.com/postgres＼
-ds aumdt -rd2019-05 -dssafeoff -q"select * from aum_dt"＼
-driver org.postgresql.Driver -lib /opt/owl/drivers/postgres42/＼
-connectionpropsfetchsize＝6000主火花:/ / Kirks-MBP.home: 7077＼
- corff -histoff -statsoff＼
-columnname updt_ts -numpartitions .使用实例4下界1557597987353-upperbound1557597999947
最后修改2月前