概述
这个Spring Boot集成使用从Unity Catalog和Lineage Tracking REST API服务接收到的数据，以发现和注册Unity Catalog亚metastore、目录、模式、表、列和依赖项。
在提交这篇文章的时候，Unity Catalog处于公开预览中，沿袭跟踪REST API所提供的内容是有限的。我们希望这两个API都能随着它们的普及而改变。以下领域是不在今天的版本中涵盖，但在未来版本的范围内:
- ACL
- 算图
这个版本完成了Databricks Delta共享。
用例
- 作为一名数据工程师，我希望通过将元数据放到一个中心位置，让我的数据管理员和数据用户对Databricks Metastore资源有充分的可见性。亚博 在线通过这种方式，数据将在您的组织中变得可用并易于访问。
- 作为一名数据管理人员，我希望通过帮助建立企业范围的资产存储库来提高数据透明度，这样每个用户都可以轻松地理解和发现与他们相关的数据。
- 作为数据生产者，我希望在不复制数据的情况下与潜在消费者共享数据集。
Databricks定期提供预览，让您有机会在特性全面可用(GA)之前评估并提供反馈。这些预览版可以有不同的成熟程度，本文将对每种成熟度进行定义。有关Databricks运行时版本(包括支持生命周期和长期支持(LTS))的更多信息，请参阅Databricks运行时支持生命周期。
2022年3月更新:统一目录现在在封闭的公共预览。在这个封闭的公开预览中，Unity Catalog有以下限制。
Python、Scala和R工作负载仅在Data Science & Engineering或Databricks Machine Learning集群上支持，这些集群使用单用户安全模式，不支持出于行级或列级安全目的的动态视图。
Unity Catalog可以与Databricks提供的内置Hive metastore一起使用。不支持需要使用init脚本进行配置的外部Hive metastore。
覆盖模式的数据帧写入操作到Unity目录只支持管理Delta表，而不支持其他情况，如外部表。此外，该用户必须在父模式中拥有CREATE权限，并且必须是现有对象的所有者。
请参阅Databricks统一目录一般可用性|数据在AWS上获取更多信息。
2022年5月更新:欢迎来到数据谱系私人预览!Unity Catalog现在捕获在Databricks集群或SQL端点上执行的任何表到表操作的运行时数据沿袭。沿袭是在表和列的粒度上捕获的，该服务可以跨所有语言操作。
2022年6月更新: Unity目录谱系现在被捕获和分类为资产关系和自定义技术谱系。
2022年7月更新: Unity Catalog API将于2022年8月11日从v2.0切换到v2.1，此后v2.0将不再支持。
2022年8月更新:Unity目录在公共预览．在预览期间，一些功能受到了限制。看到统一目录公开预览限制．要参与预览，请与Databricks代表联系。
2022年8月更新:从Databricks Runtime 11.1开始，Delta Sharing现在已经普遍可用。详细信息请参见使用Delta Sharing共享数据．
媒体
更多的细节
发布说明
修复关键的常见漏洞和暴露
- CWE-94:代码生成控制不当(“代码注入”)
- CWE-611: XML外部实体引用的不适当限制
- CWE-400:不可控的资源消耗
- CWE-285:不当授权
兼容性
- Spring引导框架
- Unity Catalog API
- 谱系跟踪API
- Apache梁
- 亚愽视频Collibra数据智能云
依赖
- Spring Boot框架v2.7.5
- Unity Catalog API
- 谱系跟踪API
- Apache Beam 2.42.0
- Python 3.9.13
- Java运行时环境11
License和使用要求
- 亚愽视频Collibra目录
- 砖的溢价
版本历史
发布说明
增加了一些额外的资源属性。
兼容性
- Spring框架
- Unity Catalog API
- 谱系跟踪API
- Apache梁
- 亚愽视频Collibra数据智能云
依赖
- Springboot框架2.6.6
- Java运行时环境11
- Unity Catalog API
- 谱系跟踪API
- Python 3.9.13
- Apache Beam 2.42.0
License和使用要求
- 亚愽视频Collibra目录
- 砖的溢价
发布说明
从核心api转移到导入api，因为我们采取了私测步骤。我们将快速跟踪此集成的初始GA发布，以添加由Unity Catalog提供的元数据和沿袭功能。此阶段的“支持”被定义为客户在我们的beta工具中记录问题的能力，以考虑到我们的GA版本。没有sla，修复将在现有的测试版中尽最大努力。一旦该功能被移植到基于Edge的功能上，我们就会让客户停止使用Springboot，并迁移到基于Edge的摄取。我们将GA与边缘为基础的能力。增量共享仍然处于验证状态。
兼容性
- Spring框架
- Unity Catalog API
- 谱系跟踪API
- Apache梁
- 亚愽视频Collibra数据智能云
依赖
- Springboot框架2.6.6
- Java运行时环境11
- Unity Catalog API
- 谱系跟踪API
- Apache梁
License和使用要求
- 亚愽视频Collibra目录
- 砖的溢价
发布说明
作为发布的一部分，发布了以下功能:
- 新增工作流，包括删除共享和收件人
- 当多个metastore时，将请求路由到右边的应用程序
兼容性
- Springboot框架
- Unity Catalog API
- 谱系跟踪API
- 亚愽视频Collibra数据智能云
依赖
- Springboot框架2.6.6
- Java运行时环境11
- Unity Catalog API
- 谱系跟踪API
License和使用要求
- 亚愽视频Collibra目录
发布说明
作为发布的一部分，发布了以下功能:
注册统一目录资源亚博 在线 |
将所有Unity目录资源从给定的metastore和目录拉到Collibra的样本亚博 在线流已被更改，以更好地与Edge对齐。亚愽视频工作流现在期望一个社区，其中可以找到metastore资源，一个系统资产，表示统一目录metastore，并将帮助亚博 在线构建剩余资产的名称，以及一个选项域，如果指定，将告诉应用程序在给定域中创建所有metastore资源。如果没有指定，每个模式将注册在自己的域中。 |
兼容性
- Springboot框架
- Unity Catalog API
- 谱系跟踪API
- 亚愽视频Collibra数据智能云
依赖
- Springboot框架2.6.6
- Java运行时环境11
- Unity Catalog API
- 谱系跟踪API
License和使用要求
- 亚愽视频Collibra目录
发布说明
作为发布的一部分，发布了以下功能:
注册统一目录资源亚博 在线 |
将所有Unity Catalog资源从给定的metastore和Catalog拉到亚博 在线Collibra的示例流。亚愽视频 |
将收件人添加到增量共享 |
将增量共享的访问权限授予给定收件人的示例流。 |
将数据集添加到Delta共享 |
将数据集中的所有表添加到给定增量共享的示例流。 |
将表添加到Delta共享 |
将表添加到给定增量共享的示例流。 |
向Delta共享表单添加表 |
将表添加到增量共享的示例流。 |
创建增量共享 |
创建增量共享的示例流。 |
创建增量共享接收者 |
创建增量共享接收者的示例流。 |
删除Delta共享 |
删除增量共享的示例流。 |
删除Delta共享接收人 |
删除增量共享收件人的示例流。 |
向收件人授予Delta共享访问权限 |
将增量共享的访问权限授予给定收件人的示例流。 |
从增量共享中删除收件人 |
从给定接收者撤销对增量共享的访问的示例流。 |
从Delta共享中删除表 |
从给定增量共享中删除表的示例流。 |
撤销接收方的Delta共享访问权限 |
从给定接收者撤销对增量共享的访问的示例流。 |
获取收件人激活密钥 |
一个简单的工作流，在授予对给定共享的访问权限时共享激活密钥。 |
兼容性
- Springboot框架
- Unity Catalog API
- 谱系跟踪API
- 亚愽视频Collibra数据智能云
依赖
- Springboot框架2.6.6
- Java运行时环境11
- Unity Catalog API
- 谱系跟踪API
License和使用要求
- 亚愽视频Collibra目录
发布说明
作为发布的一部分，发布了以下功能:
- 从增量共享工作流中删除表
- 撤销接收者工作流中的增量共享访问权限
- 当找到没有列的表时引发异常(修复)
- 如果没有找到数据库视图，则将其创建为表(修复)
兼容性
- Springboot框架
- Unity Catalog API
- 谱系跟踪API
- 亚愽视频Collibra数据智能云
依赖
- Springboot框架v2.6.6
- Java运行时环境11
- Unity Catalog API
- 谱系跟踪API
License和使用要求
- 亚愽视频Collibra目录
发布说明
作为发布的一部分，发布了以下功能:
- 有限的Delta共享api集成
- 添加系统属性作为自定义技术谱系的一部分
- 能够组合多个自定义技术血统JSON
兼容性
- Springboot框架
- 谱系跟踪API
- Unity Catalog API
- Delta共享API
- 亚愽视频Collibra数据智能云
依赖
- Springboot框架2.6.6
- 谱系跟踪API
- Unity Catalog API
- Delta共享API
- Java开发工具包
License和使用要求
- 亚愽视频Collibra目录
发布说明
版本1.0.7将允许从非管理员个人访问令牌的数据中提取元数据。
兼容性
- Springboot框架
- 谱系跟踪API
- Unity Catalog API
- 亚愽视频Collibra数据智能云
依赖
- 谱系跟踪API
- Unity Catalog API
- Springboot框架2.6.6
- Java开发工具包
License和使用要求
- 亚愽视频Collibra目录
发布说明
新的发布版本1.0.6用于增强应用程序，以接受通配符作为模式名的一部分。
兼容性
- Springboot框架
- Unity Catalog API
- 谱系跟踪API
- 亚愽视频Collibra数据智能云
依赖
- Unity Catalog API
- 谱系跟踪API
- Java开发工具包
- Springboot框架2.6.6
License和使用要求
- 亚愽视频Collibra目录
发布说明
发布更新Spring Boot App，以适应Databricks Unity Catalog API中的更改
兼容性
- Springboot框架
- Unity Catalog API
- 谱系跟踪API
- 亚愽视频Collibra数据智能云
依赖
- Unity Catalog API
- 谱系跟踪API
- Java开发工具包
- Springboot框架2.6.6
License和使用要求
- 亚愽视频Collibra目录
发布说明
Unity Catalog API将在2022年8月11日从v2.0切换到v2.1，此后v2.0将不再支持。
兼容性
- Springboot框架
- Unity Catalog API
- 谱系跟踪API
- 亚愽视频Collibra数据智能云
依赖
- Unity Catalog API
- 谱系跟踪API
- Java开发工具包1.11
- Springboot框架2.6.6
License和使用要求
- 亚愽视频Collibra目录
发布说明
2022年6月更新: Unity目录谱系现在被捕获和分类为资产关系和自定义技术谱系。
兼容性
- Springboot框架
- Unity Catalog API
- 谱系跟踪API
- 亚愽视频Collibra数据智能云
依赖
- Unity Catalog API
- Java开发工具包1.11
- Springboot框架2.6.6
License和使用要求
- 亚愽视频Collibra目录
发布说明
2022年5月更新:欢迎来到数据谱系私人预览!Unity Catalog现在捕获在Databricks集群或SQL端点上执行的任何表到表操作的运行时数据沿袭。沿袭是在表和列的粒度上捕获的，该服务可以跨所有语言操作。
兼容性
- Spring引导框架
- Unity Catalog API
- 谱系跟踪API
- 亚愽视频Collibra数据智能云
依赖
- Unity Catalog API
- Java开发工具包v1.11
- Spring Boot框架v2.6.6
License和使用要求
- 亚愽视频Collibra目录
浏览与同样使用此应用程序的客户的讨论。
亚愽视频collibra主办的讨论将连接您与其他使用此应用程序的客户。
以下条款适用于您收到此产品源代码的程度。尽管条款二进制代码许可协议根据该集成模板的许可，Collibra授予您(被许可方)访问集成模板的源代码的权利，以便为被许可方的内亚愽视频部使用目的复制和修改所述源代码，并仅用于开发与Collibra产品和服务的连接和/或集成。仅就此集成模板而言，根据二进制代码许可协议定义的术语“软件”应包括其源代码版本。除上述规定外，《二进制代码许可协议》的所有剩余条款均适用于本协议项下集成模板的许可。
保罗泰勒
Databricks统一目录连接到Collibra -一个游戏规则改变者!亚愽视频