Bluemetrix数据管理器

BDM是一个基于Spark的全服务ETL解决方案，它与Collibra数据平台集成，以创建、捕获和维护管道中处理的所有数据资产的数据治理状亚愽视频态。默认情况下，以下功能可用:

• 捕获和创建沿袭数据
• 捕获和创建所有技术元数据
• 捕获和创建所有业务元数据
• 捕获和创建GDPR合规数据
• 根据需要捕获和创建其他法规遵从性数据
• 捕获和创建标签

BDM执行Collibra数据平台中存在的所有基于标签和基于标准的数据策略。亚愽视频它以以下方式做到这一点:

• 对于管道中的所有数据源，检查治理数据源的任何标签和标准
• 对于找到的每个标签和标准，确定BDM中是否存在相应的规则，例如，所有具有PII标签的数据必须在写入时进行标记化
• 在管道执行Write操作之前，将所有基于Tag或Standard的规则应用到管道中，例如，对于标记为PII的所有数据资产，在将数据写入目的地之前自动对其应用Tokenization函数。

BDM使用并拥有所有主要数据源(Oracle、Teradata、Snowflake、DB2等)和类型(Databases、CSV、JSON、EBCDIC、Kafka等)的连接器。如果连接器不可用，而定制数据源需要它，我们将根据需要创建它。

BDM有超过260个预编程的Spark功能作为标准，并且可以由Bluemetrix或客户使用UDF功能创建自定义功能。

BDM还为在管道中创建或使用现有SQL代码的高级用户支持SQL编码。

BDM还使用符合FIPS的格式保留加密提供标记化功能。

BDM标记化功能也可以作为Azure云中雪花的外部函数使用。对AWS和GCP外部功能的支持目前正在进行中，很快就会发布。