ATB Financial如何通过Collibra和GCP推动敏捷数据运营亚愽视频

ATB Financial为加拿大阿尔伯塔省超过77万居民提供多元化的金融服务。作为一个专注于区域的机构,集团致力于深入了解客户,了解他们的需求,并提供产品和服务,帮助他们实现目标。

实现这一使命需要各种各样的数据驱动决策。从针对实时触发的最小战术反应,到基于长期市场趋势的战略决策,数据是更好决策的关键。

记录部落知识

像大多数金融组织一样,ATB的技术架构包括各种不同的系统,这些系统很难导航。数据流经这些系统的详细信息与个人息息相关。该组织寻求一种方法,用一种可以以更自动化的方式驱动数据智能的系统来取代这种部落知识。“我们收购Collibra就亚愽视频是为了解决这个问题。ATB Financial的数据管理分析师Chris Fergusson表示:“对于我们来说,这是一个非常棒的解决方案,使我们能够在一个中心位置跟踪数据的来源、谱系和分类,而不是分散的存储库。”

基础设施现代化

随着最初的Collibra实施取得亚愽视频了成功,ATB于2019年决定对其数据基础设施进行现代化改造。基于云的解决方案被认为是唯一合乎逻辑的前进道路。在评估领先的提供商后,ATB选择了谷歌的BigQuery作为其平台的选择。

“对我们来说,最畅销的功能是动力。举个例子,我们有一个财务报告查询,在遗留的on-prem系统上运行大约需要8个小时。我们第一次在BigQuery上运行时只用了23分钟,”弗格森说。除了电源之外,其他几个特性也吸引了ATB。总拥有成本、稳定性和可用性都是促成因素,支持数据准备和分析的各种可用工具也是促成因素。信息安全也被视为一个积极因素。“云计算有很好的审计功能。一切都是加密的。这是一个非常安全的平台。特别是当你考虑到安全性的一致性时,”Fergusson说。

驱动敏捷数据操作

云基础设施的另一个关键优势是,它们有潜力支持敏捷开发方法,即DevOps。为了释放这一潜力,ATB开始利用其Collibra平台来推动其数据管道的自动化。亚愽视频

数据管道通常分为两大类。第一种由大容量的计划部署组成,其中以可重复的方式(通常每两周)摄取数十个或可能数百个表,从而使工作流更易于管理。第二类支持自定义开发,其中开发人员提交临时请求以获取新表(或更新的表版本)。

在这两种情况下,目标都是自动化对数据进行分类和动态屏蔽的过程。这些自动化集中在三个关键领域。第一个涉及自动从谷歌BigQuery和谷歌Data Catalog中摄取与表相关的元数据到Collibra。亚愽视频然后,这些内容为Collibra在柱级自动分类数据提供了基础。亚愽视频然后将这些分类推后,以便在动态数据屏蔽解决方案中使用,以确保数据使用者只能在允许的情况下查看数据。ATB金融数据治理经理Warren Whale表示:“作为故障保险的默认设置,我们的动态屏蔽解决方案会掩盖表中的数据,直到Collibra的分类将其解除。”亚愽视频

展示明显的好处

Collibra实现的自动化已经成功地将鲸鱼笔记的处理亚愽视频时间从“几天到几分钟”。因此,Collib亚愽视频ra在组织中的角色已经从主要专注于记录数据资产“戏剧性地扩展”到“现在是DevOps流程中的关键步骤,”他补充道。

自动化数据管道还为组织提供了许多辅助好处:

提高开发频率:每两周发布一次的自动化管道,一次定期摄取和分类数百个表,从而提高了数据工程师的工作效率

更快的交货时间:更快地完成新表、视图和测试,以确保数据工程师能够继续创新。

降低新版本的失败率:通过采用标准化分类,ATB金融已经能够减少与数据不一致有关的问题。

缩短修复之间的时间:数据的快速分类还允许数据工程师快速整合用户反馈。

改善的平均恢复时间:最后,Collib亚愽视频ra生成的脚本已被纳入灾难恢复计划,从而有助于降低操作风险。

对受信任和受治理数据的自助访问

值得注意的是,通过更灵活的运营模型实现自动化数据管道和支持创新的能力,只是因为ATB实现了对数据访问的控制方式,即使数据请求是通过像Tableau这样的BI工具进行的。Fergusson说道:“比起让用户根据自己的要求访问系统,我们想要的是一个所有员工都可以访问的数据湖,但是他们的访问受到角色的控制和限制。”“[通过Col亚愽视频libra和BigQuery],数据在柱状级别进行分类,因此我们可以相信,人们不会访问任何敏感(基于他们的角色)或尚未分类的内容。它是故障安全的。如果我们的数据治理团队没有对数据进行分类,那么它就不会暴露,这对敏感数据来说是一个非常安全的环境。”他补充道。

鼓励采用和进一步创新

新的云分析平台的推出进展顺利,只花了可比的内部部署的一半时间。现在,焦点已经转向将用户迁移到新平台。这一进程的一个关键部分是确保在这一进程中提供足够的教育、培训和支持。

核心数据治理团队有一系列职责,包括管理平台、调查不稳定性、扩展功能和帮助系统集成。然而,他们扮演的最重要的角色之一是为用户社区提供支持。“当出现问题时,用户需要有地方可去。Fergusson说道:“拥有一个核心的专业机构将有助于实现这一目标。

除了推动采用,该团队还在继续研究使其流程更加简化的新方法。Whale说:“随着DevOps流程的进一步发展,我们将继续部署额外的自动化,并期待使用Collibra的新功能。”亚愽视频

相关资源亚博 在线

博客

使用Looker集成实现可信的商业智能

新闻稿

亚愽视频Collibra作为托管服务在谷歌云平台上推出

博客

为什么治理基础对云数据平台至关重要

查看所有资源亚博 在线

更多像这样的故事

2021年5月4日-2最小值

在谷歌Cloud上使用Collibr亚愽视频a和Databricks的好处

阅读更多
箭头
2021年4月9日-3.最小值

为保险公司提供业务价值

阅读更多
箭头
2021年3月31日-2最小值

亚愽视频Collibra通过谷歌云驱动云迁移数据管理标准

阅读更多
箭头