APP下载

浏览资料集市、湖泊、仓库和金库

消息来源:baojiabao.com 作者: 发布时间:2024-05-09

报价宝综合消息浏览资料集市、湖泊、仓库和金库

在过去几年中,每个人都在谈论大资料。希望更加资料驱动的企业必须整合各种不同的基础架构。但是,您可能很难理解资料湖泊和仓库的相遇位置,以及您甚至可能需要数据库的原因。

很简单,这些概念中的每一个都归结为寻找以有效方式摄取和管理资料的方法,以便当今的资料分析驱动决策。以下是选项的细分,它们的关联方式以及它们的用途。

资料仓库

资料仓库或有时已知的企业资料仓库是更精心策划的资料储存库。它对于为业务使用者提供以可用格式访问正确资讯的方式是非常宝贵的 - 并且可以包括当前和历史资讯。随着资料进入资料仓库环境,资料将被清理,转换,分类和标记 - 从合规性角度来看,管理,使用和监控变得更加容易,这也是自动化的用武之地。

当今企业所经历的资料量和速度意味着在现代世界中,手动提取这些资料,处理资料并确保以满足资料仓库内的合规性要求的方式储存和访问这些资料是不可行的。但是,随着企业不断将资料作为报告和预测的来源,资料仓库非常宝贵。重要的是资料湖不能仅仅因为摄取的感知努力而包含更结构化的资料基础设施的角色。自动化可以帮助加快摄取和处理速度,从而通过资料仓库中的资料驱动决策快速跟踪价值实现时间。

资料集市

资料集市是资料仓库的特定子集,通常用于特定主题区域的策划资料,需要在短时间内轻松访问。由于其特殊性,它的构建通常比完整的资料仓库更快,更便宜。但是,资料集市无法策划和管理来自整个企业的资料,以便为业务决策提供资讯。

资料湖

资料湖是巨大的资料集合,从未组织或处理的原始资料到不同级别的策划资料集。分析目的的一个好处是,不同型别的消费者可以根据他们的需求访问适当的资料。这使得它非常适合某些较新的用例,例如资料科学,人工智能和机器学习,这些用例被许多公司视为分析工作的未来。这是在可扩充套件储存解决方案上储存大量原始资料的好方法,无需尝试传统的ETL或ELT(提取,转换,载入),这在此卷上可能很昂贵。但是,对于更传统的分析,这种型别的资料环境可能很笨拙和混乱 - 这就是为什么组织转向其他解决方案来管理更结构化环境中的基本资料。

就资料基础架构中的定位而言,如果您愿意,资料湖泊可以用于其他资料基础架构的上游,并且可以用作更加结构化的方法(如资料仓库)的临时区域,以及提供资料探索和资料科学。

资料储存库

数据库建模是一种资料仓库方法,旨在解决资料转换过程中资料转换带来的一些挑战。资料保险库的一大优势是它不会评估哪些资料是“有价值的”和什么不是,而一旦资料被处理并清理到仓库环境中,通常就会做出这个决定。资料保险库可以灵活地对其进行管理,并且可以解决不断变化的资料来源,从而导致数据库方法被认为是提供“单一版本的事实”,而不是“单一版本的事实”。

对于拥有大型,不断增长和不同资料集的企业而言,资料仓库的资料仓库方法可以帮助将大资料的野兽驯服成可管理的,以业务为中心的解决方案,但可能需要一些时间来设定。资料保险库自动化是确保组织提供和维护符合Data Vault 2.0方法严格要求的资料保险库的关键元件,并且能够以实用,经济,及时的方式实现这一目标。

虽然每种资料方法都有细微差别,但每种方法都在组织中摄取,管理和交付资料方面发挥着自己的作用。在尝试制定如何充分利用大资料的战略时,了解它们如何组合在一起对于IT经理和业务负责人来说是一个有价值的工具。自动化等技术可以帮助加快这些实践的建立和管理,并可以帮助企业充分利用其基础架构。

2019-08-21 04:48:00

相关文章