如何评估组织的资料平台
公司和组织生成资料,并越来越多地使用这些资料来生成其他值。虽然传统上这是工商管理分析师的任务,但今天的资料在组织的各个方面和部门中都发挥着重要作用。为了使公司能够实现这一变革,需要一种高效的长期资料架构。在这里,我们将讨论构建此类资料架构需要解决的许多方面和技术挑战。
本文的动机来自于观察到资料平台经常被简化为数据库元件,这是整个资料生命周期的过度简化。我们希望说明公司中基本的长期资料策略所需的功能量。

什么是资料平台?
资料平台是一种允许您摄取,处理,储存,访问,分析和呈现资料的服务。这些被认为是我们称之为资料平台的定义特征。该平台可以分解为以下部分:资料仓库:摄取,处理,储存,访问。商业智慧:分析和呈现。资料科学:统计学和人工智能(一种特殊的分析形式)。虽然储存和处理资料是资料平台的核心,但它并不止于此。为了更好地了解整体资料管理任务,我们编制了一份有关整个资料工程和分析生命周期的17个标准的列表。
资料架构(基础架构,扩充套件,数据库)汇入界面资料转换(ETL)效能过程自动化监控资料历史化资料版本控制代理金钥管理分析/报告资料科学工作区外部访问/ API可用性多使用者开发过程平台文件文件安全成本在以下部分中,我们将简要介绍这些标准,但不会过多介绍技术细节。
1.资料架构
核心资料架构是资料平台架构中最重要的方面之一,但到目前为止还不是唯一的一个。目标是找到合适的储存和数据库解决方案以满足您的要求。有三种基本选项可供选择,对以下所有其他主题产生影响:
关系型数据库
非常成熟的数据库系统,具有大量内建智慧,可高效处理大型资料集。这些系统具有最具表现力的分析工具,但在维护方面往往更为复杂。如今,这些系统也可作为分散式系统使用,并且可以处理极大的资料集。例如PostgreSQL与Citus或Greenplum丛集解决方案,MariaDB / MySQL与Galera丛集,Amazon Redshift,Oracle,MSSQL,......
NoSQL样式分片数据库
这些系统牺牲了关系数据库的一些经典特性,以便在其他领域获得更多功能。这些系统本身提供的分析能力要低得多,但更易于管理,具有高可用性和易于备份。它们旨在处理极大的资料集。有人试图模仿关系数据库世界中可用的SQL的分析能力,并使用顶层工具(Impala,Hive)。如果您有大量资料或流媒体或实时资料的特定要求,您应该检视这些专业资料系统。例如Cassandra,Hadoop Ecosystem,Elasicsearch,Druid,MongoDB,Kudu,InfluxDB,Kafka,neo4j和Dgraph。
基于档案的系统
可以仅根据档案设计资料策略。像Parquet档案标准这样的档案结构使您能够使用非常便宜的储存来储存分布在许多储存节点或Amazon S3等云物件储存上的非常大的资料集。主要优点是资料储存系统足以响应资料访问请求。上述两个系统需要在额外的计算节点上执行服务以响应资料查询。使用像Apache Drill这样的解决方案,您可以查询具有与SQL相同的舒适度的镶木地板档案。
在寻找支援所选资料架构的硬件架构时,桌面上会提供一些基本选项。
您可以依靠主要云供应商提供的服务来尝试构建您的平台。在AWS,Azure或Google Cloud等云平台上,您可以将一系列相当简单的服务连线在一起,以建立涵盖我们的标准列表的资料平台。这可能在小规模上看起来简单而便宜,但是当你向外扩充套件并且需要定制时,结果会变得非常复杂和昂贵。相比之下,存在基于自执行硬件的平台,包括云虚拟机器和单独的软件栈。在这里,您可以获得最大的灵活性,但还需要通过建立自己的程式码和自定义解决方案来回答列表中的许多条件。作为最后一类,我们将提到更完整和专用的独立云资料平台,如Repods,Snowflake,Panoply或Qubole(免责宣告:作者来自Repods平台)。这些平台开箱即用地处理我们列表中的或多或少的标准。2.表现
这个标准通常是平台选择中的一个重要影响者。效能主要受您选择的数据库子系统的影响。根据经验,您的效能要求越高,您的数据库系统选择就越专业化。我们不想详细介绍,而是专注于资料平台中鲜为人知的主题。
3.汇入界面
我们将汇入界面分为三个不同的部分。
档案 - 仍然是最常见的资料形式。网络服务 - 网上有大量相关资料。数据库 - 尽管在许多组织中,大量资料储存在传统数据库中,但在大多数情况下,直接数据库访问不会暴露给Internet,因此无法用于云资料平台。Web服务可以放置在内部部署数据库和云服务之间,以处理安全性方面和访问控制。另一种方法是在安全跳转主机上使用ssh-tunneling 。实时流 - 由讯息传递路由器(说WAMP,MQTT,AMQP,......)提供的实时资料流,今天使用不多,但随着物联网的兴起,它们将变得更加重要。4.资料转换ETL
汇入资料平台的资料通常必须经过一些资料转换才能用于分析。此过程传统上称为ETL(提取,转换,载入)。这些过程通常从原始资料建立表,分配资料型别,过滤值,连线现有资料,建立派生列/行,并将各种自定义逻辑应用于原始资料。建立和管理ETL过程有时称为资料工程,是任何资料环境中最耗时的任务。在大多数情况下,这项任务占人类总体努力的80%。较大的资料仓库可以包含数千个具有不同阶段和依赖关系以及处理顺序的ETL过程。
5.过程自动化
如果您之间有许多源,目标和资料转换过程,那么您也有许多依赖关系,并且具有一定的执行计划逻辑。流程的自动化是每个资料仓库的一部分,并且涉及很多复杂性。有专门的工具(Apache Airflow,Automate,Control-M,Luigi,......)来处理流程的排程。
流程自动化还要求您管理要处理的资料块的选择,即在增量载入方案中,每次执行流程都需要逐步选择特定的源资料块以传递给目标。这种“资料范围管理”通常由元资料驱动的方法实现,即,存在专用的元资料表,其跟踪每个块的过程状态,并且可以被查询以协调所有块的处理。
6.监测
较大的资料仓库系统可以轻松地包含数百个表,其中有数百个自动ETL过程来管理资料流。在执行时出现的错误几乎是不可避免的,其中许多错误必须通过人工干预来处理。有了这么多的复杂性,你肯定需要一种方法来监控平台上发生的事情。
7.资料历史化
管理更长的资料历史的需求是每个资料仓库工作的核心。事实上,资料仓库任务本身可以概括为将单独的资料块合并为同质资料历史的任务。资料是随着时间的推移自然生成的,因此需要使用新资料增加现有数据库存。为了稳健地管理资料历史,通常使用“资料历史化”。从技术上讲,使用专用时间范围列跟踪表格中的时间范围。这与资料版本控制不同,因为历史记录涉及实际生命时间戳,而版本控制通常涉及技术插入时间戳(参见下面的部分)。
8.资料版本控制
通过版本化资料,您可以随时跟踪资料更正,以便以后恢复旧分析。版本控制允许您对现有资料应用非破坏性更正。在比较版本控制功能时,您必须考虑建立版本的难易程度以及恢复或查询版本的难易程度。版本控制可以在系统的不同级别上处理:
在储存子系统上建立版本快照(类似于备份)。底层数据库系统可能支援版本跟踪。版本控制可能由资料仓库系统处理。版本控制可以作为使用者空间中的自定义转换逻辑实现。9.代理金钥管理
资料仓库用于合并来自许多源的资料,这些源具有相应物件的不同识别符号。这要求我们为汇入的物件建立新的键范围,并在连续汇入中保持它们。这些新金钥称为代理金钥,以有效的方式建立和维护这些金钥并非易事。
10.分析/报告
资料平台的目的是准备用于分析的原始资料并将该资料储存更长的时间。分析可以以多种方式进行。
有许多工具被称为商业智慧工具(BI工具),仅涉及建立分析和美观/人类可读资料视觉化。为了准备可供使用的资料块进行演示,资料平台提供了从较大的数据库中建立资料提取和聚合的功能。
通过智慧查询资料储存来回答特定的业务问题需要大量熟练掌握分析查询语言。BI工具旨在通过提供点选和点选界面来回答基本问题,例如“每月线上商店的访问者数量”或“X区域的收入总和”,从而简化这些任务。这些工具还使使用者能够以易于使用的方式视觉化资讯图形。在几乎所有情况下,高阶使用者仍然希望能够绕过这些工具并进行自己的查询。BI工具的常用示例有Tabelau,Qlik,Looker,Chartio,Superset等等。
11.资料科学
如今,培训机器学习模型是资料平台必须服务的新要求。使用Python或R以及各种专用库(如NumPy,Pandas,Scikit-learn,TensorFlow,PyTorch或甚至更专业的库进行自然语言处理或影象识别)实现更复杂的方法。
由于这些任务的计算要求很高,因此除了现有的分析硬件之外,还需要额外的计算硬件。虽然这为您提供了大量可供选择的工具,但您再次面临托管和管理计算资源以支援非常苛刻的机器学习工作的挑战。
12.外部访问/ API
平台中收集的所有资料都可用于不同目的。这里考虑的可能渠道是:
用于直接分析或通过BI工具的SQL访问。API访问(REST请求)作为网站或应用程序的服务。通过推送通知或电子邮件为终端使用者或管理员提供的通知。档案汇出以进一步处理或向其他方传送资料。13.可用性
平台的可用性在很大程度上取决于目标受众。可用性是一个非常广泛和主观的类别,并考虑诸如在平台中建立和管理物件(使用者,资料仓库,表格,转换,报告等)是多么容易。通常,在使用者获得的控制级别和简单性水平之间存在折衷。在这里,我们必须区分平台提供的功能和平台内使用者生成的内容。在大多数情况下,使用者生成的内容需要使用程式码,因为资料工程和分析的整个主题本质上是复杂的并且需要大量的表达性。
14.多使用者工作流程
此类别评估对使用者互动以及工作和资料共享的支援。此方面涉及使用者操作,协作工作,共享和角色分配的实时更新。还有一种讨论和评论平台的方法。
15.平台内档案
资料平台用于在更长的时间段内为许多参与使用者实现许多自定义复杂性。
这需要正确记录使用者提供的内容。在这里,我们评估平台如何支援此任务。当然,文件总是可以在平台之外准备,但这意味着资讯分歧的风险。外部文件很快就会过时,因此很快就会失去使用者的信任。
16.档案
所有平台都需要使用者具备一定的熟练程度。资料工程不是偶然的任务。因此,专业使用平台需要有关平台功能详细资讯的正确文件。
17.安全
资料平台安全性可以分为储存安全性(静态资料),互动(传输中的资料)和访问控制。
18.成本结构
我们确定了资料平台的三个主要成本驱动因素:
许可证基础设施(硬件)员工今天,大多数软件栈可以使用开源和/或免费软件以高质量实现。许可软件或服务通常需要较少的维护工作和较低级别的系统知识。云提供商可以按使用付费使用计算硬件。这基本上适用于储存基础架构。
要估算硬件成本,您需要考虑基础架构以涵盖以下元件:
数据库资料转换Analytics(分析)资料科学自动化监控托管内容尽管数据库通常是最大的元件,但它并不是唯一的元件。
结论
不应将资料平台简化为底层核心数据库,而应将其视为需要平衡的服务生态系统。
上面的列表提供了一个基本切入点,用于评估资料平台是否适合作为组织的长期可管理资料平台,其主要目的是为更重要的统计和预测聚合更长的资料历史。如果您的目标是在更短的时间内解决非常具体的资料相关问题,则此列表仅适用于部分。
