每天产生的资料量是一个谜，因为它正在以快速的速度不断增加。虽然资料无处不在，但我们可以从中收集的情报更为重要。这些大量资料就是我们所说的“大资料”。组织生成并收集大量资料，相信这些资料可能有助于他们推进产品和改进服务。例如，商店可能有其客户资讯，库存详细资讯，购买历史记录和网站访问。
通常，组织会将此资料储存在常规业务活动中，但无法将其用于进一步的分析和业务关系。未经分析和未使用的资料就是我们所说的“暗资料”。
“大资料确实是一个流行语，但它是一个坦率地被炒作的人，” Ginni Rometty
从多个来源获得的资料中解开见解的问题已经从最初建立软件应用程序的那天开始。这通常是耗时的，并且对于任何形式的决策而言都变得过时，资料移动得如此之快。本部落格系列的主要目的是有效利用大资料并扩充套件商业智慧的使用，从阿里巴巴云上的原始企业资料中快速准确地解读见解。
什么是大资料？
简单来说，当您拥有的资料太大而无法通过传统数据库和处理工具进行储存和分析时，它就是“大资料”。如果您已经听说过3V的大资料，那么理解大资料的基本定义就很简单了。
卷 - 来自各种来源的大量资料。多样性 - 各种非标准格式，其中资料由人和机器生成。速度 - 生成，储存，处理和检索资料的高速度。大资料和分析
每个人和组织都有一种或另一种形式的资料，他们尝试使用电子表格，Word文件和数据库进行管理。随着新兴技术的发展，资料的规模和种类日益增多，不再可能通过传统方式分析资料。
大资料分析最重要的方面是了解您的资料。这样做的好方法是问自己这些问题：
我从哪里获得这些资料？它是什么型别的资料？如何将此资料汇入大资料环境？我在哪里储存这些收到的资料？如何处理和分析储存的资料？我能从中得到什么见解？这些见解如何改变我的业务？在探索阿里巴巴云的E-MapReduce之前，我们将在本文中回答上述问题，以便开始使用大资料。
资料来源和型别
通常在使用者与物理装置，软件或系统互动时生成资料。这些互动可以分为三种类型：
交易资料 - 要考虑的最重要资料。这是大型零售商和B2B公司每天记录的资料。它是根据发生的每个事件收集的，例如，产品数量，购买的产品，库存修改，客户资讯，分销商详细资讯等等。社交资料 - 可为公司提供卓越见解的通用资料或公共资料。例如，客户可以释出关于产品的推文，或者喜欢和评论购买。这可以帮助公司预测消费者行为，他们的购买模式和情绪，这通常是一种CRM资料。机器资料 - 这是实时资料的一个主要来源，我们从电子装置（如感测器，机器甚至网络日志）获取资料。对于大多数企业，资料可以分为以下型别。
结构化资料 - 当您能够将资料放入具有强制执行的模式的关系数据库中时，资料将被称为“结构化”。由于预定义的结构和资料之间的关系，分析变得更容易。常见型别的结构化资料是表格。非结构化资料 - 虽然大资料是各种资料的集合，但大约90％的大资料是非结构化的。具有自己的内部结构但不明显适合数据库的资料是“非结构化的”。这包括文字文件，音讯，视讯，影象档案，邮件，简报，Web内容和流资料。半结构化资料 - 这种型别的资料不能容纳在关系数据库中，但可以标记，这使分析更容易。XML，JSON和NoSQL数据库被认为是半结构化的。大资料生态系统
Hadoop的
每当我们谈论大资料时，听到Hadoop这个词并不罕见 。
“ Hadoop是一个开源框架，可管理丛集中执行的大资料应用程序的分散式储存和资料处理。” 它主要用于批处理。Apache Hadoop的核心部分是
Hadoop分散式档案系统（HDFS） - 用于储存。MapReduce - 用于处理。由于资料很大，Hadoop将档案拆分为块并将它们分布在丛集中的节点上，这意味着每个节点都有一份资料副本。
HDFS - Hadoop应用程序使用的主储存系统。HDFS是一种分散式档案系统，它将档案储存为资料块，并通过其他节点进行复制。MapReduce - MapReduce从HDFS接收资料并分割输入资料。现在可以同时对所有资料部分进行处理，我们称之为分散式处理。如何将资料汇入大资料环境
Sqoop - Sqoop这个词源于“SQL + Hadoop”，它明确定义了它有助于在Hadoop和关系数据库服务器之间传输资料。因此，当资料是分层结构时，您可以使用Sqoop作为载入工具将其推入Hadoop。Apache Flume - 用于有效收集，聚合和推送大量流资料到Hadoop的资料流。Kafka - 用于实时流资料以提供实时分析。因此，当资料是非结构化和流式传输时，Kafka和Flume一起构成处理流水线。储存资料的位置
HDFS - 如前所述，HDFS是Hadoop应用程序的主要储存系统。Apache HBase是一个面向列的资料储存，可在HDFS之上执行。它是一个非关系型Hadoop数据库。Apache Cassandra是一个高度可扩充套件的分散式NoSQL数据库，旨在处理大量资料而没有单点故障。如何处理资料
Spark - Apache Spark的盛开超越了MapReduce，因为Spark可以执行内存处理，而MapReduce必须读取和写入磁盘。因此，Spark的速度提高了100倍，并允许资料工作者有效地执行流，机器学习或SQL工作负载。然后我们还有Storm，Samza和Flink等新兴工具。Hive -Hive使SQL开发人员的工作更轻松，因为它提供了一个类似SQL的界面来与储存的资料进行互动。Apache Hive是一个基于Apache Hadoop构建的资料仓库软件专案，用于查询和分析。Impala - Impala类似于Hive - 它是Apache Hadoop的分散式SQL查询引擎。Apache Pig - 由于MapReduce和Spark等所有处理工具都需要大多数资料分析师不熟悉的程式语言知识，所以Apache Pig是在雅虎开发的。它使用一种名为Pig Latin的语言来分析海量资料集。资料分析和商业智慧工具
现在我们已经找到了如何收集，储存和处理资料，我们需要一些工具来视觉化资料以使商业智慧成为可能。有各种商业智慧工具可以为阿里巴巴云的DataV和QuickBI等大资料增值。
资源管理和排程
除了这个主要周期外，我们还将重点关注一些资源管理工具，例如：
YARN - 又一个资源谈判者动物园管理员当您列出的任务数量很多时，Oozie，Azkaban，Cron和Luigi等其他排程工具在排程Hadoop和Sqoop作业方面发挥着重要作用。
今日业务的大资料
最终，组织可以使用他们的所有资料来建立有价值的见解并转变他们的业务。每个组织都有大量的资料; 资料使用效率越高，公司发展的潜力就越大。组织可以利用整个流程产生的业务洞察力来提高效率并做出更好的决策 - 这是在市场上超越同行和竞争对手的更好方式。
