随着IT互联网资讯科技的飞速发展和进步。目前大资料行业也越来越火爆，从而导致国内大资料人才也极度缺乏，下面介绍一下关于Hadoop环境中管理大资料储存技巧。
在现如今，随着IT互联网资讯科技的飞速发展和进步。目前大资料行业也越来越火爆，从而导致国内大资料人才也极度缺乏，下面介绍一下关于Hadoop环境中管理大资料储存技巧。
1、分散式储存
传统化集中式储存存在已有一段时间。但大资料并非真的适合集中式储存架构。Hadoop设计用于将计算更接近资料节点，同时采用了HDFS档案系统的大规模横向扩充套件功能。
虽然，通常解决Hadoop管理自身资料低效性的方案是将Hadoop资料储存在SAN上。但这也造成了它自身效能与规模的瓶颈。现在，如果你把所有的资料都通过集中式SAN处理器进行处理，与Hadoop的分散式和并行化特性相悖。你要么针对不同的资料节点管理多个SAN，要么将所有的资料节点都集中到一个SAN。
但Hadoop是一个分散式应用，就应该执行在分散式储存上，这样储存就保留了与Hadoop本身同样的灵活性，不过它也要求拥抱一个软件定义储存方案，并在商用服务器上执行，这相比瓶颈化的Hadoop自然更为高效。
在这里还是要推荐下我自己建的大资料学习交流群:529867072，群里都是学大资料开发的，如果你正在学习大资料 ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有大资料软件开发相关的），包括我自己整理的一份最新的大资料进阶资料和高阶开发教程，欢迎进阶中和进想深入大资料的小伙伴加入。
2、超融合VS分散式
注意，不要混淆超融合与分散式。某些超融合方案是分散式储存，但通常这个术语意味着你的应用和储存都储存在同一计算节点上。这是在试图解决资料本地化的问题，但它会造成太多资源争用。这个Hadoop应用和储存平台会争用相同的内存和CPU。Hadoop执行在专有应用层，分散式储存执行在专有储存层这样会更好。之后，利用快取和分层来解决资料本地化并补偿网络效能损失。
3、避免控制器瓶颈(ControllerChokePoint)
实现目标的一个重要方面就是——避免通过单个点例如一个传统控制器来处理资料。反之，要确保储存平台并行化，效能可以得到显著提升。
此外，这个方案提供了增量扩充套件性。为资料湖新增功能跟往里面扔x86服务器一样简单。一个分散式储存平台如有需要将自动新增功能并重新调整资料。
4、删重和压缩
掌握大资料的关键是删重和压缩技术。通常大资料集内会有70%到90%的资料简化。以PB容量计，能节约数万美元的磁盘成本。现代平台提供内联(对比后期处理)删重和压缩，大大降低了储存资料所需能力。
5、合并Hadoop发行版
很多大型企业拥有多个Hadoop发行版本。可能是开发者需要或是企业部门已经适应了不同版本。无论如何最终往往要对这些丛集的维护与运营。一旦海量资料真正开始影响一家企业时，多个Hadoop发行版储存就会导致低效性。我们可以通过建立一个单一，可删重和压缩的资料湖获取资料效率
6、虚拟化Hadoop
虚拟化已经席卷企业级市场。很多地区超过80%的物理服务器现在是虚拟化的。但也仍有很多企业因为效能和资料本地化问题对虚拟化Hadoop避而不谈。
7、建立弹性资料湖
建立资料湖并不容易，但大资料储存可能会有需求。我们有很多种方法来做这件事，但哪一种是正确的?这个正确的架构应该是一个动态，弹性的资料湖，可以以多种格式(架构化，非结构化，半结构化)储存所有资源的资料。更重要的是，它必须支援应用不在远端资源上而是在本地资料资源上执行。
不幸的是，传统架构和应用(也就是非分散式)并不尽如人意。随着资料集越来越大，将应用迁移到资料不可避免，而因为延迟太长也无法倒置。
理想的资料湖基础架构会实现资料单一副本的储存，而且有应用在单一资料资源上执行，无需迁移资料或制作副本。
8、整合分析
分析并不是一个新功能，它已经在传统RDBMS环境中存在多年。不同的是基于开源应用的出现，以及数据库表单和社交媒体，非结构化资料资源(比如，维基百科)的整合能力。关键在于将多个数据型别和格式整合成一个标准的能力，有利于更轻松和一致地实现视觉化与报告制作。合适的工具也对分析/商业智慧专案的成功至关重要。
