面对当前这样的商业环境:在每一条现有的渠道上全天候不间断地开展业务,公司需要收集、存储、跟踪和分析海量数据——从点击流数据和事件日志到手机通话记录的各种数据。
而这一切都是需要企业和环境付出成本的:数据仓库和存放数据仓库的庞大数据中心耗用大量电能,运行大批服务器和冷却服务器都需要耗电。那么,这方面的耗电量有多大呢?据估计,每年的耗电量多达惊人的610亿千瓦时,据估计成本高达45亿美元。
IT行业已经开始通过各种方法,应对数据中心能耗巨大的问题,包括使用更高效的冷却系统、虚拟化技术、刀片服务器和存储区域网络。但一个根本的挑战仍然存在——随着数据量急剧增加,注重硬件设备的数据仓库方法只能继续通过部署更多硬件来应对这个问题。这样一来,通过更好的冷却技术或结构更紧凑的服务器在节能方面获得的任何好处很快就荡然无存。
为了尽量缩减硬件足迹(hardware footprint),许多企业还通过首先搞清楚信息分析需要多少服务器空间和资源,以减小“数据足迹”(data footprint)。如果企业能将明显旨在分析海量数据的新型数据库技术和成本合理、高效利用资源的开源软件结合起来,就有助于节省资金、提高节能效果。
企业可以从以下三个主要方面来开展这项工作:缩减数据足迹、减少部署资源以及减少日常管理和维护。下面更深入地分析每个方面:
一、缩减数据足迹
近年来,面向列的数据库已被许多人认为是分析海量数据的首选架构。面向列的数据库是以逐列的方式,而不是逐行的方式来存储数据。这有许多优点。大多数分析查询只涉及表中的一小部分列,所以面向列的数据库只要关注检索需要的那部分数据。这加快了查询速度,又减少了磁盘的输入/输出和计算资源。
此外,这种数据库能够高效地压缩数据,因为每一列只存储了一种数据类型,而不是每一行通常含有几种数据类型。可以针对每一种数据类型来优化压缩,这减小了数据库所需的存储量。面向列的数据库还大大加快了查询处理速度,因而大幅增加了服务器能够处理的并发查询数量。
如今市面上有一系列面向列的解决方案。有些重复数据所需要的硬件足迹与基于行的传统系统一样大。另一些解决方案将列技术与其他技术相结合,因而不需要重复数据。这就意味着用户不需要一样多的服务器或一样大的存储器来分析同样多的数据。
比如说,一些面向列的数据库能够达到的压缩效果从10:1(一个10TB的数据库变成1TB的数据库)到40:1以上,具体取决于数据。借助这样的压缩级别,分布式服务器环境就可以缩小20倍至50倍,可缩减至单单一个设备——大幅减少了散热量、耗电量和碳排放量。
虚拟数据集市也闪亮登场,充分利用企业信息集成(EII)技术,让用户能够以精准的视角了解数据集,又不需要物理存储器。这种方法的缺点是,复杂查询速度可能很慢,分析要求需要以近实时的方式查询数据时,这会是个问题。
开源码软件则进一步提高了资源的利用效率,因为它通常不需要专有硬件或专业设备。
特别声明:本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者在两周内速来电或来函联系。