|
大数据革命正FAApache Hadoop为中心如火如荼的进行着。自从开源分布式数据处理平台在5年前发布时讨论之声就不绝于耳。但在过去的18个月中，Hadoop赢得了客户的认可，并得到众多商业化的支持以及众多数据库和数据集成软件商的整合。在众多厂商之中最著名的三个商业数据供应商当属orack、IBM 和Microsoft。
Hadoop会在未来成为大数据的重大技术吗？
Hadoop是一个基于Java的分布式密集数据处理和数据分析的软件框架。Hadoop在很大程度上是受Google在2004年白皮书中阐述的MapReduce的技术启发。MapReduce工作原理是将任务分解为成百上千块的小任务，然后发送到计算机集群中。每台计算机再传送会自己那部分信息，MapReduce则迅速整合这些反馈并形成答案。
Hadoop的扩展性非常优秀，Hadoop可处理分布在数以千计的低成本x86服务器计算节点中的大型数据。同时由于众所周知的摩尔定律，内存和磁盘的容量也在不断增长。Hadoop对硬件的支持也在加强，现在每个节点可部署16核的处理器，12TB甚至24TB磁盘。Cloudera透露其推出的产品每个节点的成本大约4000美元。这个价格对于关系数据库部署每TB 10000至12000美元来说极具竞争优势。
这种高容量低成本的组合引人注目，但Hadoop最吸引人的是其处理混合数据类型的能力。
Hadoop可以管理结构化数据，以及诸如服务器日志文件和Web点击流的数据。同时还可以管理以非结构化文本为中心的数据，如Facebook和Twitter。这种处理多类型数据能力非常重要。它催生了NoSQL平台和产品。而传统关系型数据库如Oracle， IBM DB2， Microsoft SQLServer和MySQL则都不能处理混合数据类型和非结构化数据。由于事务处理灵活性的需求，Hadoop获得大多数数据分析厂商的关注和支持。
[page] Hadoop已被广泛应用
现今，Hadoop已被认为是非结构化数据的专用技术。低成本、高扩展性和灵活性等优势已成为处理大规模点击流量分析和广告定位等网络巨头（如AOL和comScore）的首选。
AOL三年多时间一直使用Hadoop。AOL的研发团队在加利福尼亚州的Mountain View部署了300节点的系统，该系统可以存储每天数十亿事件和超过500TB的点击流数据。点击所带来流数据是高度结构化的，但数据量是非常庞大和多样的。所以几乎不可能处理所有的提取、转换和负载工作。AOL为了解决以上问题决定使用HadoopMapReduce处理分布在数百个计算节点的数据过滤和关联任务。由于Hadoop为业务带来的优势，AOL的Hadoop研发团队在今年四月在其总部部署了700节点的系统。
Hadoop适用于所有类型数据的特性注定将使Hadoop在更广泛的领域使用。例如提供托管服务和中小型企业应用服务提供商SunGrad。他们将计划推出基于云的托管服务，旨在帮助金融服务公司处理他们基于Hadoop MapReduce的数据处理。
商用软件厂商Tidemark最近也推出一款SaaS软件，这种基于云的性能管理应用使用MapReduce将混合数据源转化为产品或金融规划方案。
（编辑：宁德站长网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
