×

Hadoop 教程

Hadoop 关于Hadoop 简介Hadoop HDFSHadoop 环境设置Hadoop 写文件Hadoop 读文件Hadoop 可靠性Hadoop 命令工具Hadoop YARNHadoop ResourceManagerHadoop NodeManagerHadoop ApplicationMasterHadoop ContainerHadoop FailoverHadoop MapReduceHadoop 读取数据Hadoop MapperHadoop ShuffleHadoop 编程Hadoop IOHadoop 测试Hadoop 安装Hadoop 配置Hadoop 监控Hadoop 参考

Hadoop 相关教程

Hadoop 大数据概述Hadoop 大数据解决方案Hadoop HDFS概述Hadoop HDFS操作Hadoop 命令参考Hadoop 流Hadoop 多节点集群

Hadoop 大数据解决方案


传统方法

在这种方法中,企业将具有存储和处理大数据的计算机。这里的数据将存储在RDBMS如Oracle数据库,MS SQL Server或DB2和复杂的软件可以写入与数据库交互,处理所需的数据,并将其呈现给用户进行分析。

大数据传统方法

局限性

这种方法在我们的标准数据库服务器可以容纳的数据量较少,或者正在处理数据的处理器的限制时运行良好。但是,当涉及到处理大量的数据时,通过传统的数据库服务器处理这样的数据真是一个单调乏味的任务。

谷歌的解决方案

Google使用称为MapReduce的算法解决了这个问题。该算法将任务分成小部分,并将这些部分分配给通过网络连接的许多计算机,并收集结果以形成最终结果数据集。

谷歌的MapReduce

上图显示了各种商品硬件,可能是单CPU机或具有更高容量的服务器。

Hadoop

Doug Cutting,Mike Cafarella和团队采用了Google提供的解决方案,并于2005年开始了一个名为HADOOP的开源项目,Doug在他儿子的玩具大象之后命名了它。现在Apache Hadoop是Apache Software Foundation的注册商标。

Hadoop使用MapReduce算法运行应用程序,其中数据在不同的CPU节点上并行处理。总之,Hadoop框架足以开发能够在计算机集群上运行的应用程序,并且他们可以对大量数据执行完整的统计分析。

Hadoop框架

分类导航

关注微信下载离线手册

bootwiki移动版 bootwiki
(群号:472910771)