节点 框架 软体 权利 本文 参考资料 如许 资本 号令 过程 消息 次序 结果 数据 简明 集群 自力 议论 范畴 才华 细致 带宽 目次 物理 概念 工程师 需求 效果 任务 文件 时间 更多 组合 大年夜 牢靠 平安 公司 映像 抢手 伸缩 示例 计谋 长处 开端 愈来愈 低级 文件系统 中国 使用方法 磁盘
Yong∴linuxHe∴apachehadoopTing∴Zhi∴Yun∴Pan∴SuandeveloperWorks 中国gt。 AIX and UNIX| Linuxgt。
用 Linux 和 Apache Hadoop 停止云盘算
级别 低级
Yi Ming Huang! 软体工程师! IBM
Zhao Hui Nie! 软体工程师! IBM
2009 年 11 月 19 日
IBM !Google!VMWare 和 Amazon 等公司曾经开端供给云盘算产品和计谋本文解说若何使用 Apache Hadoop 建立壹个 MapReduce 框架以建立 Hadoop 集群!和若何创立正在 Hadoop 上运转的示例 MapReduce 使用次序递次还将议论若何正在云上设置消耗时间/磁盘的权利 云盘算简介
迩来云盘算愈来愈抢手了!云盘算曾经被看作 IT 业的新趋势云盘算能够精确地定义为使用自己情况以外的某壹效劳供给的可伸缩盘算资本!并按使用量付费能够经过 Internet 访问 云 中的任何资本!而不需求担心盘算才华!带宽!存储!平安性和牢靠性等效果
本文简明引见 Amazon EC2 如许的云盘算平台!能够租借这类平台上的虚拟 Linux 效劳器然后引见关闭源码 MapReduce 框架 Apache Hadoop!这个框架将建立正在虚拟 Linux 效劳器中以建立云盘算框架可是!Hadoop 不只能够安排正在任何厂商供给的 VM 上!还能够安排正在物理机械上的一般 Linux OS 中
正在议论 Apache Hadoop 之前!我们先简明引见壹下云盘算系统的结构 1 浮现云盘算的各个层和现有的壹些效劳对于云盘算的各个层的细致消息!请拜见 参考资料
基础装备即效劳 基于 Linux!能够运转您需求的任何使用次序递次或者软体正在从 Amazon 租借效劳器以后!能够像看待物理效劳器壹样使用一般的 SSH 东西设置连接和保护效劳器
对 EC2 的细致引见超越了本文的范畴更多消息请拜见 参考资料
安排 Hadoop 云盘算框架的最好方法是把它安排正在 AMI 上!如许能够应用云资本!不需求考虑盘算才华!带宽!存储等效果可是!正在本文的下壹局部中!我们将正在本土的 Linux 效劳器 VMWare 映像中建立 Hadoop!因为 Hadoop 不只实用于云处理计划正在此之前!我们先引见壹下 Apache Hadoop
Apache Hadoop
Apache Hadoop 是壹个软体框架!它能够集布式地安排少量数据它于 2006 年出现!由 Google!Yahoo 和 IBM 等公司支撑能够认为它是壹种 PaaS 模型
它的设想核心是 MapReduce 完成和 HDFS !它们源自 MapReduce和 Google File System
MapReduce
MapReduce 是 Google 引进的壹个软体框架!它支撑正在盘算机集群上对大年夜型数据集停止集布式盘算它由两个过程构成!映照和扩充
正在映照过程当中!主节点接收输进!把输进联系为更小的子权利!然后把这些子权利集布就任务者节点
任务者节点处理这些小权利!把结果前往给主节点
然后!正在扩充过程当中!主节点把壹切子权利的结果组合成输进!这就是原权利的结果
2 说明 MapReduce 流程的概念
MapReduce 的长处是它答应对映照和扩充操纵停止集布式处理因为每个映照操纵都是自力的!壹切映照都能够并行施行!这会增加合盘算时间
HDFS
对 HDFS 及其使用方法的完整引见超越了本文的范畴更多消息请拜见 参考资料
从终究用户的角度来看!HDFS 就像保守的文件系统壹样能够使用目次道路对文件施行 CRUD 操纵可是!因为集布式存储的本质!有 NameNode和 DataNode 的概念!它们承当各自的义务
NameNode 是 DataNode 的主节点它正在 HDFS 中供给元数据效劳元数传闻明 DataNode 的文件映照它还接出操纵号令并决定哪些 DataNode 该当施行操纵和复制
DataNode 作为 HDFS 的存储块它们还呼应从 NameNode 接收的块创立!增除和复制号令
JobTracker 和 TaskTrackerdeveloperWorks 中国gt。 AIX and UNIX| Linuxgt。用 Linux 和 Apache Hadoop 停止云盘算 级别 低级 Yi Ming
飞扬黑客网 http://www.gdwkb.cn
Yong∴linuxHe∴apachehadoopTing∴Zhi∴Yun∴Pan∴SuandeveloperWorks 中国gt。 AIX and UNIX| Linuxgt。
用 Linux 和 Apache Hadoop 停止云盘算
级别 低级
Yi Ming Huang! 软体工程师! IBM
Zhao Hui Nie! 软体工程师! IBM
2009 年 11 月 19 日
IBM !Google!VMWare 和 Amazon 等公司曾经开端供给云盘算产品和计谋本文解说若何使用 Apache Hadoop 建立壹个 MapReduce 框架以建立 Hadoop 集群!和若何创立正在 Hadoop 上运转的示例 MapReduce 使用次序递次还将议论若何正在云上设置消耗时间/磁盘的权利 云盘算简介
迩来云盘算愈来愈抢手了!云盘算曾经被看作 IT 业的新趋势云盘算能够精确地定义为使用自己情况以外的某壹效劳供给的可伸缩盘算资本!并按使用量付费能够经过 Internet 访问 云 中的任何资本!而不需求担心盘算才华!带宽!存储!平安性和牢靠性等效果
本文简明引见 Amazon EC2 如许的云盘算平台!能够租借这类平台上的虚拟 Linux 效劳器然后引见关闭源码 MapReduce 框架 Apache Hadoop!这个框架将建立正在虚拟 Linux 效劳器中以建立云盘算框架可是!Hadoop 不只能够安排正在任何厂商供给的 VM 上!还能够安排正在物理机械上的一般 Linux OS 中
正在议论 Apache Hadoop 之前!我们先简明引见壹下云盘算系统的结构 1 浮现云盘算的各个层和现有的壹些效劳对于云盘算的各个层的细致消息!请拜见 参考资料
基础装备即效劳 基于 Linux!能够运转您需求的任何使用次序递次或者软体正在从 Amazon 租借效劳器以后!能够像看待物理效劳器壹样使用一般的 SSH 东西设置连接和保护效劳器
对 EC2 的细致引见超越了本文的范畴更多消息请拜见 参考资料
安排 Hadoop 云盘算框架的最好方法是把它安排正在 AMI 上!如许能够应用云资本!不需求考虑盘算才华!带宽!存储等效果可是!正在本文的下壹局部中!我们将正在本土的 Linux 效劳器 VMWare 映像中建立 Hadoop!因为 Hadoop 不只实用于云处理计划正在此之前!我们先引见壹下 Apache Hadoop
Apache Hadoop
Apache Hadoop 是壹个软体框架!它能够集布式地安排少量数据它于 2006 年出现!由 Google!Yahoo 和 IBM 等公司支撑能够认为它是壹种 PaaS 模型
它的设想核心是 MapReduce 完成和 HDFS !它们源自 MapReduce和 Google File System
MapReduce
MapReduce 是 Google 引进的壹个软体框架!它支撑正在盘算机集群上对大年夜型数据集停止集布式盘算它由两个过程构成!映照和扩充
正在映照过程当中!主节点接收输进!把输进联系为更小的子权利!然后把这些子权利集布就任务者节点
任务者节点处理这些小权利!把结果前往给主节点
然后!正在扩充过程当中!主节点把壹切子权利的结果组合成输进!这就是原权利的结果
2 说明 MapReduce 流程的概念
MapReduce 的长处是它答应对映照和扩充操纵停止集布式处理因为每个映照操纵都是自力的!壹切映照都能够并行施行!这会增加合盘算时间
HDFS
对 HDFS 及其使用方法的完整引见超越了本文的范畴更多消息请拜见 参考资料
从终究用户的角度来看!HDFS 就像保守的文件系统壹样能够使用目次道路对文件施行 CRUD 操纵可是!因为集布式存储的本质!有 NameNode和 DataNode 的概念!它们承当各自的义务
NameNode 是 DataNode 的主节点它正在 HDFS 中供给元数据效劳元数传闻明 DataNode 的文件映照它还接出操纵号令并决定哪些 DataNode 该当施行操纵和复制
DataNode 作为 HDFS 的存储块它们还呼应从 NameNode 接收的块创立!增除和复制号令
JobTracker 和 TaskTrackerdeveloperWorks 中国gt。 AIX and UNIX| Linuxgt。用 Linux 和 Apache Hadoop 停止云盘算 级别 低级 Yi Ming
飞扬黑客网 http://www.gdwkb.cn
