hadoop入門之hadoop集群驗(yàn)證任務(wù)存放在不同的節(jié)點(diǎn)上
我要評(píng)論Linux環(huán)境：CentOs6.4
Hadoop版本：Hadoop-1.1.2
master: 192.168.1.241 NameNode JobTracker DataNode TaskTracker
slave:192.168.1.242 DataNode TaskTracker
內(nèi)容：想hadoop文件系統(tǒng)中上傳一個(gè)大文件，驗(yàn)證文件分別分布在192.168.1.241節(jié)點(diǎn)和192.168.1.242節(jié)點(diǎn)上。
第一步： 前期工作：搭建Hadoop集群，
在hdfs-site.xml中的配置為2.
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
運(yùn)行執(zhí)行start-all.sh命令，運(yùn)行結(jié)果如圖所示：
查看9000和9001的信息
9000是HDFS的入口9001是MapReduce的JobTracker的入口
從以上圖中可以確定Ip地址為192.168.1.241.
第二步：通過網(wǎng)頁查看節(jié)點(diǎn)的個(gè)數(shù)。在瀏覽器中輸入http://localhost:50070
以上看到LiveNodes的個(gè)數(shù)為2，說明啟動(dòng)成功。
第三步：上傳大文件。具體步驟如圖所示：
通過網(wǎng)頁查看運(yùn)行狀況：
大文件已經(jīng)上傳成功.文件的大小是244.91MBlock的大小是64M。所以每個(gè)節(jié)點(diǎn)能夠有4個(gè)Block。
Replication為2，表明每個(gè)Block有2個(gè)備份。
查看節(jié)點(diǎn)的使用情況：
從圖中可以看出，此文件分成了4個(gè)Block。（TotalNumberofblocks：4）。
每個(gè)Block在兩個(gè)節(jié)點(diǎn)上進(jìn)行了備份，分別是192.168.1.241192.168.1.242
hadoop集群至此測試結(jié)束。測試成功。
相關(guān)文章
hadoop入門之統(tǒng)計(jì)單詞在文件中出現(xiàn)的個(gè)數(shù)示例
本文主要介紹了hadoop統(tǒng)計(jì)單詞在文件中出現(xiàn)的個(gè)數(shù)的示例，大家參考使用吧2014-02-16hadoop入門之驗(yàn)證hdfs是否能夠正常運(yùn)行的方法
本文主要介紹了hadoop驗(yàn)證hdfs是否能夠正常運(yùn)行的方法，大家參考使用吧2014-02-16hadoop入門之通過頁面驗(yàn)證hadoop是否安裝成功的方法
本文主要介紹了通過頁面驗(yàn)證hadoop是否安裝成功的方法，大家參考使用吧2014-02-16- 本文本主要介紹在win7上搭建hadoop開發(fā)環(huán)境，大家參考使用吧2013-12-31
Hadoop權(quán)威指南（中文版） ((美) Tom White ) pdf掃描版
本書從hadoop的緣起開始，由淺入深，結(jié)合理論和實(shí)踐，全方位地介紹hado叩這一高性能處理海量數(shù)據(jù)集的理想工具2013-11-27
這篇教程從用戶的角度出發(fā)，全面介紹了Hadoop Map Reduce框架的各個(gè)方面，涉及到Hadoop的安裝、概述、輸入與輸出、相關(guān)的例子和用戶界面等2013-08-07
Hadoop分布式文件系統(tǒng)使用指南 中文pdf版
一本Hadoop教程，講述Hadoop分布式文件系統(tǒng)的使用，WEB接口、Shell命令、Secondary Namenode、Rebalancer、機(jī)架感知、安全模式、Fack、升級(jí)和回滾、文件權(quán)限和安全性、可擴(kuò)2013-08-07Hadoop datanode重新加載失敗無法啟動(dòng)現(xiàn)象解決方法介紹
本人的解決方法適用于首次已經(jīng)成功啟動(dòng)整個(gè)集群，但是由于不正常的操作造成第二次無法正常啟動(dòng)。首次的啟動(dòng)失敗可能原因有很多：可能是由于配置文件錯(cuò)誤寫入造成的，或是由2013-07-29
Hadoop實(shí)戰(zhàn)中文版 pdf掃描版 (美) 拉姆 34M 人民郵電出版社
Hadoop實(shí)戰(zhàn)》適合需要處理大量離線數(shù)據(jù)的云計(jì)算程序員、架構(gòu)師和項(xiàng)目經(jīng)理閱讀參考2012-10-20
hadoop權(quán)威指南(第2版)》從hadoop的緣起開始，由淺入深，結(jié)合理論和實(shí)踐，全方位地介紹hadoop這一高性能處理海量數(shù)據(jù)集的理想工具2012-08-21
