快捷導(dǎo)航

hadoop 單機(jī)安裝配置教程

更新時(shí)間：2012年11月26日 14:59:20 作者：

單機(jī)安裝主要用于程序邏輯調(diào)試。安裝步驟基本通分布式安裝，包括環(huán)境變量，主要Hadoop配置文件，SSH配置等,需要的朋友可以參考下

單機(jī)安裝主要用于程序邏輯調(diào)試。安裝步驟基本通分布式安裝，包括環(huán)境變量，主要Hadoop配置文件，SSH配置等。主要的區(qū)別在于配置文件：slaves配置需要修改，另外如果分布式安裝中dfs.replication大于1，需要修改為1，因?yàn)橹挥?個(gè)datanode.
分布式安裝請參考：
http://acooly.iteye.com/blog/1179828
單機(jī)安裝中，使用一臺機(jī)器，即做namenode和JobTracker也是datanode和TaskTracker，當(dāng)然也是SecondaryNameNode。
主要配置文件core-site.xml,hdfs-site.xml,mapred-site.xml,masters完全同分布樹安裝配置，如果分布式安裝配置方案中hdfs-site.xml的副本數(shù)量定義大于1，則修改為1.

復(fù)制代碼代碼如下:

 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 

主要不同在于slaves的配置，分布式安裝中是多個(gè)其他機(jī)器作為datanode，單機(jī)模式本機(jī)是datanode,所以修改slaves配置文件為本機(jī)的域名。如：本機(jī)機(jī)器名為hadoop11,則：
[hadoop@hadoop11 ~]$ cat hadoop/conf/slaves
hadoop11
完成配置后，啟動：

復(fù)制代碼代碼如下:

 
$ start-all.sh 
$ jps 
Jps 
JobTracker 
TaskTracker 
SecondaryNameNode 
DataNode 
NameNode 

運(yùn)行DEMO
$ echo word1 word2 word2 word3 word3 word3 > words
$ cat words
word1 word2 word2 word3 word3 word3
$ hadoop dfsadmin -safemode leave
$ hadoop fs -copyFromLocal words /single/input/words
$ hadoop fs -cat /single/input/words
12/02/17 19:47:44 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
word1 word2 word2 word3 word3 word3
$ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar wordcount /single/input /single/output
......
$ hadoop fs -ls /single/output
......
-rw-r--r-- 1 hadoop supergroup 0 2012-02-17 19:50 /single/output/_SUCCESS
-rw-r--r-- 1 hadoop supergroup 24 2012-02-17 19:50 /single/output/part-r-00000
$ hadoop fs -cat /single/output/part-r-00000
......
word1 1
word2 2
word3 3

您可能感興趣的文章:

相關(guān)文章

Java使用TCP實(shí)現(xiàn)在線聊天的示例代碼
這篇文章主要介紹了Java使用TCP實(shí)現(xiàn)在線聊天的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-01-01
Java Swing實(shí)現(xiàn)簡單的體重指數(shù)(BMI)計(jì)算器功能示例
這篇文章主要介紹了Java Swing實(shí)現(xiàn)簡單的體重指數(shù)(BMI)計(jì)算器功能,涉及Java Swing窗口組件布局、響應(yīng)及數(shù)值運(yùn)算相關(guān)操作技巧,需要的朋友可以參考下
2017-12-12
Java實(shí)現(xiàn)簡易Web服務(wù)器
這篇文章主要為大家詳細(xì)介紹了Java實(shí)現(xiàn)簡易Web服務(wù)器的相關(guān)方法，想要制作Web服務(wù)器的朋友可以參考本文
2016-02-02
JsonProperty及JSONField注解的使用說明
文章介紹了兩個(gè)常用的Java庫注解：Jackson的@JsonProperty和Fastjson的@JSONField,它們用于控制Java對象與JSON數(shù)據(jù)之間的序列化和反序列化,文章詳細(xì)說明了這兩個(gè)注解的常見屬性及其使用場景,包括指定屬性名、控制字段可見性、設(shè)置默認(rèn)值和標(biāo)記字段的必需性
2024-12-12
Java中的繼承關(guān)系與方法覆蓋
這篇文章主要介紹了Java中的繼承關(guān)系與方法覆蓋,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2024-03-03
Java 獲取本機(jī)的IP與MAC地址實(shí)現(xiàn)詳解
這篇文章主要介紹了Java 獲取本機(jī)的IP與MAC地址實(shí)現(xiàn)詳解的相關(guān)資料,需要的朋友可以參考下
2016-09-09
詳細(xì)總結(jié)Java組合模式
今天帶大家了解Java設(shè)計(jì)模式中的組合模式,下文中對組合模式介紹的非常詳細(xì),還有相關(guān)代碼,對正在學(xué)習(xí)Java的小伙伴們很有幫助,需要的朋友可以參考下
2021-05-05
MyBatisPlus代碼生成器的原理及實(shí)現(xiàn)詳解
這篇文章主要為大家詳細(xì)介紹了MyBatisPlus中代碼生成器的原理及實(shí)現(xiàn)，文中的示例代碼講解詳細(xì)，對我們學(xué)習(xí)MyBatisPlus有一定幫助，需要的可以參考一下
2022-08-08
Spring中的@ExceptionHandler注解統(tǒng)一異常處理詳解
這篇文章主要介紹了Spring中的@ExceptionHandler注解統(tǒng)一異常處理詳解,當(dāng)我們使用這個(gè)@ExceptionHandler注解時(shí),定義一個(gè)異常的處理方法,加上@ExceptionHandler注解,這個(gè)方法就會處理類中其他方法拋出的異常,需要的朋友可以參考下
2024-01-01
java UDP實(shí)現(xiàn)一個(gè)聊天工具的示例代碼
這篇文章主要介紹了java UDP實(shí)現(xiàn)一個(gè)聊天工具的示例代碼,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2021-01-01