Linux中Centos7搭建Hadoop服務(wù)步驟
下載Hadoop 官網(wǎng)：http://hadoop.apache.org/releases.html
先配置jdk環(huán)境（教程：http://m.fzitv.net/article/108936.htm）
下載以后 解壓到到/usr/local
tar -zxvf hadoop-2.8.0.tar.gz -C /usr/local
為了方便操作 把hadoop-2.8.0 改為hadoop
mv /usr/local/hadoop-2.8.0 /usr/local/hadoop
查看主機(jī)名
hostname //第一個(gè)參數(shù)為主機(jī)名
檢查是否可以免密碼
ssh localhost //這里的localhost為主機(jī)名
注意：一般初次安裝都需要密碼
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
再次驗(yàn)證
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
注意：如沒(méi)有Enter password 就說(shuō)明免密碼了
配置環(huán)境變量
vim /etc/profile
末尾添加
export HADOOP_HOME=/usr/local/hadoop export PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$HADOOP_HOME/bin
使環(huán)境變量立即生效
source /etc/profile
創(chuàng)建Hadoop的臨時(shí)文件存放地
mkdir /usr/local/hadoop/tmp
編輯Hadoop的配置文件
cd /usr/local/hadoop/etc/hadoop/ vim hadoop-env.sh
末尾添加
export JAVA_HOME=/usr/local/java/jdk1.8.0_131/ export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
注意：路徑要對(duì)
使環(huán)境變量立即生效
source hadoop-env.sh
配置另一個(gè)文件
vim core-site.xml
在<configuration></configuration>中添加以下內(nèi)容
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
</property>
配置下一個(gè)文件 hdfs-site.xml
vim hdfs-site.xml
在<configuration></configuration>中添加以下內(nèi)容
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
配置下一個(gè)文件mapred-site.xml 因?yàn)檫@個(gè)文件默認(rèn)不存在 我們把mapred-site.xml.template作為模板來(lái)配置
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
在<configuration></configuration>中添加以下內(nèi)容
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
配置下下個(gè)文件yarn-site.xml
vim yarn-site.xml
在<configuration></configuration>中添加以下內(nèi)容
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
配置最后一個(gè)文件yarn-env.sh
vim yarn-env.sh
注意：在第23行左右 export JAVA_HOME （刪除# 去掉注釋），并更改正確jdk的路徑
格式化namenode
cd /usr/local/hadoop bin/hdfs namenode-format
注意：成功的話，會(huì)看到 “successfully formatted” 和 “Exitting withstatus 0” 的提示，若為 “Exitting with status 1” 則是出錯(cuò)了
通過(guò)腳本啟動(dòng)hdfs
sbin/start-dfs.sh
打開瀏覽器訪問(wèn)http://localhost:50070，驗(yàn)證是否hdfs配置成功
再來(lái)啟動(dòng)yarn
sbin/start-yarn.sh
打開瀏覽器訪問(wèn)http://localhost:8088，驗(yàn)證yarn是否配置成功
注意：由于瀏覽器存在緩存問(wèn)題 打開地址可能會(huì)失敗關(guān)閉瀏覽器 重新打開一兩次就好，如果還是失敗 檢查配置文件是否有誤
查看已啟動(dòng)的hadoop進(jìn)程
jps
注意：如果沒(méi)有 NameNode 或 DataNode ，那就是配置不成功
相關(guān)文章
詳解Centos7.2編譯安裝zabbix3.2（詳細(xì)步驟）
這篇文章主要介紹了詳解Centos7.2編譯安裝zabbix3.2（詳細(xì)步驟），小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-02-02
這篇文章主要介紹了linux如何停止jar包進(jìn)程問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-05-05
今天小編就為大家分享一篇linux直接運(yùn)行py文件的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-06-06
本文給大家匯總介紹了Apache的虛擬目錄的簡(jiǎn)單使用方法的知識(shí)，非常的簡(jiǎn)單實(shí)用，有需要的小伙伴可以參考下2018-08-08
這篇文章主要介紹了Linux sar命令使用方法及代碼實(shí)例解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08
這篇文章主要為大家詳細(xì)介紹了Linux開機(jī)啟動(dòng)過(guò)程，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-04-04
這篇文章主要介紹了Linux的庫(kù)文件的相關(guān)內(nèi)容，小編覺(jué)得很不錯(cuò)，在這里分享給大家。希望給大家一個(gè)參考。2017-10-10
shell腳本批量執(zhí)行ping和telnet測(cè)試網(wǎng)絡(luò)方式
文章介紹了如何通過(guò)創(chuàng)建shell腳本來(lái)簡(jiǎn)化本地網(wǎng)絡(luò)測(cè)試任務(wù),包括ping和telnet測(cè)試,文章詳細(xì)描述了腳本的創(chuàng)建、編輯、賦予執(zhí)行權(quán)限以及執(zhí)行的步驟,并提供了具體的腳本示例2024-12-12
如何使用win10內(nèi)置的linux系統(tǒng)啟動(dòng)spring-boot項(xiàng)目
這篇文章主要介紹了如何使用​win10內(nèi)置的linux系統(tǒng)啟動(dòng)spring-boot項(xiàng)目,需要的朋友可以參考下2020-07-07
淺談Linux 網(wǎng)絡(luò) I/O 模型簡(jiǎn)介（圖文）
這篇文章主要介紹了淺談Linux 網(wǎng)絡(luò) I/O 模型簡(jiǎn)介（圖文），小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-12-12