Linux下安裝Hadoop集群詳細(xì)步驟
更新時(shí)間：2021年12月17日 16:28:32 作者：七號(hào)樓少女..
大家好，本篇文章主要講的是Linux下安裝Hadoop集群詳細(xì)步驟，感興趣的同學(xué)趕快來(lái)看一看吧，對(duì)你有幫助的話記得收藏一下，方便下次瀏覽
1.在usr目錄下創(chuàng)建Hadoop目錄，將安裝包導(dǎo)入目錄中并解壓文件
?
2.進(jìn)入vim /etc/profile文件并編輯配置文件
#hadoop export HADOOP_HOME=/usr/hadoop/hadoop-2.6.0 export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib export PATH=$PATH:$HADOOP_HOME/bin
3.使文件生效
source /etc/profile
4.進(jìn)入Hadoop目錄下
cd /usr/hadoop/hadoop-2.6.0/etc/hadoop
5.編輯配置文件
（1）進(jìn)入vim hadoop-env.sh文件添加（java jdk文件所在位置）
export JAVA_HOME=/usr/java/jdk1.8.0_181
?（2）進(jìn)入 vim core-site.xml（z1:在主節(jié)點(diǎn)的ip或者映射名(改成自己的)）
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/root/hadoop/tmp</value>
</property>
<!--端口號(hào)9000-->
<property>
<name>fs.default.name</name>
<value>hdfs://z1:9000</value>
</property>
<!--開啟垃圾桶機(jī)制單位分鐘-->
<property>
<name>fs.trash .insterval</name>
<value>10080</value>
</property>
<!--緩沖區(qū)大小，實(shí)際工作根據(jù)服務(wù)器性能-->
<property>
<name>io.file. buffer.sizei</name>
<value>4096</value>
</property>
</configuration>
39,9 底端
（3）Hadoop沒(méi)有mapred-site.xml這個(gè)文件現(xiàn)將文件復(fù)制到這然后進(jìn)入mapred-site.xml
cp mapred-site.xml.template mapred-site.xml vim mapred-site.xml
?（z1:在主節(jié)點(diǎn)的ip或者映射名(改成自己的)）
<configuration>
<property>
<!--指定Mapreduce運(yùn)行在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!--開啟MapReduce的小任務(wù)模式-->
<property>
<name>mapred.job.ubertask.enable</name>
<value>true</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>z1:9001</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>CMaster:10020</value>
</property>
</configuration>
?（4）進(jìn)入yarn-site.xml
vim yarn-site.xml
??（z1:在主節(jié)點(diǎn)的ip或者映射名(改成自己的)）
<configuration>
<!-- Site specific YARN configuration properties -->
<!--配置yarn主節(jié)點(diǎn)的位置-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>z1</value>
</property>
<property>
<!-- mapreduce ,執(zhí)行shuff1e時(shí)獲取數(shù)據(jù)的方式.-->
<description>The address of the appiications manager interface inthe RM.</description>
<name>yarn.resourcemanager.address</name>
<value>z1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>z1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>z1:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.https.address</name>
<value>z1:8090</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>z1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>z1:8033</value>
</property>
<property><!--mapreduce執(zhí)行shuff1e時(shí)獲取數(shù)據(jù)的方式，-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<!--設(shè)置內(nèi)存，yarn的內(nèi)存分配-->
<name>yarn.scheduler.maximum-a11ocation-mb</name>
<value>2024</value>
<discription>每個(gè)節(jié)點(diǎn)可用內(nèi)存,單位M,默認(rèn)8182MB</discription>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
(5)進(jìn)入hdfs-site.xml
vim hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/hadoop-2.6.0/hadoopDesk/namenodeDatas</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/hadoop/hadoop-2.6.0/hadoopDatas/namenodeDatas</value>
</property>
<property>
<!--副本個(gè)數(shù)-->
<name>dfs.replication</name>
<value>3</value>
</property>
<!--設(shè)置hdfs的文件權(quán)限-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<!--設(shè)置一個(gè)文件切片的大小：128m-->
<property>
<name>dfs.bloksize</name>
<value>134217728</value>
</property>
</configuration>
6.進(jìn)入slaves添加主節(jié)點(diǎn)和從節(jié)點(diǎn)
vim slaves
?添加自己的主節(jié)點(diǎn)和從節(jié)點(diǎn)（我的是z1,z2,z3）
7.將各個(gè)文件復(fù)制到其他虛擬機(jī)上
scp -r /etc/profile root@z2:/etc/profile #將環(huán)境變量profile文件分發(fā)到z2節(jié)點(diǎn) scp -r /etc/profile root@z3:/etc/profile #將環(huán)境變量profile文件分發(fā)到z3節(jié)點(diǎn) scp -r /usr/hadoop root@z2:/usr/ #將hadoop文件分發(fā)到z2節(jié)點(diǎn) scp -r /usr/hadoop root@z3:/usr/ #將hadoop文件分發(fā)到z3節(jié)點(diǎn)
生效兩個(gè)從節(jié)點(diǎn)的環(huán)境變量
source /etc/profile
8.格式化hadoop (僅在主節(jié)點(diǎn)中進(jìn)行操作)
首先查看jps是否啟動(dòng)hadoop
hadoop namenode -format
當(dāng)看到Exiting with status 0時(shí)說(shuō)明格式化成功
9.回到Hadoop目錄下（僅在主節(jié)點(diǎn)操作）
cd /usr/hadoop/hadoop-2.6.0 sbin/start-all.sh 啟動(dòng)Hadoop僅在主節(jié)點(diǎn)操作
主節(jié)點(diǎn)輸入jps效果：?
?
從節(jié)點(diǎn)輸jps效果：
?
到此這篇關(guān)于Linux下安裝Hadoop集群詳細(xì)步驟的文章就介紹到這了,更多相關(guān)Linux安裝Hadoop集群內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要給大家介紹了在Ubuntu系統(tǒng)下各種壓縮與解壓的方式，其中包括.tar、.gz、.bz2、.bz、.Z、.tgz、.zip、.rar以及.lha等各個(gè)的解壓與壓縮方法，每一種都給出了示例代碼，需要的朋友可以參考學(xué)習(xí)，一起來(lái)看看吧。2017-04-04
Manjaro Linux安裝singularity-container的解決方案
這篇文章主要介紹Singularity容器在Manjaro平臺(tái)的安裝,以及一些常見的使用場(chǎng)景：拉取沙箱制作容器鏡像、遠(yuǎn)程制作容器鏡像以及修改容器鏡像的方法,感興趣的朋友跟隨小編一起看看吧2024-05-05
CentOS服務(wù)器離線部署DeepSeek用作AI本地知識(shí)庫(kù)
本文介紹了如何在CentOS服務(wù)器離線部署DeepSeek用作AI本地知識(shí)庫(kù),首先,通過(guò)Ollama工具下載并安裝DeepSeek模型,根據(jù)硬件配置選擇合適的模型大小,然后使用Docker安裝AnythingLLM,并提供了建立知識(shí)庫(kù)的步驟,最后,對(duì)比了AnythingLLM、Dify和Open-WebUI的功能和適用場(chǎng)景2025-02-02
這篇文章主要為大家詳細(xì)介紹了Linux開機(jī)啟動(dòng)過(guò)程，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-04-04
使用apachetop實(shí)時(shí)監(jiān)控日志、動(dòng)態(tài)分析服務(wù)器運(yùn)行狀態(tài)
這篇文章主要介紹了使用apachetop實(shí)時(shí)監(jiān)控日志、動(dòng)態(tài)分析服務(wù)器運(yùn)行狀態(tài),通過(guò)apachetop這個(gè)工具可以動(dòng)態(tài)的查看apache的日志文件，還可以直觀的看到訪問(wèn)的每個(gè)地址的請(qǐng)求數(shù)、速度及流量等信息,需要的朋友可以參考下2014-06-06
這篇文章主要介紹了如何在Linux上使用xargs命令,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-08-08
linux 使用bond實(shí)現(xiàn)雙網(wǎng)卡綁定單個(gè)IP的示例代碼
這篇文章主要介紹了linux 使用bond實(shí)現(xiàn)雙網(wǎng)卡綁定單個(gè)IP的示例代碼，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
Linux(在線)部署Redis教程(下載、安裝、配置、啟動(dòng)、連接)
這篇文章主要介紹了Linux(在線)部署Redis教程(下載、安裝、配置、啟動(dòng)、連接),具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2025-03-03
Ubuntu16.04搭建NFS 文件共享服務(wù)器的方法
這篇文章主要介紹了Ubuntu16.04搭建NFS 文件共享服務(wù)器的方法，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-04-04
當(dāng)硬盤分區(qū)完成后，需要對(duì)分區(qū)進(jìn)行格式化。 下面小編給大家?guī)?lái)了Linux分區(qū)格式化的命令，感興趣的朋友一起看看吧2018-08-08