Hadoop3.2.0集群搭建常見注意事項
一 端口變化
3.2.0版本中namenode頁面端口是9870,datanode管理端口是8088,所以需要開放這兩個端口還給web頁面訪問
二but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation
hadoop-env.sh中不光需要配置java-home,還需要聲明下面這些用戶變量,不然無法啟動:
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
三 3.2.0版本mapred-site.xml 文件配置需要加mapreduce.application.classpath屬性
<property> <name>mapreduce.application.classpath</name> <value> /usr/local/hadoop3/etc/hadoop, /usr/local/hadoop3/share/hadoop/common/*, /usr/local/hadoop3/share/hadoop/common/lib/*, /usr/local/hadoop3/share/hadoop/hdfs/*, /usr/local/hadoop3/share/hadoop/hdfs/lib/*, /usr/local/hadoop3/share/hadoop/mapreduce/*, /usr/local/hadoop3/share/hadoop/mapreduce/lib/*, /usr/local/hadoop3/share/hadoop/yarn/*, /usr/local/hadoop3/share/hadoop/yarn/lib/* </value> </property>
四 salave文件編程workers文件了,內容配置是一樣的
五 啟動成功不報錯,但最蛋疼的Live Nodes為0問題
解決步驟:
一 先查看datanode 日志:
如果出現這個說明連接配置有問題,查看core-site.xml配置,這個是配置datanode和namnode通信的:
一看
這里配置的連接地址有問題
hdfs應該配置成namnode的地址,不能配置成datanode的地址,所有節(jié)點都一樣,這個地址,配置完成重啟成功
網上還有說/etc/hots解析不成功的,這個也是一個原因,配置好域名映射就可以了,重要的是先看日志分析是什么問題
最后成功頁面
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了Zabbix 上Windows性能監(jiān)控，本文給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下2019-09-09
安裝程式實現軟件RAID代替硬件RAID的方法，今天再進一步談談手動創(chuàng)建軟RAID和日常維護的方法。2011-04-04
VPS主機控制面板主要是用來控制和管理VPS服務器的，一般來說如果想要將VPS主機共享出來給多個人使用的話，我們就會采用類似于Cpanel、Virtualmin等主機控制面板。如果VPS主機只是一個人使用的話部落建議還是不要使用主機控制面板，以免帶來不必要的安全隱患2017-07-07
URL Rewrite Module 2.1 URL重寫模塊規(guī)則寫法
URL重寫模塊是IIS的擴展，可作為獨立IIS Server的下載下載，并且還預先安裝在Windows Azure網站（WAWS）上的任何網站上，供您使用，本教程將指導您完成如何為URL重寫模塊創(chuàng)建和測試一組重寫規(guī)則2020-12-12
HTTP常見的狀態(tài)碼HTTP Status Code
這篇文章主要介紹了HTTP常見的狀態(tài)碼HTTP Status Code2017-01-01
這篇文章主要介紹了解決ssh服務器拒絕了密碼 請再試一次的問題,本文通過兩種方法給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-08-08
這篇干貨不錯，把HTTPS的原理講清楚了，而且容易懂，建議大家好好讀一下。2020-03-03
這篇文章主要介紹了Dell PowerEdge服務器工具下載集合 ,需要的朋友可以參考下2016-04-04
MIME類型大全(response.setContentType中MIME參數類型總結)
MIME類型就是設定某種擴展名的文件用一種應用程序來打開的方式類型，當該擴展名文件被訪問的時候，瀏覽器會自動使用指定應用程序來打開。多用于指定一些客戶端自定義的文件名，以及一些媒體文件打開方式2017-07-07
cwRsync提示password file must be owned by root when running as
今天在配置服務器的時候，用了rsync4.10版本，客戶端是2003服務器端是2008 r2 同步的時候提示password file must be owned by root when running as root問題，以前用老版本的時候沒見過，還好看了下面的文章解決了，特分享下2015-08-08