hadoop常見錯(cuò)誤以及處理方法詳解
1、hadoop-root-datanode-master.log 中有如下錯(cuò)誤：
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in
導(dǎo)致datanode啟動(dòng)不了。
原因:每次namenode format會(huì)重新創(chuàng)建一個(gè)namenodeId,而dfs.data.dir參數(shù)配置的目錄中包含的是上次format創(chuàng)建的id,和dfs.name.dir參數(shù)配置的目錄中的id不一致。namenode format清空了namenode下的數(shù)據(jù),但是沒(méi)有清空datanode下的數(shù)據(jù),導(dǎo)致啟動(dòng)時(shí)失敗,所要做的就是每次fotmat前,清空dfs.data.dir參數(shù)配置的目錄.
格式化hdfs的命令
hadoop namenode -format
2、如果datanode連接不上namenode，導(dǎo)致datanode無(wú)法啟動(dòng)。
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to ... failed on local exception: java.net.NoRouteToHostException: No route to host
關(guān)閉防火墻
service iptables stop
機(jī)器重啟后，防火墻還會(huì)開啟。
3、從本地往hdfs文件系統(tǒng)上傳文件，出現(xiàn)如下錯(cuò)誤：
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink
INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023
WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.
解決方法：
關(guān)閉防火墻：
service iptables stop
禁用selinux:
編輯 /etc/selinux/config文件，設(shè)置“SELINUX=disabled”
4、安全模式導(dǎo)致的錯(cuò)誤
org.apache.hadoop.dfs.SafeModeException: Cannot delete ..., Name node is in safe mode
在分布式文件系統(tǒng)啟動(dòng)的時(shí)候，開始的時(shí)候會(huì)有安全模式，當(dāng)分布式文件系統(tǒng)處于安全模式的情況下，文件系統(tǒng)中的內(nèi)容不允許修改也不允許刪除，直到安全模式結(jié)束。安全模式主要是為了系統(tǒng)啟動(dòng)的時(shí)候檢查各個(gè)DataNode上數(shù)據(jù)塊的有效性，同時(shí)根據(jù)策略必要的復(fù)制或者刪除部分?jǐn)?shù)據(jù)塊。運(yùn)行期通過(guò)命令也可以進(jìn)入安全模式。在實(shí)踐過(guò)程中，系統(tǒng)啟動(dòng)的時(shí)候去修改和刪除文件也會(huì)有安全模式不允許修改的出錯(cuò)提示，只需要等待一會(huì)兒即可。
hadoop dfsadmin -safemode leave
關(guān)閉安全模式
相關(guān)文章
個(gè)人更傾向于header的方法，這樣頁(yè)面的跳轉(zhuǎn)速度更快點(diǎn)，用戶從視覺(jué)上不易察覺(jué)整頁(yè)的跳轉(zhuǎn)，而只是局部的變化2012-02-02
以下文本是以php版本為例的，對(duì)ueditor 1.2.6的使用方法進(jìn)行了詳細(xì)的說(shuō)明介紹，需要的朋友可以過(guò)來(lái)參考下2013-07-07
php smarty模板引擎中幾個(gè)經(jīng)常被忽略的但比較有用的標(biāo)簽整理，包括capture標(biāo)簽，config_load標(biāo)簽，php標(biāo)簽，strip標(biāo)簽，fetch標(biāo)簽，以及如何在smarty模板中直接使用define定義的常量2014-04-04
PHP 二維數(shù)組根據(jù)某個(gè)字段排序的具體實(shí)現(xiàn)
從兩個(gè)不同的表中獲取各自的4條數(shù)據(jù)，然后整合(array_merge)成一個(gè)數(shù)組，再根據(jù)數(shù)據(jù)的創(chuàng)建時(shí)間降序排序取前4條2014-06-06
vs中通過(guò)剪切板循環(huán)來(lái)循環(huán)粘貼不同內(nèi)容
只要按Ctrl+Shift+V鍵，就可以在過(guò)去剪切或復(fù)制到剪切板上的20條內(nèi)容間進(jìn)行循環(huán)粘貼，太帥了哈哈！2011-04-04
淺談PHP 閉包特性在實(shí)際應(yīng)用中的問(wèn)題
PHP5.3 新版本跟隨了很多新特性， 其中比較惹眼的特性之一就是支持了閉包。那么以后，我們也可以和那幫寫 Ruby、Javascript 等等“高科技語(yǔ)言”的家伙們一樣，寫出非?？岬拇a嗎？2009-10-10
php函數(shù)傳值的引用傳遞注意事項(xiàng)分析
這篇文章主要介紹了php函數(shù)傳值的引用傳遞注意事項(xiàng),涉及php配置文件的設(shè)置及數(shù)組函數(shù)的使用技巧,需要的朋友可以參考下2016-06-06
這篇文章主要介紹了php使用數(shù)組填充下拉列表框的方法,涉及php操作數(shù)組的技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-03-03
今天小編就為大家分享一篇關(guān)于PHP去除空數(shù)組且數(shù)組鍵名重置的講解，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧2019-02-02
這篇文章主要介紹了php控制文件下載速度的方法,實(shí)例分析了php操作文件的技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-03-03