解決sqoop從postgresql拉數(shù)據(jù),報(bào)錯(cuò)TCP/IP連接的問(wèn)題
問(wèn)題：
sqoop從postgresql拉數(shù)據(jù)，在執(zhí)行到mapreduce時(shí)報(bào)錯(cuò)Connection refused. Check that the hostname and port are correct and that the postmaster is accepting TCP/IP connections
問(wèn)題定位過(guò)程：
1、postgresql 5432端口已開(kāi)放，執(zhí)行任務(wù)的節(jié)點(diǎn)能telnet通，并且netcat測(cè)試通過(guò)
2、sqoop list-tables命令可正常執(zhí)行，sqoop import報(bào)錯(cuò)Connection refused. Check that the hostname and port are correct and that the
3、從其它服務(wù)器集群跑同樣腳本正常
解決：
集群中有node不能訪問(wèn)5432，sqoop import命令一定要集群中所有起nodemanager服務(wù)的節(jié)點(diǎn)有訪問(wèn)數(shù)據(jù)庫(kù)端口的權(quán)限，所以保證所有節(jié)點(diǎn)訪問(wèn)5432后解決
備注：
sqoop list-tables能執(zhí)行就說(shuō)明肯定不是postgresql端的問(wèn)題，sqoop list-tables執(zhí)行命令的這臺(tái)服務(wù)器能訪問(wèn)5432即可
補(bǔ)充：使用Sqoop從PostgreSQL向Hive中遷移數(shù)據(jù)遇到的問(wèn)題
postgreSQL的界面
跟mysql不同之處就是，多了一個(gè) 2 ，這也是導(dǎo)致數(shù)據(jù)遷移錯(cuò)誤原因
1.數(shù)據(jù)庫(kù)名稱 2.schema 3.表名
PostgreSQL中的對(duì)象屬于三層模型，即database->schema->table。PostgreSQL中一般包含多個(gè)database，每個(gè)database包含多個(gè)schema，schema下包含多個(gè)表。因此使用sqoop抽取數(shù)據(jù)時(shí)有時(shí)需要指定表是屬于哪個(gè)schema。
解決方案：
在代碼最后指定--schema
-- --schema 上圖2的名稱
整個(gè)代碼如下
./sqoop import --connect jdbc:postgresql://***.***.***.***:38888/bigdata --username test --password test123 --table tb_ecar_gps_zhengzhou_standard --fields-terminated-by '\t' -m 1 --target-dir '/sqoop/postgresql123' -- --schema benchmark_data;
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。
相關(guān)文章
這篇文章主要介紹了PostgreSQL的中文拼音排序案例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01
Postgresql 解決pg掉電后無(wú)法重啟的問(wèn)題
這篇文章主要介紹了Postgresql 解決pg掉電后無(wú)法重啟的問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01
PostgreSQL?流復(fù)制配置環(huán)境搭建過(guò)程
PostgreSQL 流復(fù)制是 9.0 提供的一種新的 WAL 傳遞方法，使用流復(fù)制時(shí)，每當(dāng) Primary 節(jié)點(diǎn) WAL 產(chǎn)生，就會(huì)馬上傳遞到 Standby 節(jié)點(diǎn)，流復(fù)制提供異步和同步兩種模式，同步模式可以保障數(shù)據(jù) 0 丟失，這篇文章主要介紹了PostgreSQL?流復(fù)制搭建,需要的朋友可以參考下2023-09-09
CentOS PostgreSQL 12 主從復(fù)制(主從切換)操作
這篇文章主要介紹了CentOS PostgreSQL 12 主從復(fù)制(主從切換)操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01
PostgreSQL由于WAL日志的機(jī)制,導(dǎo)致其在不正確配置的情況下會(huì)出現(xiàn)磁盤(pán)空間暴漲的情況,本文檔就此情景寫(xiě)一般處理辦法,感興趣的小伙伴跟著小編一起來(lái)看看吧2024-12-12
PostgreSQL有效地處理數(shù)據(jù)的加密和解密的常見(jiàn)方法
在信息化建設(shè)和等保建設(shè)中,都要求實(shí)現(xiàn)對(duì)用戶數(shù)據(jù)的隱私保護(hù),也就是我們常說(shuō)的脫敏,那么在?PostgreSQL?數(shù)據(jù)庫(kù)中有沒(méi)有這樣的方法或者策略可以實(shí)現(xiàn)呢,本文小編將給大家介紹一下PostgreSQL有效地處理數(shù)據(jù)的加密和解密的常見(jiàn)方法,需要的朋友可以參考下2025-03-03
PostgreSQL中實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)監(jiān)控和預(yù)警的步驟詳解
在 PostgreSQL 中實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)監(jiān)控和預(yù)警是確保數(shù)據(jù)庫(kù)性能和數(shù)據(jù)完整性的關(guān)鍵任務(wù),以下將詳細(xì)討論如何實(shí)現(xiàn)此目標(biāo),并提供相應(yīng)的解決方案和具體示例,需要的朋友可以參考下2024-07-07
這篇文章主要介紹了PostgreSQL完成按月累加的操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01
淺談postgresql數(shù)據(jù)庫(kù)varchar、char、text的比較
這篇文章主要介紹了淺談postgresql數(shù)據(jù)庫(kù)varchar、char、text的比較，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-12-12
這篇文章主要介紹了修改postgresql存儲(chǔ)目錄的操作方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01