簡介

Big Data Tools 插件可用于 Intellij Idea 2019.2 及以后的版本。它提供了使用 Zeppelin，AWS S3，Spark，Google Cloud Storage，Minio，Linode，數(shù)字開放空間，Microsoft Azure 和 Hadoop 分布式文件系統(tǒng)（HDFS）來監(jiān)視和處理數(shù)據(jù)的特定功能。

下面來看一下 Big Data Tools 的安裝和使用，主要會配置 Flink,Kafka 和 HDFS。

安裝 Big Data Tools 插件

點擊安裝完成之后，需要重啟一下 IDEA，插件才能生效，上面我已經(jīng)安裝過了。

Flink 配置（不推薦）

flink 需要下載即將發(fā)布的 IDEA 2022.2-EAP 版本才有，因為之前是不支持 flink 的。

先點擊 IDEA 右側(cè)的 Big Data Tools，然后點擊加號就可以添加 Flink 組件了。

輸入 Flink WEB UI 地址，點擊 OK 就可以了。

這樣就可以直接在 IDEA 里面查看 Flink Dashboard，跟在 Web UI 上的功能完全一樣，點擊箭頭所指的地方可以直接跳轉(zhuǎn)到 Flink UI,雖然可以直接在 IDEA 里面查看 Dashboard，但是個人感覺還是在 Flink Web UI 上查看更加方便，可能是看習慣了。不是太推薦這個功能。

Kafka 配置（推薦）

然后來看一下 kafka 的配置。

同樣的，點擊加號選擇 Kafka 然后設置一下 Kafka 集群的 broker list ，點擊 OK 就行了。

可以看到所有 topic 的詳細信息，包括 partition，replicas 等，還可以查看 Consumers 的情況，這個功能還是不錯的，雖然現(xiàn)在也有很多開源的 kafka 監(jiān)控工具，但是配置起來還是有一點門檻，這個插件的配置幾乎是零門檻，對于簡單的查看 kafka 的信息還是非常不錯的。

HDFS 配置（推薦）

最后再來配置一個 HDFS。

Authentication type 選擇 Explicit uri 然后設置一下 HDFS 服務地址就可以了。

直接就可以查看 HDFS 上的目錄及文件，這個功能還是非常方便的，就不用在登錄 HDFS-Web 去查看文件了。

總結(jié)

從 Big Data Tools 插件的安裝配置到使用，主要介紹了 Flink，Kafka,HDFS,這三個組件的配置使用，整個配置過程是非常簡單的，當然這個插件支持的組件遠不止這些，包括像 spark，hive，zeppelin 等都是支持的，感興趣的同學可以自己在 IDEA 里面體驗一下，整體上來說，這個插件還是非常有用的。

到此這篇關于IDEA 中使用 Big Data Tools 連接大數(shù)據(jù)組件的文章就介紹到這了,更多相關IDEA  Big Data Tools 連接大數(shù)據(jù) 內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

最新評論