springboot引用kettle實現(xiàn)對接oracle數(shù)據(jù)的示例代碼
簡單記錄一下springboot引用kettle對接數(shù)據(jù)
第一步(這一步講述了下載kettle、創(chuàng)建數(shù)據(jù)庫連接、轉(zhuǎn)換等,如果這一步會的可以略過,直接看第二步)
先從kettle官網(wǎng)下載kettle,官網(wǎng)地址:https://sourceforge.net/projects/pentaho/
進(jìn)入官網(wǎng)后點擊files,選擇需要的版本進(jìn)行下載

下載完成后是一個壓縮包,免安裝的,選擇一個路徑,將壓縮包解壓,解壓后進(jìn)入到data-integration目錄,該目錄下有一個Spoon.bat文件,雙擊即可運行

打開后界面是這樣的

然后選擇依次點擊文件->新建->轉(zhuǎn)換就可以編輯對接數(shù)據(jù)的邏輯了

在編輯對接程序之前,是需要先設(shè)置一下數(shù)據(jù)庫信息的,在這里說明一下,新解壓的kettle沒有oracle的驅(qū)動,需要手動的下載一個ojdbc的jar包放到\data-integration\lib目錄下,否則測試連接的時候會報錯(以oracle的為例,如果是其他數(shù)據(jù)庫請忽略這一步,直接看下邊)

放好以后,需要關(guān)掉kettle重啟一下才行,我這里放的是ojdbc7,至于其他類型的數(shù)據(jù)庫我還沒有測試,不知道是不是也會出現(xiàn)這種情況,如果也出現(xiàn)這種情況的話,就下載一個相對應(yīng)的驅(qū)動,放到data-integration\lib目錄下就行
接下來就是在新建的轉(zhuǎn)換當(dāng)中選擇工具->向?qū)?>創(chuàng)建數(shù)據(jù)庫連接向?qū)Вㄟ@一步可以將要讀取的數(shù)據(jù)庫和要寫入的數(shù)據(jù)庫都配置好,這樣在編寫對接邏輯的時候就不用在返回來重做這一步了)

根據(jù)向?qū)?,選擇要讀取的數(shù)據(jù)庫或者寫入的數(shù)據(jù)庫類型,給連接起個名字,點擊next

然后是配置數(shù)據(jù)庫信息,服務(wù)器主機(jī)名稱就是ip地址,tcp/ip端口就是數(shù)據(jù)庫的端口,例如oracle的就是1521,數(shù)據(jù)庫名稱就是數(shù)據(jù)庫的連接符,例如oracle的orcl,填好后繼續(xù)點擊next

然后會出現(xiàn)讓選擇數(shù)據(jù)表空間和索引表空間的步驟,這一步可以選擇不填,繼續(xù)點擊next,就到了最后一步,在這里填入數(shù)據(jù)庫的賬號密碼,點擊測試數(shù)據(jù)庫連接

編輯好數(shù)據(jù)庫后,接下來就是編輯對接邏輯了,這里就先簡單的寫個步驟,復(fù)雜的需要自己慢慢體會
首先在窗口的左側(cè)核心對象下,從輸入標(biāo)簽中找到表輸入,雙擊或者拖拽都行,拖拽的話是往右側(cè)轉(zhuǎn)換里拖拽,這個表輸入就是要讀取的數(shù)據(jù),然后關(guān)閉輸入標(biāo)簽,或者向下滑動,找到輸出標(biāo)簽,從輸出標(biāo)簽中找到插入/更新,同樣以雙擊或拖拽的方式加入到轉(zhuǎn)換里,這個是要寫入的數(shù)據(jù),然后按住shift鍵,先點擊表輸入,再點擊插入/更新,這樣這個節(jié)點就創(chuàng)建好了

創(chuàng)建好節(jié)點連接后,就需要編輯表輸入和插入/更新了,表輸入就是要讀取的數(shù)據(jù),插入/更新就是要寫入的數(shù)據(jù),雙擊表輸入

雙擊更新/插入

當(dāng)這兩個編輯好后,保存一下,就會生成一個ktr文件。
至此,在可視化界面中創(chuàng)建ktr文件的步驟就完成了
第二步,將生成的ktr文件集成到springboot里面
首先需要注意的是,相關(guān)依賴一定要引用全了,不然運行時會出現(xiàn)很多異常,我就是這樣,公司同時給的代碼,在他那里可以運行,到我這里以后就各種異常往外報,耗費一天的時間,終于可以進(jìn)行數(shù)據(jù)對接了,下面記錄一下需要引入的依賴
<!--kettle相關(guān)依賴-->
<dependency>
<groupId>pentaho-kettle</groupId>
<artifactId>kettle-core</artifactId>
<version>9.0.0.3-582</version>
</dependency>
<dependency>
<groupId>pentaho-kettle</groupId>
<artifactId>kettle-engine</artifactId>
<version>9.0.0.3-582</version>
</dependency>
<dependency>
<groupId>pentaho-kettle</groupId>
<artifactId>kettle-dbdialog</artifactId>
<version>9.0.0.3-582</version>
</dependency>
<!--以上三個是最主要的依賴,相關(guān)jar包可以從kettle官網(wǎng)下載的下來的工具里面找,具體路徑是:\kettle\data-integration\lib\下面,版本就對應(yīng)上下載的工具版本就行,下面的是其他一些相關(guān)引用-->
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>29.0-jre</version>
</dependency>
<dependency>
<groupId>pentaho</groupId>
<artifactId>metastore</artifactId>
<version>9.1.0.6-517</version>
</dependency>
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-vfs2</artifactId>
<version>2.9.0</version>
</dependency>
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-lang</artifactId>
<version>2.6</version>
</dependency>
<dependency>
<groupId>commons-io</groupId>
<artifactId>commons-io</artifactId>
<version>2.5</version>
</dependency>
<dependency>
<groupId>commons-codec</groupId>
<artifactId>commons-codec</artifactId>
<version>1.9</version>
</dependency>
<!--kettle相關(guān)依賴-->
至于對接的代碼就比較簡單了,網(wǎng)上到處都有,這里我也記錄一下吧
try {
//初始化kettle //如果初始化失敗,當(dāng)加載完ktr文件后,會報database type with plugin id [Oracle] couldn't be found!
KettleEnvironment.init();
} catch (KettleException e1) {
e1.printStackTrace();
}try {
//加載kettle的ktr文件
String url=this.getClass().getClassLoader().getResource("test.ktr").getPath();
System.out.println("########################"+url);
TransMeta transMeta = new TransMeta(url);
transMeta.setLogLevel(LogLevel.DEBUG);
Trans trans = new Trans(transMeta);
trans.prepareExecution(null);
trans.startThreads();
trans.waitUntilFinished();
} catch (Exception e) {
// TODO: handle exception
e.printStackTrace();
}總結(jié):其實kettle集成到springboot里面沒有多少代碼,這個功能最主要的還是ktr文件的編寫,只要ktr編寫好了,放到指定文件夾下,寫個定時任務(wù)就完事了,如果以上內(nèi)容有什么不對的地方,還望各路大神指出,我加以修正
到此這篇關(guān)于springboot引用kettle實現(xiàn)對接oracle數(shù)據(jù)的文章就介紹到這了,更多相關(guān)springboot集成kettle對接oracle數(shù)據(jù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
SpringBoot整合EasyExcel?3.x的完整示例
EasyExcel 是一個基于 Java 的、快速、簡潔、解決大文件內(nèi)存溢出的 Excel 處理工具,它能讓你在不用考慮性能、內(nèi)存的等因素的情況下,快速完成 Excel 的讀、寫等功能,這篇文章主要介紹了SpringBoot整合EasyExcel3.x的過程,需要的朋友可以參考下2023-07-07
SpringBoot使用RestTemplate如何通過http請求將文件下載到本地
文章介紹了如何通過編寫代碼批量下載文件,解決了沒有提供批量下載接口的問題,首先篩選出需要下載的文件ID,然后通過后端代碼發(fā)起HTTP請求,將下載的資源寫入本地文件中,總結(jié)了實現(xiàn)方式和注意事項,希望能為類似任務(wù)提供參考2025-02-02
使用Jenkins Pipeline自動化構(gòu)建發(fā)布Java項目的方法

