本文介紹了使用Kettle工具實(shí)現(xiàn)SQL Server到MySQL數(shù)據(jù)庫(kù)的定時(shí)數(shù)據(jù)同步方案,首先需放置數(shù)據(jù)庫(kù)驅(qū)動(dòng)并創(chuàng)建目標(biāo)表結(jié)構(gòu),通過(guò)圖形化界面配置轉(zhuǎn)換流程,包括建立數(shù)據(jù)庫(kù)連接、設(shè)置表輸入（讀取SQLServer數(shù)據(jù)）和表輸出（寫入MySQL）步驟,最后通過(guò)Windows任務(wù)計(jì)劃實(shí)現(xiàn)每日自動(dòng)執(zhí)行,注意事項(xiàng)包括驅(qū)動(dòng)放置、字段映射規(guī)則和測(cè)試驗(yàn)證等,該方案無(wú)需編寫代碼,完全通過(guò)圖形化操作即可實(shí)現(xiàn)跨數(shù)據(jù)庫(kù)的定時(shí)數(shù)據(jù)同步

1. 放置數(shù)據(jù)庫(kù)驅(qū)動(dòng)：

   • SQL Server: 下載 mssql-jdbc-11.2.1.jre11.jar放入 {Kettle安裝目錄}/data-integration/lib/

   • MySQL: 下載 mysql-connector-j-8.2.0.jar放入相同目錄

   • 重啟 Spoon? 生效

2. MySQL 創(chuàng)建目標(biāo)表? (可選)：

   -- 輪齒廠電表數(shù)據(jù)結(jié)構(gòu)示例
   CREATE TABLE `tk_fc_01` (
     `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主鍵',
     `gmt_create` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '創(chuàng)建時(shí)間',
     `gmt_time` datetime DEFAULT NULL COMMENT '采集時(shí)間',
     `db1_a06` decimal(13,6) DEFAULT NULL,
     `db1_a07` decimal(13,6) DEFAULT NULL,
     `db1_a09` decimal(13,6) DEFAULT NULL,
     `db1_a13` decimal(13,6) DEFAULT NULL,
     `db1_a25` decimal(13,6) DEFAULT NULL,
     `db1_a27` decimal(13,6) DEFAULT NULL,
     PRIMARY KEY (`id`)
   ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

二、 圖形化配置步驟 (5分鐘完成)

步驟1：新建轉(zhuǎn)換

• 啟動(dòng) Spoon → 文件 → 新建 → 轉(zhuǎn)換

• 保存為 sqlserver2mysql.ktr

步驟2：創(chuàng)建數(shù)據(jù)庫(kù)連接

主對(duì)象樹 → 轉(zhuǎn)換 → DB 連接 → 新建

1. SQL Server 連接：

   • 連接名稱：SQLServer

   • 連接類型：MS SQL Server (Native)

   • 主機(jī)名：192.168.1.2

   • 端口：1433

   • 數(shù)據(jù)庫(kù)：IOT

   • 用戶名/密碼：sa/ 123456

   • 選項(xiàng)參數(shù)：useUnicode=true&characterEncoding=utf8

2. MySQL 連接：

   • 連接名稱：MySQL

   • 連接類型：MySQL

   • 主機(jī)名：192.168.1.3

   • 端口：3306

   • 數(shù)據(jù)庫(kù)：iot

   • 用戶名/密碼：root/ 123456

   • 選項(xiàng)參數(shù)：useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai

分別點(diǎn)擊"測(cè)試"，確保連接成功

步驟3：拖入核心步驟

1. 表輸入? (讀取SQL Server)

   • 從"核心對(duì)象 → 輸入"拖拽"表輸入"到畫布

   • 雙擊配置：

     • 數(shù)據(jù)庫(kù)連接：選擇 SQLServer

     • SQL語(yǔ)句：

     -- 獲取前一天數(shù)據(jù) (每日凌晨同步用)
     SELECT 
         a.Time AS 'gmt_time',
         a.[DB\DB1\A06] AS 'db1_a06',
         a.[DB\DB1\A07] AS 'db1_a07',
         a.[DB\DB1\A09] AS 'db1_a09',
         a.[DB\DB1\A13] AS 'db1_a13',
         a.[DB\DB1\A25] AS 'db1_a25',
         a.[DB\DB1\A27] AS 'db1_a27'
     FROM LK_FC_01 a 
     WHERE a.Time >= DATEADD(DAY, -1, CAST(GETDATE() AS DATE))  -- 昨天00:00:00
       AND a.Time < CAST(GETDATE() AS DATE);                    -- 今天00:00:00

   • 點(diǎn)擊"預(yù)覽"確認(rèn)數(shù)據(jù)正確

2. 表輸出? (寫入MySQL)

   • 從"核心對(duì)象 → 輸出"拖拽"表輸出"到畫布

   • 雙擊配置：

     • 數(shù)據(jù)庫(kù)連接：選擇 MySQL

     • 目標(biāo)表：tk_fc_01

     • 勾選"指定數(shù)據(jù)庫(kù)字段"

     • 點(diǎn)擊"映射"按鈕，將源字段拖到目標(biāo)字段

     • 注意：id和 gmt_create字段不映射 (MySQL自動(dòng)生成)

步驟4：連線運(yùn)行

1. 按住 Shift鍵，從"表輸入"拖拽到"表輸出"

2. 選擇"主輸出步驟"

3. 工具欄點(diǎn)擊 ? "運(yùn)行" → "啟動(dòng)"

4. 查看日志窗口，顯示"轉(zhuǎn)換完成！寫入行數(shù)：XXX"

三、 自動(dòng)定時(shí)執(zhí)行 (Windows系統(tǒng))

1. 創(chuàng)建批處理腳本

新建 sqlserver2mysql.bat：

@echo off
REM 切換到Kettle安裝目錄
D:
cd D:\tools\data-integration
REM 執(zhí)行轉(zhuǎn)換，日志輸出到文件
pan.bat /file=C:\kettle_jobs\sqlserver2mysql.ktr /level=Basic >> C:\kettle_jobs\kettle.log 2>&1

2. 配置任務(wù)計(jì)劃程序

1. 按 Win + R→ 輸入 taskschd.msc

2. 右側(cè)"創(chuàng)建基本任務(wù)"

3. 任務(wù)名稱："每日Kettle同步"

4. 觸發(fā)器：每日，設(shè)置時(shí)間 (如 00:10)

5. 操作："啟動(dòng)程序"

6. 程序/腳本：選擇上面創(chuàng)建的 .bat文件

7. 完成創(chuàng)建，可右鍵"運(yùn)行"測(cè)試

四、 驗(yàn)證與監(jiān)控

1. 數(shù)據(jù)驗(yàn)證：

   -- MySQL中檢查最新同步數(shù)據(jù)
   SELECT * FROM tk_fc_01 
   ORDER BY gmt_time DESC 
   LIMIT 10;

2. 錯(cuò)誤排查：

   • 查看 kettle.log日志文件

   • 檢查 Spoon 日志窗口錯(cuò)誤信息

   • 驗(yàn)證數(shù)據(jù)庫(kù)連接和權(quán)限

五、 注意事項(xiàng)

1. 首次運(yùn)行前，務(wù)必確認(rèn)驅(qū)動(dòng)已放入 lib 目錄并重啟

2. SQL Server 字段包含反斜杠，需要用方括號(hào)轉(zhuǎn)義

3. MySQL 表的主鍵和創(chuàng)建時(shí)間字段會(huì)自動(dòng)填充，無(wú)需映射

4. 定時(shí)任務(wù)的時(shí)間需避開業(yè)務(wù)高峰期

5. 建議在測(cè)試環(huán)境驗(yàn)證后再部署到生產(chǎn)環(huán)境

此配置可實(shí)現(xiàn)每日自動(dòng)同步前一天數(shù)據(jù)，無(wú)需編寫代碼，完全圖形化操作。

到此這篇關(guān)于Pentaho Kettle工具實(shí)現(xiàn)SQL Server到MySQL數(shù)據(jù)庫(kù)的定時(shí)數(shù)據(jù)同步方案的文章就介紹到這了,更多相關(guān)Kettle實(shí)現(xiàn)SQL Server到MySQL的同步內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論