ETL數(shù)據增量抽取方案內容節(jié)選

ETL 簡介
數(shù)據集成是把不同來源、格式和特點的數(shù)據在邏輯上或物理上有機地集中，從而提供全面的數(shù)據共享，是企業(yè)商務智能、數(shù)據倉庫系統(tǒng)的重要組成部分。ETL 是企業(yè)數(shù)據集成的主要解決方案。

隨著信息化建設的發(fā)展，巨大的投資為公安行業(yè)建立了眾多的信息系統(tǒng)，以幫助公安進行內外部業(yè)務的處理和管理工作，但是隨著信息系統(tǒng)的增加，各自孤立工作的信息系統(tǒng)將會造成大量的冗余數(shù)據和業(yè)務人員的重復勞動。數(shù)據集成是公安應用集成的重要環(huán)節(jié)，實現(xiàn)數(shù)據集成，可以使更多的人更充分地使用已有數(shù)據資源，減少資料收集、數(shù)據采集等重復勞動和相應費用。

但是，在實施數(shù)據集成的過程中，由于不同用戶提供的數(shù)據可能來自不同的途徑，其數(shù)據內容、數(shù)據格式和數(shù)據質量千差萬別，有時甚至會遇到數(shù)據格式不能轉換或數(shù)據轉換格式后丟失信息等棘手問題，嚴重阻礙了數(shù)據在各部門和各應用系統(tǒng)中的流動與共享。因此，如何對數(shù)據進行有效的集成管理已成為增強公安戰(zhàn)斗力的必然選擇。ETL 是實現(xiàn)數(shù)據集成的主要技術。

ETL 中三個字母分別代表的是Extract、Transform、Load，即抽取、轉換、加載。

（1）數(shù)據抽?。簭脑磾?shù)據源系統(tǒng)抽取目的數(shù)據源系統(tǒng)需要的數(shù)據；

（2）數(shù)據轉換：將從源數(shù)據源獲取的數(shù)據按照業(yè)務需求，轉換成目的數(shù)據源要求的形式，并對錯誤、不一致的數(shù)據進行清洗和加工；

（3）數(shù)據加載：將轉換后的數(shù)據裝載到目的數(shù)據源。ETL 作為構建數(shù)據倉庫的一個環(huán)節(jié)，負責將分布的、異構數(shù)據源中的數(shù)據如關系數(shù)據、平面數(shù)據文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數(shù)據倉庫或數(shù)據集市中，成為聯(lián)機分析處理、數(shù)據挖掘的基礎。現(xiàn)在越來越多地將ETL 應用于一般信息系統(tǒng)數(shù)據的遷移、交換和同步。