信息是現(xiàn)代企業(yè)的重要資源，是企業(yè)運(yùn)用科學(xué)管理、決策分析的基礎(chǔ)。據(jù)統(tǒng)計(jì)，數(shù)據(jù)量每經(jīng)過(guò)2-3年時(shí)間就會(huì)成倍增長(zhǎng)，這些數(shù)據(jù)蘊(yùn)含著巨大的商業(yè)價(jià)值，而企業(yè)所關(guān)注的通常只占總數(shù)據(jù)量的2%~4%左右。因此，企業(yè)仍然沒(méi)有最大化地利用已存在的數(shù)據(jù)資源，以至于浪費(fèi)了更多的時(shí)間和資金，也失去制定關(guān)鍵商業(yè)決策的最佳契機(jī)。 于是，企業(yè)如何通過(guò)各種技術(shù)手段，并把數(shù)據(jù)轉(zhuǎn)換為信息、知識(shí)，已經(jīng)成了提高其核心競(jìng)爭(zhēng)力的關(guān)鍵，其中的數(shù)據(jù)處理在大數(shù)據(jù)的生態(tài)中始終處于不可缺少的地位，因?yàn)閿?shù)據(jù)處理的時(shí)效性，準(zhǔn)確性直接影響數(shù)據(jù)的分析與挖掘，分析的最終結(jié)果影響業(yè)務(wù)的營(yíng)銷(xiāo)與收入。 今天我們就來(lái)說(shuō)說(shuō)一種重要的數(shù)據(jù)分析處理手段ETL（Extract-Transform-Load）。

—  01  —ETL發(fā)展的歷史背景

隨著企業(yè)的發(fā)展，各業(yè)務(wù)線(xiàn)、產(chǎn)品線(xiàn)、部門(mén)都會(huì)承建各種信息化系統(tǒng)方便開(kāi)展自己的業(yè)務(wù)。隨著信息化建設(shè)的不斷深入，由于業(yè)務(wù)系統(tǒng)之間各自為政、相互獨(dú)立造成的數(shù)據(jù)孤島”現(xiàn)象尤為普遍，業(yè)務(wù)不集成、流程不互通、數(shù)據(jù)不共享。這給企業(yè)進(jìn)行數(shù)據(jù)的分析利用、報(bào)表開(kāi)發(fā)、分析挖掘等帶來(lái)了巨大困難。 在此情況下，為了實(shí)現(xiàn)企業(yè)全局?jǐn)?shù)據(jù)的系統(tǒng)化運(yùn)作管理（信息孤島、數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)分析、數(shù)據(jù)挖掘） ，為DSS（決策支持系統(tǒng)）、BI（商務(wù)智能）、經(jīng)營(yíng)分析系統(tǒng)等深度開(kāi)發(fā)應(yīng)用奠定基礎(chǔ)，挖掘數(shù)據(jù)價(jià)值 ，企業(yè)會(huì)開(kāi)始著手建立數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)中臺(tái)。將相互分離的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源整合在一起，建立一個(gè)統(tǒng)一的數(shù)據(jù)采集、處理、存儲(chǔ)、分發(fā)、共享中心，從而使公司的成員能夠從不同業(yè)務(wù)部門(mén)查看綜合數(shù)據(jù)，而這個(gè)過(guò)程中使用的數(shù)據(jù)處理方法之一就是ETL。 ETL是數(shù)據(jù)中心建設(shè)、BI分析項(xiàng)目中不可或缺的環(huán)節(jié)。各個(gè)業(yè)務(wù)系統(tǒng)中分布的、異構(gòu)的數(shù)據(jù)源，經(jīng)過(guò)ETL過(guò)程的數(shù)據(jù)抽取、轉(zhuǎn)換，最終存儲(chǔ)到目標(biāo)數(shù)據(jù)庫(kù)或者數(shù)據(jù)倉(cāng)庫(kù)，為上層BI數(shù)據(jù)分析，或其他業(yè)務(wù)功能做數(shù)據(jù)支撐。

—  02  —什么是ETL？

ETL，Extract-Transform-Load的縮寫(xiě)，是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過(guò)抽取、清洗轉(zhuǎn)換之后加載到數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程。ETL是數(shù)據(jù)集成的第一步，也是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)最重要的步驟，目的是將企業(yè)中的分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起，為企業(yè)的決策提供分析依據(jù)。ETL一詞較常用在數(shù)據(jù)倉(cāng)庫(kù)，但其對(duì)象并不限于數(shù)據(jù)倉(cāng)庫(kù)。 舉個(gè)例子，某電商公司分析人員根據(jù)訂單數(shù)據(jù)進(jìn)行用戶(hù)特征分析。這時(shí)需要基于訂單數(shù)據(jù)，計(jì)算一些相應(yīng)的分析指標(biāo)，如每個(gè)用戶(hù)的消費(fèi)頻次，銷(xiāo)售額最大的單品，用戶(hù)復(fù)購(gòu)時(shí)間間隔等，這些指標(biāo)都要通過(guò)計(jì)算轉(zhuǎn)換得到。

—  03  —ETL的流程

ETL如同它代表的三個(gè)英文單詞，涉及三個(gè)獨(dú)立的過(guò)程：抽取、轉(zhuǎn)換和加載。工作流程往往作為一個(gè)正在進(jìn)行的過(guò)程來(lái)實(shí)現(xiàn)，各模塊可靈活進(jìn)行組合，形成ETL處理流程。 1.數(shù)據(jù)抽取 數(shù)據(jù)抽取指的是從不同的網(wǎng)絡(luò)、不同的操作平臺(tái)、不同的數(shù)據(jù)庫(kù)和數(shù)據(jù)格式、不同的應(yīng)用中抽取數(shù)據(jù)的過(guò)程。目標(biāo)源可能包括ERP、CRM和其他企業(yè)系統(tǒng)，以及來(lái)自第三方源的數(shù)據(jù)。 不同的系統(tǒng)傾向于使用不同的數(shù)據(jù)格式，在這個(gè)過(guò)程中，首先需要結(jié)合業(yè)務(wù)需求確定抽取的字段，形成一張公共需求表頭，并且數(shù)據(jù)庫(kù)字段也應(yīng)與這些需求字段形成一一映射關(guān)系。這樣通過(guò)數(shù)據(jù)抽取所得到的數(shù)據(jù)都具有統(tǒng)一、規(guī)整的字段內(nèi)容，為后續(xù)的數(shù)據(jù)轉(zhuǎn)換和加載提供基礎(chǔ)，具體步驟如下： ①確定數(shù)據(jù)源，需要確定從哪些源系統(tǒng)進(jìn)行數(shù)據(jù)抽?、诙x數(shù)據(jù)接口，對(duì)每個(gè)源文件及系統(tǒng)的每個(gè)字段進(jìn)行詳細(xì)說(shuō)明③確定數(shù)據(jù)抽取的方法：是主動(dòng)抽取還是由源系統(tǒng)推送？是增量抽取還是全量抽??？是按照每日抽取還是按照每月抽?。? 2.數(shù)據(jù)轉(zhuǎn)換 數(shù)據(jù)轉(zhuǎn)換實(shí)際上還包含了數(shù)據(jù)清洗的工作，需要根據(jù)業(yè)務(wù)規(guī)則對(duì)異常數(shù)據(jù)進(jìn)行清洗，主要將不完整數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)、重復(fù)數(shù)據(jù)進(jìn)行處理，保證后續(xù)分析結(jié)果的準(zhǔn)確性。 數(shù)據(jù)轉(zhuǎn)換就是處理抽取上來(lái)的數(shù)據(jù)中存在的不一致的過(guò)程。數(shù)據(jù)轉(zhuǎn)換一般包括兩類(lèi)：第一類(lèi)：數(shù)據(jù)名稱(chēng)及格式的統(tǒng)一，即數(shù)據(jù)粒度轉(zhuǎn)換、商務(wù)規(guī)則計(jì)算以及統(tǒng)一的命名、數(shù)據(jù)格式、計(jì)量單位等；第二類(lèi)：數(shù)據(jù)倉(cāng)庫(kù)中存在源數(shù)據(jù)庫(kù)中可能不存在的數(shù)據(jù)，因此需要進(jìn)行字段的組合、分割或計(jì)算。主要涉及以下幾個(gè)方面： ①空值處理：可捕獲字段空值，進(jìn)行加載或替換為其他含義數(shù)據(jù)，或數(shù)據(jù)分流問(wèn)題庫(kù)②數(shù)據(jù)標(biāo)準(zhǔn)：統(tǒng)一元數(shù)據(jù)、統(tǒng)一標(biāo)準(zhǔn)字段、統(tǒng)一字段類(lèi)型定義③數(shù)據(jù)拆分：依據(jù)業(yè)務(wù)需求做數(shù)據(jù)拆分，如身份證號(hào)，拆分區(qū)劃、出生日期、性別等④數(shù)據(jù)驗(yàn)證：時(shí)間規(guī)則、業(yè)務(wù)規(guī)則、自定義規(guī)則⑤數(shù)據(jù)替換：對(duì)于因業(yè)務(wù)因素，可實(shí)現(xiàn)無(wú)效數(shù)據(jù)、缺失數(shù)據(jù)的替換⑥數(shù)據(jù)關(guān)聯(lián)：關(guān)聯(lián)其他數(shù)據(jù)或數(shù)學(xué)，保障數(shù)據(jù)完整性 3.數(shù)據(jù)加載 數(shù)據(jù)加載的主要任務(wù)是將經(jīng)過(guò)清洗后的干凈的數(shù)據(jù)集按照物理數(shù)據(jù)模型定義的表結(jié)構(gòu)裝入目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)表中，如果是全量方式則采用LOAD方式，如果是增量則根據(jù)業(yè)務(wù)規(guī)則MERGE進(jìn)數(shù)據(jù)庫(kù)，并允許人工干預(yù)，以及提供強(qiáng)大的錯(cuò)誤報(bào)告、系統(tǒng)日志、數(shù)據(jù)備份與恢復(fù)功能。整個(gè)操作過(guò)程往往要跨網(wǎng)絡(luò)、跨操作平臺(tái)。 在實(shí)際的工作中，數(shù)據(jù)加載需要結(jié)合使用的數(shù)據(jù)庫(kù)系統(tǒng)（Oracle、Mysql、Spark、Impala等），確定最優(yōu)的數(shù)據(jù)加載方案，節(jié)約CPU、硬盤(pán)IO和網(wǎng)絡(luò)傳輸資源。

—  04  —ETL與ELT有什么區(qū)別？ ETL架構(gòu)按其字面含義理解就是按照E-T-L這個(gè)順序流程進(jìn)行處理的架構(gòu)：先抽取、然后轉(zhuǎn)換、完成后加載到目標(biāo)數(shù)據(jù)庫(kù)中。 在ETL架構(gòu)中，數(shù)據(jù)的流向是從源數(shù)據(jù)流到ETL工具，ETL工具是一個(gè)單獨(dú)的數(shù)據(jù)處理引擎，一般會(huì)在單獨(dú)的硬件服務(wù)器上，實(shí)現(xiàn)所有數(shù)據(jù)轉(zhuǎn)化的工作，然后將數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)中。如果要增加整個(gè)ETL過(guò)程的效率，則只能增強(qiáng)ETL工具服務(wù)器的配置，優(yōu)化系統(tǒng)處理流程（一般可調(diào)的東西非常少）。 ELT架構(gòu)則把“L”這一步工作提前到“T”之前來(lái)完成：先抽取、然后加載到目標(biāo)數(shù)據(jù)庫(kù)中、在目標(biāo)數(shù)據(jù)庫(kù)中完成轉(zhuǎn)換操作。在ELT架構(gòu)中，ELT只負(fù)責(zé)提供圖形化的界面來(lái)設(shè)計(jì)業(yè)務(wù)規(guī)則，數(shù)據(jù)的整個(gè)加工過(guò)程都在目標(biāo)和源的數(shù)據(jù)庫(kù)之間流動(dòng)，ELT協(xié)調(diào)相關(guān)的數(shù)據(jù)庫(kù)系統(tǒng)來(lái)執(zhí)行相關(guān)的應(yīng)用，數(shù)據(jù)加工過(guò)程既可以在源數(shù)據(jù)庫(kù)端執(zhí)行，也可以在目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)端執(zhí)行（主要取決于系統(tǒng)的架構(gòu)設(shè)計(jì)和數(shù)據(jù)屬性）。當(dāng)ETL過(guò)程需要提高效率，則可以通過(guò)對(duì)相關(guān)數(shù)據(jù)庫(kù)進(jìn)行調(diào)優(yōu)，或者改變執(zhí)行加工的服務(wù)器就可以達(dá)到。 ELT架構(gòu)的特殊優(yōu)勢(shì)：①ELT主要通過(guò)數(shù)據(jù)庫(kù)引擎來(lái)實(shí)現(xiàn)系統(tǒng)的可擴(kuò)展性；②ELT可以保持所有的數(shù)據(jù)始終在數(shù)據(jù)庫(kù)當(dāng)中，避免數(shù)據(jù)的加載和導(dǎo)出，從而保證效率，提高系統(tǒng)的可監(jiān)控性；③ELT可以根據(jù)數(shù)據(jù)的分布情況進(jìn)行并行處理優(yōu)化，并可以利用數(shù)據(jù)庫(kù)的固有功能優(yōu)化磁盤(pán)I/O；④ELT的可擴(kuò)展性取決于數(shù)據(jù)庫(kù)引擎和其硬件服務(wù)器的可擴(kuò)展性；⑤通過(guò)對(duì)相關(guān)數(shù)據(jù)庫(kù)進(jìn)行性能調(diào)優(yōu)，ELT過(guò)程獲得3到4倍的效率提升一般不是特別困難。 （1）當(dāng)您想要執(zhí)行復(fù)雜的計(jì)算時(shí)，ETL工具比數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)池更有效（2）如果要在加載到目標(biāo)存儲(chǔ)之前進(jìn)行大量數(shù)據(jù)清理。ETL是一種更好的解決方案，因?yàn)槟粫?huì)將不需要的數(shù)據(jù)移動(dòng)到目標(biāo)。（3）當(dāng)您僅使用結(jié)構(gòu)化數(shù)據(jù)或傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)倉(cāng)庫(kù)時(shí)。ETL工具通常最有效地將結(jié)構(gòu)化數(shù)據(jù)從一個(gè)環(huán)境移動(dòng)到另一個(gè)環(huán)境。（4）當(dāng)你想要擴(kuò)展補(bǔ)充數(shù)據(jù)時(shí)。如果要在將數(shù)據(jù)移動(dòng)到目標(biāo)存儲(chǔ)時(shí)擴(kuò)展補(bǔ)充數(shù)據(jù)，則需要使用ETL工具。例如，添加時(shí)間戳。

關(guān)于億信華辰

億信華辰是中國(guó)專(zhuān)業(yè)的智能數(shù)據(jù)產(chǎn)品與服務(wù)提供商，一直致力于為政企用戶(hù)提供從數(shù)據(jù)采集、存儲(chǔ)、治理、分析到智能應(yīng)用的智能數(shù)據(jù)全生命周期管理方案，幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)、數(shù)據(jù)智能，已積累了8000多家用戶(hù)的服務(wù)和客戶(hù)成功經(jīng)驗(yàn)，為客戶(hù)提供數(shù)據(jù)分析平臺(tái)、數(shù)據(jù)治理系統(tǒng)搭建等專(zhuān)業(yè)的產(chǎn)品咨詢(xún)、實(shí)施和技術(shù)支持服務(wù)。