數據倉庫架構設計的一點概念

1、數據倉庫所處環節

在一個成體系、結構化的數據應用場景下，數據和處理有四個層次： 操作層、數據倉庫層、部門/數據集市層、個體層。

操作層

操作層是指為具體業務提供實時響應的各個業務系統，比如常見的訂單系統、ERP、用戶中心等等具體業務系統，這些系統中的數據一般都是存入關系型數據庫。它們是數據的來源。

數據倉庫

數據倉庫收集操作層各個業務系統中的數據，進行統一格式、統一計量單位，規整有序地組織在一起，為數據分析、數據挖掘等需求提供數據支持。

數據集市

部門/數據集市層是各個部門根據自己的數據分析需求，從數據倉庫中抽取自己部門所關心的數據報表。

個體層

個體層中的不同角色個體有讀取不同數據的權限。

2、數據倉庫概念

數據倉庫是一個面向主題的、集成的、非易失的、隨時間變化的，用來支持管理人員決策的數據集合，數據倉庫中包含了粒度化的企業數據。

面向主題的

數據倉庫不同于傳統的操作型系統，傳統的操作型系統中的數據是圍繞功能進行組織的，而數據倉庫是針對于某一個主題進行分析數據用的，比如針對于銷售主題、針對于客戶主題等等。

集成的

不同產品或者系統中的數據是分散在各自系統中的，并且格式不一致、計量單位不一致。而數據倉庫必須將多個分散的數據統一為一致的、無歧義的數據格式后，并解決了命名沖突、計量單位不一致等問題，然后將數據整合在一起，才能稱這個數據倉庫是集成的。

隨時間變化的

數據倉庫要體現出數據隨時間變化的情況，并且可以反映在過去某一個時間點上數據是什么樣子的，也就是隨時間變化的含義。而傳統的操作型系統，只能保存當前數據，體現當前的情況。

非易失的

非易失是指：數據一旦進入數據倉庫，就不能再被改變了，當在操作型系統中把數據改變后，再進入數據倉庫就會產生新的記錄。這樣數據倉庫就保留了數據變化的軌跡。

3、一般架構

1、 STAGE層

業務系統的數據接入到數據倉庫時，首先將業務數據倉儲到STAGE層中，Stage層作為一個臨時緩沖區，并屏蔽對業務系統的干擾。 
STAGE層中的表結構和數據定義一般與業務系統保持一致。 
Stage中的數據可以每次全量接入也可以每次增量接入，一般都有會數據老化的機制，不用長期保存。 
Stage的數據不會對外部開放。

2、 ODS層

ODS才是數據倉庫真正意義上的基礎數據，數據是被清洗過的，ODS層的數據是定義統一的、可以體現歷史的、被長期保存的數據。 
ODS層的數據粒度與Stage層數據粒度是一致的。 
Stage層中的數據是完全形式的源數據，需要進行清洗才能進入ODS層，所以說ODS層是數據倉庫格式規整的基礎數據，為上層服務。

3、 MDS層

MDS是數據倉庫中間層，數據是以主題域劃分的，并根據業務進行數據關聯形成寬表，但是不對數據進行聚合處理，MDS層數據為數據倉庫的上層的統計、分析、挖掘和應用提供直接支持。 
MDS層的數據也可以執行一定的老化策略。

4、 ADS層

ADS層是數據倉庫的應用層，一般以業務線或者部門劃分庫。這一層可以為各個業務線創建一個數據庫。 
ADS層的數據是基于MDS層數據生成的業務報表數據，可以直接作為數據倉庫的輸出導出到外部的操作型系統中（MySQL、MSSQL、Hbase、Elasticsearch等）。

5、 DIM層

DIM層是數據倉庫數據中，各層公用的維度數據。比如：省市縣數據。

6、 ETL調度系統

對接入數據倉庫的數據進行清洗、數據倉庫各層間數據流轉都需要大量的程序任務來操作，這些任務一般都是定時的，并且之間都是有前后依賴關系的，為了能保證任務的有序執行，就需要一個ETL調度系統來管理。

7、 元數據管理系統

描述數據的數據叫做元數據，元數據信息一般包括表名、表描述信息、所在數據庫、表結構、存儲位置等基本信息，另外還有表之間的血緣關系信息、每天的增量信息、表結構修改記錄信息等等。 
數據倉庫中有大量的表，元數據管理系統就是用來收集、存儲、查詢數據倉庫中元數據的工具，這個系統為數據使用方提供了極大的便利。

4、設計的兩個重要問題1、 粒度

粒度是指數據倉庫中數據單元的細節程度或綜合程度的級別。粒度會深刻地影響數據量的大小以及數據倉庫的查詢能力。 
細節程度越高，粒度級別就越低，查詢就越靈活；相反，細節程度越低，粒度級別就越高。 
雙重粒度： 
雙重粒度是存儲兩個粒度下的數據：一個是全量的細節數據；另一個是輕度綜合的數據。

2、 分區

數據分區是指把數據分散到可獨立處理的分離物理單元中去。恰當地進行分區可以給數據倉庫帶來多個方面的好處： 
(1) 數據裝載 (2) 數據訪問 (3) 數據存檔 (4) 數據刪除 (5) 數據監控 (6) 數據存儲