熱線電話：13121318867

登錄
首頁精彩閱讀數據倉庫的數據追加常用的技術和方法
數據倉庫的數據追加常用的技術和方法
2018-08-21
收藏

數據倉庫的數據追加常用的技術和方法

如何定期向數據倉庫追加數據也是一個十分重要的技術。數據倉庫的數據來自OLTP的數據庫中，問題是如何知道究竟哪些數據是在上一次追加過程之后新生成的。

常用的技術和方法如下：

(1)時標方法：如果數據含有時標，對新插入或更新的數據記錄，在記錄中添加更新時的時標，那么只需根據時標判斷即可。但并非所有的數據庫中的數據都含有時標。

(2)DELTA文件：它是由應用生成的，記錄了應用改變的所有內容。利用DELTA文件效率很高，它避免了掃描整個數據庫，但同樣的問題是生成DELTA文件的應用并不普遍。此外，還有更改應用代碼的方法，使得應用在生成新數據時可以自動將其記錄下來。但應用成千上萬，且修改代碼十分煩瑣，這種方法很難實現。

(3)前后映像文件的方法：在抽取數據前后對數據庫各做一次快照，然后比較兩幅快照的不同從而確定新數據。這種方法占用大量資源，對性能影響極大，因此并無多大實際意義。

(4)日志文件：最可取的技術大概就是利用日志文件了，因為它是DB的固有機制，不會影響OLTP的性能。同時，它還具有DELTA文件的優越性質，提取數據只要局限日志文件即可，不用掃描整個數據庫。當然，原來日志文件的格式是依據DB系統的要求而確定的，它包含的數據對于數據倉庫而言可能有許多冗余。例如，對一個記錄的多次更新，口志文件將全部變化過程都記錄下來；而對于數據倉庫，只需要最終結果。但比較而言，日志文件仍然是最可行的一種選擇。



CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

數據倉庫

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇大數據：分類型數據可視化方法研究報告
下一篇建模準備一定要做的這幾件事
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢