
大數據商業智能的十大戒律
不要將數據提取出來,做成數據集市和數據立方,因為“提取”就意味著轉移
記住了,安全即服務。
扁平化會毀掉原始結構中所表達的重要關系。
用戶希望和可視元素進行交互,得到他們正在尋找的答案,而不是對你已經提供給他們的結果進行交叉過濾。
創造數據的人很多,但利用數據的人卻很少。
如今,各路企業和組織都不再使用上一代架構來存儲大數據。既然如此,為什么還要使用上一代商業智能(BI)工具來進行大數據分析呢?在為企業選擇BI工具時,應該遵守以下“十誡”。
轉移大數據代價高昂:畢竟,大數據很“大”,如果打包轉移,負擔太重。不要將數據提取出來,做成數據集市和數據立方,因為“提取”就意味著轉移,會在維護、網絡性能附加處理器方面造成紛亂龐雜的問題,出現兩個邏輯上相同的備份。讓BI深入更底層運行數據就是大數據萌發的最初動力。
安全并非可有可無。不幸的是,數據泄露事件頻繁發生,這表明實現安全并非易事。要選擇能夠利用現有安全模型的BI工具。依靠Ranger、Sentry、Knox等綜合性安全系統,大數據可以使實現數據安全變得更加容易,現在就連Mongo數據庫都有了令人驚嘆的安全架構。所有那些模型都允許你插入權限、將用戶信息一路傳播到應用層、實施可視化的授權和提供與該授權相關的數據志。記住了,安全即服務。
大數據的一個主要好處在于,如果做好了,它就能實現極高的性價比。把5PB數據存儲到Oracle可能會讓你傾家蕩產,但存儲到大數據系統則不會。盡管如此,在付錢購買之前,應該警惕某些價格陷阱。有些BI應用按照數據量或者索引數據量向用戶收費。千萬當心!數據量和大數據使用量出現指數式增長是再平常不過的事情,我們的客戶曾目睹其訪問量在短短幾個月時間里從數百億次猛增到數千億次,用戶數擴大50倍。這是大數據系統的另一個好處:漸進式可擴展性。不要被低價所迷惑,去購買一種會對企業增長征收“高稅”的BI工具。
分享靜態圖表?這些我們已經做過了,無論是PDF文檔、PNG圖片還是電郵附件里,到處都在傳播靜態圖表。但對于大數據和BI,靜態圖表還遠遠不夠:你擁有的一切無非都是些漂亮的圖片罷了。你應該讓任何人都能夠隨心所欲地與你的數據進行交互。應該把可視化看作是駕馭數據的交互式路線圖。為什么要閉門造車呢?將交互式可視化手段公之于眾只是第一步??纯碐ithub的模式就知道。與其說“這是我的最終發布產品”,不如說“這是一幅可視圖,復制下來,分解它,我就是從中得到那些見解,看看它還能用于其他哪些領域”。這會其他人從你的見解中學到有用的東西。
大數據是“非結構化”的,這樣的說法我們已經聽過太多太多。其實不然。財務和傳感器會產生大量的鍵值對。JSON(可能是當下最流行的數據格式)可以是半結構化、多結構化等等,Mongo數據庫對這種數據格式下了重注。JSON具有好處理和可規?;膬烖c,但如果把它轉換成表格,表達力就會丟失。很多大數據仍然被制成表格,通常擁有數千欄。你不得不為所有的值尋找關系:“在那種情況下……從這里選擇這個”。扁平化會毀掉原始結構中所表達的重要關系。遠離那些對你說“請把數據轉換成表格,因為我們一直都這么干”的BI解決方案。
在2016年,我們預計數據處理速度將會變得快起來。一個典型方法是聯機分析處理(OLAP)立方,本質上就是把數據轉移到預計算緩存,從而加快處理速度。問題在于,你必須提取和轉移數據(請看第一誡),以便建造數據立方,然后才能加快速度?,F在,這種方法能夠在一定的數據規模下良好運轉,但如果臨時表格過于龐大,你的筆記本電腦在試圖將表格本地化的時候就會崩潰。當你提取新數據重建緩存時,新數據的分析就會中途停下來。此外還要注意樣本問題,你可能會得到一個看起來不錯、效果很好的可視圖,但最后卻發現全不對路,而問題就出在缺少大局觀。要選擇那些能便捷地不斷調整數據的BI工具。
在很長一段時間里,“獲得數據”意味著獲得報告。在大數據時代,BI用戶希望從多個來源獲得異步數據,這樣他們就不需要刷新任何東西,就好像瀏覽器和移動設備上運行的其他各種東西。用戶希望和可視元素進行交互,得到他們正在尋找的答案,而不是對你已經提供給他們的結果進行交叉過濾。Rails等框架使打造Web應用變得更加簡單。為什么不對BI應用做同樣的事情呢?沒理由不對這些應用、應用程序接口(API)、模板、可重用性等等采取類似的做法?,F在是時候通過現代Web應用開發的透鏡來看待BI。
在提供基于數據的可視圖方面,BI工具已經證明了自己的能力?,F在則輪到在模型和緩存的自動維護上下功夫,這樣一來,終端用戶就不必操這個心了。在龐大的數據規模下,自動維護幾乎是不可或缺的,我們可以從用戶和數據與可視圖的交互中獲得大量信息,現代工具應該使用這些信息來對數據網絡效應加以利用。另外,要選擇那些內置全面搜索能力的工具,因為我曾見過有些客戶擁有成千上萬的可視圖。你需要一種迅速查找的方法,在網絡的長年熏陶之下,我們已經習慣了搜索,而不是翻找菜單。
如今的大數據系統因為預測分析能力而著稱。相關性、預測和其他功能使企業用戶比以往任何時候都能更便捷地進行高級分析。不需要編程經驗就能處理大數據的可視化技術讓分析師如有神助,超越了基本分析的范疇。為了實現其真正的潛力,大數據不應該依賴于每個人都變成R預言程序員。人類非常善于處理可視化信息,我們必須更加努力地將可視化信息呈現在人們眼前。
不管你是把大數據當成數據湖還是企業數據中心,Hadoop已經改變了數據的處理速度和存儲成本,我們每天都在創造更多的數據。但在真正利用大數據為企業用戶服務方面,常常存在一種“只寫系統”——創造數據的人很多,但利用數據的人卻很少。
其實,用Hadoop里的數據可以為企業用戶解答數不清的問題。BI講究的是打造數據可視化應用,為日常決策提供支持。企業里的每個人都希望做出數據驅動的決策。把大數據能夠解答的所有問題局限于需要數據科學家來處理的問題,這是奇恥大辱。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25