熱線電話：13121318867

登錄
首頁精彩閱讀大數據彈性應用開發的八項基本原則
大數據彈性應用開發的八項基本原則
2015-01-28
收藏

大數據彈性應用開發的八項基本原則


大數據應用正在從概念走向現實，而企業在大數據應用開發時，軟件的彈性（Resilient）正在成為決定大數據應用成敗的關鍵因素。彈性差的應用無法應對大規模的數據集，在測試和運營中也缺乏透明度，而且也不安全。
 
避免大數據應用在生產環境中掉鏈子的最佳辦法就是在開發階段就開發彈性應用，例如：魯棒、經過測試、可改變、可審計、高安全、可監控。
 
可以說，開發出彈性大數據應用既是一個技術工作，也是一個哲學問題。Concurrent的Supreet Oberoi近日撰文提出大數據應用開發八大基本原則：
 
一、為彈性大數據應用描繪一個藍圖
 
第一步是為企業大數據應用創建一個系統的架構和方法，要處理什么數據？那些類型的分析最重要？軟件架構需要承載那些指標、審計、安全和運營功能？
 
另外一些需要考慮的問題：那些技術最關鍵？哪些技術只是圖一時之便？你的藍圖需要準確評估當前架構的問題所在。
 
二、數據規模不再是問題
 
如果應用無法處理更大規模的數據集，那么它就缺乏彈性，彈性應用應當能夠處理任意規模的數據集（包括數據深度、廣度、頻度等），數據彈性還只對新技術的兼容，缺乏彈性的應用需要不斷配置修改應用來適應不斷更新的大數據技術，對于企業來說是時間、資源和金錢上的無底洞。
 
三、透明度
 
對于復雜應用來說，查找擴展性等彈性相關問題還很難實現自動化。關鍵是鎖定問題的根源所在：是代碼、數據還是架構抑或網絡問題？并非每個應用都要具備這種透明度，但大一些的平臺應當具備足夠的透明度，讓所有開發者和運營人員都能在問題發生時立刻找到根源并采取措施。
 
一旦發現問題，最為關鍵的是將找到應用行為對應的代碼--最好是通過發現問題的監控應用。大多數情況下，訪問代碼會涉及到多個開發人員，執行起來流程將非常曲折。
 
四、抽象，事關高效和簡潔
 
彈性應用總是面向未來的，通常采用抽象層來簡化開發、提升效率，允許采用不同的技術實現。作為架構的一部分，彈性開發的抽象層能夠避免開發者陷入技 術實現的細節泥潭中。簡潔性則能方便數據科學家使用應用訪問所有類型的數據源。如果沒有抽象技術，產品的生產力會大打折扣，修改成本增高，而用戶則為復雜 性所困擾。
 
五、安全：審計與合規
 
彈性應用能自我審計，能夠顯示誰使用了應用，誰有權限使用，訪問了哪些數據以及政策如何實施。在應用開發階段就將這些功能考慮進去是應對日益增長的大數據隱私、安全、治理和控制挑戰的關鍵所在。
 
六、完整度與測試驅動的開發
 
彈性應用的一個基本要求就是不能遺失任何數據，數據完整性的喪失往往會導致嚴重的后果，例如金融企業會因為程序代碼弄丟了一兩行交易數據而在反洗錢或金融欺詐調查中遭受處罰。
 
七、數據便攜性
 
不斷發展的業務需求驅動技術不斷做出改變，因此，大數據應用也應當能夠在多個平臺和產品上運行。最終的目標是讓最終用戶能夠通過SQL和標準API 訪問數據（無論是否實時）。例如，一個先進的大數據平臺應當允許原本由Hadoop存儲MapReduce處理的數據，轉移到Spark或Tez中進進行 處理，而且這個過程不需要或盡可能少地改動代碼。
 
八、不要搞個人“巫術”
 
大數據應用的開發不應當依賴某個高手的個人才華，代碼應當在多個開發者之間分享、評估和保有。這個策略讓整個團隊，而不是個人，對應用質量負責。


CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

大數據 SQL Hadoop

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇圖論在大數據分析中的作用！
下一篇CDA認證再升一檔！與國家共同推進大數據人才培養標準教育事業！
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢