熱線電話：13121318867

登錄
首頁精彩閱讀除了Hadoop，其他6個你必須知道的熱門大數據技術
除了Hadoop，其他6個你必須知道的熱門大數據技術
2017-06-13
收藏
你知道新的市場領導者和曾經的領導者之間的關鍵區別是什么嗎?

那就是“數據管理”。任何無法處理數據并將其投入使用的企業，很可能會讓位給那些能夠更好處理數據的。

事實上，大數據和其流動性的力量能促使企業發展。

大數據是大量數據的術語。由于數據的來源渠道眾多，導致其太多樣，太龐大，傳統技術難以處理。這使得利用技術和基礎設施對其進行有效處理十分重要。

這些數據必須通過計算來分析，以揭示模式和趨勢，從而有助于市場和推廣活動。

以下是一些企業機構利用大數據的例子:

? 政府組織通過緊跟社交媒體的動向，從而了解新疾病的出現和爆發的信息。
? 石油和天然氣公司將鉆探設備與傳感器集成在一起，以確保安全和促進更有效的鉆探。
? 零售商緊跟網絡點擊動向，并識別行為趨勢來從而改進廣告活動。

下面，讓我們來看一下目前可以促進商務的流行大數據技術:

1. Apache Spark
Apache Spark 作為大型數據處理的最快和通用的引擎，具備流媒體、機器學習、圖形處理和 SQL 支持的內置模塊。它支持所有重要的大數據語言，包括 Python、Java、R 和 Scala。

它補充了 Hadoop 最初出現的主要意圖。數據處理中的主要關注點是速度，所以需要減少查詢間的等待時間和運行程序所需的時間。

盡管 Spark 被用來加速 Hadoop 的計算軟件過程，但它并不是后者的擴展。實際上，Spark 使用 Hadoop 有兩個主要目的——存儲和處理。

用例: Apache Spark 對旨在實時跟蹤欺詐性交易的公司來說是一大福音，例如，金融機構、電子商務行業和醫療保健。假設你的錢包丟了，同時信用卡被盜刷了一大筆錢，那么該技術可以幫助你及時掌握卡被盜刷的時間和地點。

2. Apache Flink
如果你知道 Apache Spark 和 Apache Hadoop，那么你很可以也聽過 Apache Flink 。Flink 是由德國柏林工業大學的 Volker Markl 教授創建的一個社區驅動開源框架。在德語中，Flink 的意思是“敏捷的”，具有高性能和極其精確的數據流。

Flink 的功能受到 MPP 數據庫技術(如聲明性、查詢優化器、并行內存、外核算法)和Hadoop MapReduce 技術(如大規模擴展、用戶定義函數、閱讀模式)等功能的啟發。

3. NiFi
NiFi 是一種強大且可拓展的工具，它能夠以最小的編碼和舒適的界面來存儲和處理來自各種數據源的數據。這還不是全部，它還可以輕松地不同系統之間的數據流自動化。如果 NiFi 不包含你需要的任何源，那么通過簡潔的 Java 代碼你可以編寫自己的處理器。


NiFi 的專長在于數據提取，這是過濾數據的一個非常有用的手段。由于 NiFi 是美國國家安全局的項目，其安全性也是值得稱道的。

4. Kafka
Kafka 是必不可少的，因為它是各種系統之間的強大粘合劑，從 Spark，NiFi 到第三方工具?？梢詫崿F高效的數據流實時處理。Kafka 具有開放源碼，可水平伸縮，有容錯能力，快速安全的特點。

作為一個分布式系統，Kafka 存儲消息在不同主題中，并且主題本身在不同的節點上進行分區和復制。

當 Kafka 最初是建立在 LinkedIn 的分布式消息系統，但如今是 Apache 軟件基金會的一部分，并被成千上萬的公司使用。

用例: Pinterest（照片分享網站，堪稱圖片版的Twitter） 使用 Apache Kafka。該公司建立了名為 Secor 的平臺，使用 Kafka、Storm 和 Hadoop 來進行實時數據分析，并將數據輸入到 MemSQL 中。

5. Apache Samza
Apache Samza 主要目的是為了擴展 Kafka 的能力，并集成了容錯、持久消息、簡單 API、托管狀態、可擴展、處理器隔離和可伸縮的特性。

它使用 Apache Hadoop YARN 用于容錯，同時使用 Kafka 進行通訊。因此，可以說它是一個分布式流處理框架。它還提供了一個可插入的 API 來運行 Samza 和其他通訊系統。

6. Cloud Dataflow
Cloud Dataflow 是谷歌的云數據處理服務，它集成了基于批處理和流數據處理任務的簡單編程模型。


使用這個工具，無需擔心操作任務，包括性能優化和資源管理。通過其完全托管的服務，可以動態地提供資源以保持較高的利用率，同時使延遲最小化。

同時通過其統一編程模型方法，無需擔心編程模型轉換成本的。這種方法有助于批量和連續的流處理，使其易于表達計算需求，同時無需擔心數據源。

結論

大數據生態系統不斷發展，新技術頻頻出現，其中許多技術進一步發展，超出了 hadoop - spark 集群。這些工具可以用來確保與安全和管理的無縫工作。

數據工程師需要利用這些工具來提取、清理和設置數據模式，以幫助數據科學家徹底地探究和檢查它們，并構建模型。

ref：

https://hackernoon.com/x-popular-big-data-technologies-that-you-must-know-813452f610b


原文來自 Cabot Technology Solutions
編譯 CDA 編譯團隊
本文為  CDA 數據分析師原創作品，轉載需授權



CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

Kafka Hadoop 大數據 Flink SQL 數據分析 spark 機器學習

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇圖論在大數據分析中的作用！
下一篇CDA認證再升一檔！與國家共同推進大數據人才培養標準教育事業！
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢