熱線電話:13121318867

登錄
首頁精彩閱讀細數大數據行業的四大誤區
細數大數據行業的四大誤區
2016-10-20
收藏

細數大數據行業的四大誤區

大數據這個詞,恐怕是近兩年IT界炒的最熱的詞匯之一了,各種論壇、會議,言必談大數據,“大數據”這個詞,在IT界已經成了某果一樣的“街機”或者叫“街詞”,不跟風說兩句“大數據長,大數據短”都不好意思跟人說自己是搞IT的。從某種程度來講,大數據這個“圈”太亂了,一點不比“貴圈”好。

先從概念上來說,大數據是什么?其實數據處理從人類誕生時期就有了,古人結繩記事就是基本的統計,統計自己吃了幾頓飯打了幾次獵等等;再往近說,皇帝每晚翻嬪妃的牌子也是數據處理,在翻牌子之前,要從一大堆牌子里分析“方便”、“熱度高”、“新鮮度”等指標;更近的說,數據倉庫早在大數據這個詞出現前就已經成熟發展了好幾十年了。所以說,大數據并不新鮮,只是某些技術如Hadoop、MR、Storm、Spark發展到一定階段,順應這些技術炒出來的概念,但是這些概念都基于一個基本的理念“開源”,這個理念是之前任何階段都沒有過,可以節省費用提高效率,所以大家才都往這個行業里扔火柴(話說現在很多人跟風亂炒,個人認為也不是壞事)。

誤區一:只有搞大數據技術開發的,才是真正“圈內人”。

筆者曾經參加過若干會議,70%是偏技術的,在場的都是國內各個數據相關項目經理和技術帶頭人,大家討論的話題都是在升級CDH版本的時候有什么問題,在處理Hive作業的時候哪種方式更好,在Storm、Kafka匹配時如何效率更高,在Spark應用時內存如何釋放這些問題。參會者都一個態度:不懂大數據技術的人沒資格評論大數據,您要不懂Hadoop 2.0中的資源配置,不懂Spark在內存的駐留時間調優,不懂Kafka采集就別參加這個會!對了,最近Google完全拋棄MR只用Dataflow了,您懂嗎?不懂滾粗!

在這里我想說,技術的進步都是由業務驅動的,某寶去了IOE才能叫大數據嗎,我作為一個聾啞人按摩師用結繩記事完成了對于不同體型的人,用什么按摩手法進行全流程治療,就不叫大數據分析了嗎?技術發展到什么程度,只有一小部分是由科學家追求極致的精神驅動,大部分原因是因為業務發展到一定程度,要求技術必須做出進步才能達成目標的。

所以,真正的大數據“圈內人”至少要包含以下幾種人:

1.業務運營人員。 比如互聯網的產品經理要求技術人員,必須在用戶到達網站的時候就算出他今天的心情指數,而且要實現動態監測,這時候只能用Storm或者Spark來處理了;比如電信運營商要求做到實時營銷,用戶進入營業廳的時候,必須馬上推送短信給用戶,提示他本營業廳有一個特別適合他的相親對象(呈現身高、三圍、體重等指標),但是見面前要先購買4G手機;再比如病人來到銀行開戶,銀行了解到用戶最近1周曾經去醫院門診過兩次,出國旅游過3次,帶孩子游泳兩次,馬上客戶經理就給客戶推薦相關的銀行保險+理財產品。這些業務人員,往往是驅動技術進步的核心原因。

2.架構師。 架構師有多么重要,當一個業務人員和一個工程師,一個說著業務語言,一個說著技術術語在那里討論問題的時候,工程師往往想著用什么樣的代碼能馬上讓他閉嘴,而架構師往往會跳出來說“不,不能那樣,你這樣寫只能解決一個問題并且會制造后續的若干問題,按照我這個方案來,可以解決后續的若干問題!”一個非技術企業的IT系統水平,往往有70%以上的標準掌握在架構設計人員手里,盡管很多優秀的架構師都是從工程師慢慢發展學習而來的,IT架構的重要性,很多企業都意識到了,這就是很多企業有CTO和CIO兩個職位,同樣重要!架構之美,當IT系統平穩運行的時候沒人能感受到,但是在一個煙囪林立、架構混亂的環境中走過的人眼中,IT開發一定要架構現行,開發在后!

3.投資人。老板,不用說了,老板給你吃穿,你給老板賣命,天生的基礎資料提供者,老板說要有山便有了山,老板說要做實時數據處理分析,便有了Storm,老板說要做開源,便有了Hadoop,老板還說要做迭代挖掘,便有了Spark……

4.科學家。他們是別人眼中的Geek,他們是別人眼中的高大上,他們是類似于霍金一樣的神秘的早出晚歸晝伏夜出的眼睛男女,他們是驅動世界技術進步的核心力量。除了世界頂級的IT公司(往往世界技術方向掌握在他們手中),其他公司一般需要1-2個科學家足以,他們是真正投身于科學的人,不要讓他們去考慮業務場景,不要讓他們去考慮業務流程,不要讓他們去計算成本,不要讓他們去考慮項目進度,他們唯一需要考慮的就是如何在某個指標上擊敗對手,在某個指標上提高0.1%已經讓他們可以連續奮戰,不眠不休,讓我們都為這些科學家喝彩和歡呼吧。在中國,我認為真正的大數據科學家不超過百人…

5.工程師。工程師是這樣一群可愛的人,他們年輕,沖動,有理想,又被人尊稱為“屌絲”“鍵盤黨”,他們孜孜不倦的為自己的理想而拼搏,每次自己取得一點點進步的時候,都在考慮是不是地鐵口的雞蛋灌餅又漲了五毛錢。他們敏感,自負,從來不屑于和業務人員去爭論。工程師和科學家的不同點在于,工程師需要頻繁改動代碼,頻繁測試程序,頻繁上線,但是最后的系統是由若干工程師的代碼組合起來的。每個自負的工程師看到系統的歷史代碼都會鄙視的發出一聲“哼,這垃圾代碼”,之后便投入到被后人繼續鄙視的代碼編寫工作中去。

6.跟風者。他們中有些是培訓師,有些是殺馬特洗剪吹,有些是煤老板有些是失足少女。他們的特點就是炒,和炒房者唯一不同的就是,他們不用付出金錢,他們認為只要和數據沾邊就叫大數據,他們有些人甚至從來沒碰過IT系統,他們是渾水摸魚、濫竽充數的高手,他們是被前幾種人鄙視的隱形人。不過我想說,歡迎來炒,一個行業炒的越兇,真正有價值的人就更能發揮自己的作用。

誤區二:只有大數據才能拯救世界

大數據目前的技術和應用都是在數據分析、數據倉庫等方面,主要針對OLAP(Online Analytical System),從技術角度來說,包含我總結的兩條腿:一條腿是批量數據處理(包括MR、MPP等),另一條腿實時數據流處理(Storm、內存數據庫等)。在此基礎上,部分場景又發現MR框架或實時框架不能很好的滿足近線、迭代的挖掘需要,故又產生了目前非?;鸬幕趦却鏀祿幚鞸park框架。很多企業目前的大數據框架是,一方面以Hadoop 2.0之上的Hive、Pig框架處理底層的數據加工和處理,把按照業務邏輯處理完的數據直接送入到應用數據庫中;另一方面以Storm流處理引擎處理實時的數據,根據業務營銷的規則觸發相應的營銷場景。同時,用基于Spark處理技術集群滿足對于實時數據加工、挖掘的需求。

以上描述可以看出,大數據說白了就是還沒有進入真正的交易系統,沒有在OLTP(Online Transaction system)方面做出太大的貢獻。至于很多文章把大數據和物聯網、泛在網、智慧城市都聯系在一起,我認為大數據不過是條件之一,其余的OLTP系統是否具備,物理網絡甚至組織架構都是重要因素。

最后還想說,大數據處理技術,再炫如Google的Dataflow或成熟如Hadoop 2.0、數據倉庫、Storm等,本質上都是數據加工工具,對于很多工程師來說,只需要把數據處理流程搞清楚就可以了,在這個平臺上可以用固定的模版和腳本進行數據加工已經足夠。畢竟數據的價值70%以上是對業務應用而言的,一個炫詞對于業務如果沒有幫助,終將只是屠龍之術。任何技術、IT架構都要符合業務規劃、符合業務發展的要求,否則技術只會妨礙業務和生產力的發展。

隨著時代變遷,大浪淘沙,作為數據行業的一員,我們每個人都在不同的角色之間轉換,今天你可能是科學家,明天就會變成架構師,今天的工程師也會變成幾年后的科學家,部分人終將步入跟風者的行列。

誤區三:數據量特別大才叫大數據

在“數據界”存在這樣有一波人,他們認為“只有Peta級以上的才叫大數據,甚至到了Zeta以上才叫大數據,目前還沒有到真正的大數據時代!”,每次聽到這樣的話,我就知道這些人受IOE某巨頭的4V理論中的“容量”影響太巨大了。對此,我想說的第一句話是“盡信書不如無書,盡信巨頭不如去IOE”,去IOE不只是要從硬件做起,還要從思想上敢于挑戰巨頭做起,盡管很多IT界的經典理論都是傳統巨頭提出的,但是隨著挑戰者的出現,萌發了新的思想和技術后,傳統巨頭會被慢慢顛覆,這也是我們人類前進向前的一個重要因素。如果我們還停留在迷信巨頭的時代,如此刻板教條的去追求一個概念,那么就不會有現在的Hadoop,不會有現在的Spark,不會有現在的特斯拉,不會有機器學習人工智能,更不會有未來的第N次工業革命。 首先我想強調,大數據技術真的不是一個新鮮詞,在之前的文章中我已經說過,大數據的本質還是數據,數據這個行業已經發展了若干年,而數據量的規模永遠是超出該時代的想象的,比如十幾年前,一張軟盤的數據量也就1.44M,當時的數據如果達到1T都讓旁人咂舌。那么按數據量的標準,當時如果有人收集了1T數據就已經進入大數據時代了嗎?顯然不是!所以我想說,數據量的大小并不是衡量大數據的標準,如果按數據量去判斷是否大數據的話,那么“大數據”這個詞真的是一個偽命題, 就如同“老虎比如是老的,小伙必須是小的,巨頭必須是腦袋大的,飛人必須是長翅膀的”這種純粹字面意思去定義的話題一樣。 那么再回過來說,大數據的概念是什么?首先,大數據是一個完整的生態體系,從數據的產生、采集、加工、匯總、展現、挖掘、推送等方面形成了一個閉環的價值鏈,并且通過每個環節的多種技術處理后,為所在業務場景提供有價值的應用和服務。其次,大數據的核心是什么?一方面是開源,一方面是節流, 目前大數據技術的核心目標都是通過低成本的技術更好的滿足對數據的需求(尤其是處理近年來更多的非結構化數據),并在滿足需求的基礎上盡可能多的為企業節省投資。說一千道一萬,大數據的核心理念還是滿足應用需求,有明確目標的技術叫生產力,沒有業務目標的技術叫“浪費生命力”。

誤區四:為了大數據而大數據

這個誤區我認為是目前最嚴重的。在部分企業中,追求技術一定要最新、最好、最炫,一定要拿到國際先進、世界一流才行。所有的企業,不分行業不分性質不分地域 不分年代,一律高喊“趕超BAT,大數據助力**企業達到**目標”,接下來就是先去IOE,然后投資買集群,把之前的各種高性能小型機大型機都不用了,之前買的O記授權全部停了,之前的幾十年投資一夜之間作廢,又投入了更多的資源去追趕“大數據”。

同學們,這種勞民傷財的事情相信大家每天都會聽到或者親眼看到,很多企業不計成本就是為了博領導一笑,這得是多么大的誤區啊。對此我想說: 第一,從技術上來說,比如BAT或者很多互聯網企業去追求大數據,是因為業務發展的需要。任何一個互聯網企業一出生就是為了流量和點擊而活著,這就意味這大量的非結構化數據需要進行快速處理,這時候就決定了互聯網企業只能通過一些并發手段去分解底層的數據,然后進行快速加工,并滿足其服務用戶和市場的需要?;ヂ摼W企業的業務流程和業務模型就決定了必須得采用大數據技術。反之,很多企業根本用不著這些技術,有些企業簡單的一兩個Excel文件里面做幾個公式就可以滿足它的發展,而且數據的周期還是按月處理的,根本不需要運用這些技術。 第二,從投資上來說,互聯網企業出生都是平民,根本買不起大型設備,就算一夜暴富后,也沒有一個傳統的小型機大型機可以更好的滿足它們的發展,故只能另辟蹊徑創造價值鏈和標準了,在之前的低投資、輕量級架構上,不斷進行小量的線性硬件投資滿足業務的發展。反倒是一些傳統企業,甚至是巨無霸,其投資計劃已經在一年前明確,而且在原來的基礎上投資會更有ROI(投資回報率),現在反倒為了追求大數據的口號,犧牲了之前的大量投資,除了“得不償失”,剩下的只能是滿地的節操了。

大數據技術甚至任何一種技術都是為了滿足特定的業務目標而生的,在具備了明確的業務目的后,順勢設計符合自身業務架構的技術架構,才是一種科學的健康的發展觀。如果您是一位老板、 CEO或者投資人,千萬要明白,大數據技術對于企業來說,有時候像水,而企業的業務目標就是那艘船,“水能載舟,亦能覆舟”。 隨著生產關系的不斷調整,又會出現若干輪生產力的不斷進步,大數據之后的技術也會日新月異的進步著,比如現在開始潮流涌現的“機器學習、深度學習”等諸多的人工智能 方面的技術,也出現了比如“小數據”、“微數據”等更細方向技術的細分,在技術的洪流到來時,只要保持清晰的以滿足業務為導向的頭腦,根據自身的業務需要 設計自身的技術架構,就不會被各種流派,各種概念淹沒。

數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢