大數據中的職業和工作角色-綜合指南1

本文章將介紹大數據的職業和工作角色，幫助您了解大數據的需求，大數據的市場趨勢，從新手到經驗豐富的專業人士聘請大數據專業人士的各種公司，以及大數據中的不同檔案，以便在像Hadoop開發人員，Hadoop管理員，Hadoop架構師，Hadoop測試人員和大數據分析師，以及他們在不同大數據配置文件中所需的角色和職責，技能和經驗。

2.大數據職業和工作角色簡介

每秒都會生成大量數據，如果每天都收集到這些數據，則會導致每天生成2.5個數據字節的數據。

這些數據的90％是在過去兩年中產生的，這導致了數據的巨大爆炸。您可以想象，從成立之日到最近2年，數據生成僅占全球可用數據總量的10％。因此，數據生成是隨時間呈指數而非線性的。

因此，我們已經看到了各種數據來源以及每天產生的數據量，我們可以得出結論，這些數據正在以每年40％的復合率增長。如果我們計算到2020年將產生的總數據，那么大約45 ZB將顯示大數據的增長情況，并將成為未來幾年中要求最苛刻的技術。這將為大數據專業人士提供一個非常光明的未來。

MarketsandMarkets的一項研究估計，到2017年底，Hadoop和大數據分析市場預計將達到139億美元。

Hadoop工作不僅由IT公司提供，而且所有類型的公司都在招聘高薪Hadoop候選人，包括金融公司，零售組織，銀行，醫療保健組織等.Hadoop開發人員工作和Hadoop管理工作對初創公司的需求很大正在將Hadoop直接構建到他們的業務計劃中。EMC公司，蘋果公司，Facebook，谷歌公司，甲骨文公司，Hortonworks公司，IBM公司，微軟公司，思科公司等公司在印度的幾乎所有城市都有多個Hadoop職位，包括Hadoop開發人員，Hadoop測試人員，Hadoop架構師和Hadoop管理員。大多數需求在班加羅爾，浦那，孟買，海德拉巴，欽奈，新德里和NCR。

被問到的最常見的問題之一是“Hadoop中可用的各種工作是什么”。以下是各種Hadoop作業說明的簡要概述。

3. Hadoop開發人員

Hadoop開發人員的工作職責是根據系統設計編寫程序，并且必須對編碼和編程有相當的了解。Hadoop開發人員的任務類似于軟件開發人員，但在大數據領域。Hadoop開發人員的工作還包括理解并致力于提出問題解決方案，設計和架構以及強大的文檔編制技能。

Hadoop開發人員的角色和職責

定義工作流程

管理和查看Hadoop日志文件

通過Zookeeper進行集群協調服務

通過調度程序管理Hadoop作業

支持在Hadoop集群上運行的MapReduce程序

Hadoop開發人員所需的技能：

編寫Pig Latin Scripts和HiveQL的專業知識

經驗證的工作流程/調度程序，如Oozie

能夠處理Flume和Sqoop 等數據加載工具

Hadoop開發人員配置文件所需的經驗

從行業專家那里學習Hadoop

0-5歲

Hadoop開發人員簡歷必須融合上述技能，由在印度和國外招聘Hadoop開發人員的公司選擇并獲得大量Hadoop開發人員薪水。有關Cloudera的Hadoop開發人員認證的更多詳細信息，請訪問Cloudera認證課程的詳細信息。

4. Hadoop架構師

Hadoop架構師的工作職責是設計系統應該如何工作，然后管理Hadoop解決方案的整個生命周期。他必須具備在Cloudera，HortonWorks和MapR等流行的Hadoop分發平臺上工作的主題專業知識和交付經驗。

Hadoop Architect角色和職責

設計技術架構和應用程序定制

進行必要的需求分析

進行擬議解決方案設計的部署

Hadoop Architect需要的技能

深入了解Hadoop架構和HDFS，包括YARN

Hive, Pig

Java MapReduce

HBase的

Hadoop架構師配置文件所需的經驗

8年以上

Hadoop架構師簡歷必須融合上述技能，以便在印度和國外招聘Hadoop架構師的公司選擇。

5. Hadoop管理員

Hadoop管理作業職責與系統管理員作業類似。Hadoop管理員角色和職責包括設置Hadoop集群，備份，恢復和維護。Hadoop管理員需要熟悉硬件系統和Hadoop架構。

Hadoop管理員角色和職責：

HDFS維護和支持

Hadoop集群規劃和篩選

跟蹤所有連接和安全問題

設置新的Hadoop用戶

Hadoop管理員所需的技能：

深入了解Hbase

親身體驗Oozie，HCatalog，Hive

Linux環境中強大的腳本編寫技巧

Hadoop管理員個人資料所需的經驗

0-5歲

Hadoop管理員簡歷必須融合上述技能，以便在印度和國外招聘Hadoop管理員的公司選擇。

6. Hadoop測試人員

Hadoop測試人員的工作職責是確保所設計的流程與組織所需的流程保持同步。他的主要職責是在Hadoop應用程序中查找和修復錯誤。

Hadoop Tester角色和職責

主要職責包括在程序中進行故障排除和查找缺陷，并將其報告給Hadoop開發人員以采取糾正措施

報告Hadoop / Pig / Hive組件中的所有正面和負面測試用例

Hadoop Tester所需的技能

測試JUnit，MRUnit框架的知識

了解Java以測試MapReduce作業

親手了解Hive, Pig

Hadoop測試人員配置文件所需的經驗

0-5歲

Hadoop測試員簡歷必須結合上述技能，由在印度和國外招聘Hadoop測試人員的公司選擇。

7. Hadoop分析師

Hadoop分析師的工作職責是分析大量數據，并提出公司可以用來改進的見解。

Hadoop分析師的角色和責任

使用腳本語言從可用數據中開發新見解

根據不同的假設進行A / B測試，以影響不同的關鍵績效指標

Hadoop Analyst所需的技能

親手了解Hive, Pig

深入了解Flume知識和SQL命令

希望這些能給大家一個清楚的認知觀，