數據分析的主要內容仍是結構化計算_數據分析師

日常業務中會出現各種各樣的數據分析問題，但究其本質，其主要內容仍然是結構化數據的計算。比如：

• 指定時間段，計算各營業網點的月銷售額比上期和同期比。

   實現思路：對銷售數據按時間段過濾，再按照營業網點、年、月進行三級分組匯總，最后進行跨行組的有序計算。

• 找出收盤價連續增長超過10天的股票。

   實現思路：將日交易數據按照股票分組，組內按照日期排序，計算出股價的增長額，計算出連續正增長的天數，過濾出連續正增長超過10天的股票。

• 將合同信息、付款信息等不同來源的數據關聯到項目付款進度中，并找到逾期未付款的項目。

   實現思路：首先進行異構數據源之間的關聯計算，之后進行分組匯總，最后進行過濾。

   可以看到，這些日常數據分析問題大都可以分解為結構化數據的過濾、分組、匯總、排序、排名、關聯等算法。

   當然，偶爾也會出現模型或預測類的數據分析問題，比如：找出哪些商品之間存在較高的相關度，預測哪只股票將會上漲等等。這類算法需要的數學知識太多，日常工作人員一般不會掌握。這種分析在數據分析事務中非常重要，但并不是日常數據分析的主要內容。

   日常數據分析的主要內容仍是結構化數據計算，因此很多工具都支持此類計算，比如：R語言、Python、SQL、集算器等。

   R語言提供有dataframe數據類型，支持結構化數據計算。但R語言的設計初衷是進行科學數據的統計分析，重點在于矩陣和向量的計算，因此在結構化數據計算方面缺乏專業性。

   事實上，dataframe只是R語言新增的功能，模型預測類的算法才是R語言的重點，比如：回歸分析regression analysis、方差分析ANOVAanalysis、一致性評估Agreementevaluation、貝努利分布Bernoulli distribution等等。這些算法在日常數據分析中很少用到。

   Python有第三方函數庫pandas，支持結構化數據的計算。但Pandas的設計目標仍然是科學數據的統計分析，而不是結構化數據的計算，因此在這方面并不專業。和R語言類似，Pandas的功能也是圍繞模型和預測展開的，在日常數據分析中很少用到。

   可以看到，支持結構化數據計算的工具雖然不少，但專業的并不多，算來算去，還是老牌計算語言SQL更專業。

   SQL的設計目標是純粹的結構化數據計算，專業性更強，而且應用面非常廣。

   但是對于日常分析來講，SQL也存在不足之處，比較突出的是：應用環境復雜、不擅長有序計算。SQL的安裝部署、維護管理非常復雜。SQL數據集本身缺乏序號，因此在有序計算方面存在天生的短板，比如同期比、比上期、相對區間取數、分組中的排名、分組中取前后幾名等等這些是日常數據分析中常見的問題，開頭提到的幾個例子也大多和有序計算相關，用SQL可以解決此類問題，但難度較大。

   集算器的設計目標是純粹的結構化數據計算，這一點和SQL類似。

   相對來講，集算器的應用環境比較簡單，安裝部署毫無難度。集算器支持從數據庫取數，也可以直接讀取Txt、日志、Excel中的結構化數據。另外，集算器的序表天生具有序號，器可以輕松上面提到的有序計算。不過集算器在外存計算和內存計算的語法不，需要更新另一種寫法，不如SQL語法的一致性好。