1T數據到底有多大

一英里不是個很長的距離，一立方英里相對于地球也不會讓人覺得是個很大的空間。然后我說，這個空間內能裝下全世界所有人，你會不會覺到很驚訝？不過這話不是我說的，是美國作家房龍在一本書里寫的。

業內有個著名的數據倉庫產品，叫Teradata，20多年前起這個名字，顯然是想給人能處理海量數據的感覺?？涩F在，論用戶還是廠商，談論數據量時都常常以T為單位了，動不動就有幾十上百T甚至PB級的數據。似乎T不是個多大的數，多幾個幾十個T也沒什么大不了的。

其實T有點像上面說的立方英里，是個挺大的數。很多人對它沒有多深的感性認識，我們要換個角度來看1T數據意味著什么。

先從空間上看

用于分析計算的數據仍然以結構化數據為主。結構化數據中占據空間最大的是不斷增長的交易類記錄，這種數據每條并不大，大概只有幾十到100字節，比如銀行交易只要記下帳號、日期、金額；電信的通話記錄也只是通話號碼、時刻、時長等。就按100字節算，也就是0.1K，那么1T空間就可以放下10G行記錄，100億條！

這是什么概念呢？一年大概是3000多萬秒，如果用一年時間來積累1T數據，那意味著每秒要產生300多筆記錄，24小時不停息！

這個數也不算大，像中國這樣的大國，電信運營商、全國級銀行以及大型互聯公司都不難有這種規模的業務量。但對于一個城市級別甚至有些省級的機構就是個不小的數了，比如稅務部門采集的企業交稅信息、連鎖超市的商品購買數據、城市商業銀行的交易記錄等，要達到300筆/秒并不容易，何況很多機構只有白天或工作日才能產生數據。而且這還只是1T，要搞到幾十上百T，那就得讓業務量再上一兩個數量級才行。

簡單說有多少T數據是沒什么感覺的，換算成每秒對應的業務量后，才知道是不是靠譜。大數據分析計算產品的技術方案和數據量相關性非常強，正確估算自己的數據量對于大數據平臺的建設是至關重要的。

如果用來存儲音頻視頻這種非結構化數據， 或者僅僅用于備份原始憑據，那1T空間就存不了多少東西了，但這種數據一般也沒什么要分析計算的需求，只是存儲和檢索，那不需要什么大數據計算平臺，只要有個網絡文件系統就行了，這成本就低多了。

再從時間上看

假設有1T數據，那么要多少時間才能處理一遍？有些廠商宣稱能在數秒內處理TB級數據，用戶經常也這樣期望，這可能嗎？

機械硬盤在操作系統下的讀取數據大概是150M/秒（不能看硬盤廠商那個指標，根本達不到），固態硬盤快些，能翻個倍。我們就算300M/秒，那么1T數據只是讀取不做任何運算也需要3000秒以上，接近一個小時！那怎么可能數秒內處理1T數據呢？很簡單，增加硬盤，如果有1000塊硬盤，那就可以在3秒左右讀出1T數據了。

這還是比較理想的估算。實際上數據不大可能存放著那么整齊（硬盤不連續讀取時性能下降嚴重），集群（1000塊硬盤顯然不會在一臺機器上）還有網絡延遲，有些運算可能還有回寫動作（大分組和排序等），秒級訪問常常還會有并發需求，這些因素綜合起來，再慢幾倍也是正常的。

現在我們知道了，1T數據意味著幾個小時，或者上千塊硬盤。而且還是前面的話，這只算了1T，可想而知幾十上百T會是什么概念了。

有人說，硬盤太慢了，我們改用內存。

內存是比硬盤快得多，而且還適合并行計算。不過大內存的機器并不便宜（成本不是線性增長的），而且更糟糕的是，內存使用率經常很低。比如許多計算體系都是基于Java平臺的，如果不做特別的壓縮優化的話，JVM的內存利用率只有20%的樣子，也就是硬盤上1T數據需要5T內存才能加載進來，這得裝多少機器，花多少錢？

我們對1T有了上面這些感性認識后，聽到多少多少T的說法時，就可以隨時腦補出交易、節點數、成本等信息。做平臺規劃和產品選擇時，就不容易被忽悠了。Teradata這個名字，今天也還不算過時的。

蔣步星，清華大學計算機碩士，著有《非線性報表模型原理》等

1989年中國國際奧林匹克數學競賽團體冠軍成員，個人金牌。

2000年創立潤乾公司，首次在潤乾報表中提出非線性報表模型，完美解決了中國式復雜報表制表難題，目前該模型已經成為報表行業的標準。

2008年開始研發不依賴關系型數據的計算引擎，歷經多個版本后，于2014年集算器正式發布。有效地提高了復雜結構化大數據計算的開發速度和運算效率。

2016年榮獲中國電子信息產業發展研究院評選的“2016年中國軟件和信息服務業 ? 十大領軍人物”。

2017年將帶領潤乾軟件朝著擁有自主產權的非關系型強計算數據倉庫、云數據庫等產品邁進。