將大數據變成可管理的數據

大數據是無所不在的，因為它可以提供有價值的洞察力，如果沒有它是不可用的。然而，分析大數據集可能會產生問題。首先，大數據是大規模的，有時太大，不能通過常用的分析工具有效地處理。日前，美國麻省理工學院計算機科學與人工智能實驗室和以色列海法大學的研究人員已經開發了一個解決方案，將大數據變成可管理的數據。

通常使用諸如低秩近似，奇異值分解，主成分分析和非負矩陣分解的數據分析工具來減少數據集中的變量的數量。不幸的是，在大量大數據集上使用這些工具通常太費時，不實用。
　　解決這個問題的典型解決方案包括為大數據集找到一個核心集。核心集是大數據的一個子集，用于保留大數據最重要的數學關系。數據分析工具可以更有效地與coreet工作，因為它更小。

如果要進行兩個或多個數據分析，則進行查找可能是一個問題，因為從大數據中提取核心集，每個分析工具都有自己唯一的方法。在分析中比較結果，將涉及比較來自不理想的不同核心的結果。研究團隊通過開發一種用于提取可由大量常用數據分析工具使用的核心集的通用方法來解決這個問題。
　　假設工作人員想要識別在一個巨大的文本數據庫（如維基百科）中最常出現的主題。低秩近似是一種將完成這項工作的算法，但維基百科數據庫非常大，因此，采用低秩近似將花費太長的時間來完成任務。
　　維基百科數據庫有多大？想象一下，在維基百科中每一篇文章都有一行的矩陣或表格，以及在維基百科中出現的每個單詞的列。該矩陣將有140萬篇的文章和440萬列的單詞。這是一個約6.2萬億個單元格的表格，平均分配到地球上每個人，每人約為821個單元格。這的確是一個大數據。
　　研究人員的解決方案使用高級類型的幾何知識來將這個巨大的數據集縮減為更易于管理的核心集。想象一下，通過一個二維的具有長和寬的矩形就很容易處理?，F在添加第三個維度，深度。也很容易想象這是一個盒子，現在添加第四個維度，時間。我們稱之為時空，但它不是那么容易想象?，F在添加兩個或三個更多的維度，并想象它的外觀。
　　人們無法想象這些多維空間看起來像什么，但是可以采用幾何知識描述。為了縮小維基百科矩陣，研究人員使用了一個叫做超循環的多維圓，它有440萬個維度，可以表達維基百科中出現的每個單詞一個。維基百科中的140萬篇文章中的每一篇都表示為這個超循環上的唯一點。
　　研究人員如何將超循環收縮成更易于管理的東西？維基百科中的440萬列單詞的每一個都由一個變量表示，維基百科中的每篇文章都由這些440萬個變量的唯一的一組值表示。研究者的超循環技術涉及一次獲取一篇文章，并找到其440萬個變量的一小部分的平均值，例如50個變量。最好保留變量之間的數學關系的平均值可以通過計算表示50個變量或單詞的這個小得多的50維超循環的中心來找到。然后將平均值作為coreet中的一個數據點輸入。而對每篇文章中的剩余變量（單詞）和140萬篇文章中的每一篇重復這個過程。
　　使用此方法將大數據維基百科矩陣縮減為核心集需要大量的單獨計算，但每個計算都可以非?？焖俚貓绦?，因為它只涉及50個變量。其結果是一個核心集，它保留了大數據中存在的重要的數學關系，并且足夠小，可以被各種數據分析技術有效地使用。
　　超循環技術的真正核心在于這種品種。該技術創建了一個核心集，可以被許多數據分析工具使用，這些工具通常應用于計算機視覺，自然語言處理，神經科學，天氣預報，推薦系統等。甚至人們可能認為超循環，都是他們所有規則的一環。