大數據時代下的生活_數據分析師

最近幾年IT都成長在一個大數據的環境下，大家動不動就要分布式，想想就搞大數據。有的網站明明訪問量幾臺普通的服務器就可以搞定，非要弄分布式，掛著云計算的名字，卻做著屌絲的事情。

　　雖然，大環境如此，但是為了沾上這種高大上的氣息，也著手看一下這方面的書。

　　剛剛看完《大數據時代》這本書，感覺收獲也蠻多的。習慣性的整理了一下書籍的思維導圖

 　　這本書是國外人寫的，但是內容上還比較符合國內目前的環境，畢竟國內的大數據發展起步還是要晚一點的。

　　個人吐槽

　　就從法律這方面來說，感覺國內的個人隱私方面法律就不怎么看重，因此即便某些軟件或者網站侵犯了用戶的個人隱私，用戶也極少會采取一定的措施。況且很多網站或者軟件在不顯眼或者讓人不在意的地方使用了 聲明許可......簡直是推卸責任的最佳方案。

　　就這點來說，書中提倡，不應該采用個人許可這種類似的手段來避免大數據的使用責任，而是應該由使用方來承擔責任。

　　這樣，使用數據的人就會在使用過程中，去了解什么地方可能觸犯了用戶的隱私，什么地方可能會讓用戶陷入尷尬的困境，從而使用模糊化或者匿名化的手段來避免。

　　模糊化就是不給出數據的具體內容，只是粗略的描述。

　　而匿名化就好理解了，就是隱藏掉用戶的關鍵信息。

　　就目前的互聯網公司，也有很多公司根本不注重這種細節，就我特別反感的一點來說：

　　京東目前應該說是互聯網產業很火的一個產品了...由于它的東西很多都是京東自營的，質量上總是感覺比淘寶要有保障。因此，我買東西能在京東上買，就絕對不會去淘寶。但是京東的購物歷史，卻很是讓人尷尬！

　　比如下面這些標紅的地方，是購物的評價區

 　　點擊上面的用戶名，就直接可以看到這個人的消費歷史。當然這個歷史記錄是可以關閉，不顯示的。但是默認上來都是開啟的，一般用戶也不會在意。但是如果查看某XX斯這種尷尬的產品，查看其用戶，就可以發現很多有意思的購物歷史。

　　這里就當做一個吐槽吧！這雖然不是什么大數據，購物歷史應該說是簡單的歷史數據了。但是這也算是泄露了用戶的隱私吧。

　　大數據流程

　　其次呢，我們目前的這種生活環境，每天會產生大量的數據，這些數據利用好了，可以為我們進行一定的數據可視化，分析或者預測出生活中一些即將發生，我們有意去關注的事情。

　　因此好壞參半，大數據的使用還要看具體來做什么。

　　總的來說，其中的商機以及潛在的機會都是非常大的，如何有效的搜集數據，如何有效的利用分析數據才是目前最應該關注的事情。

　　大體上無非都是這些步驟：

　　1 數據一般都是某些應用的記錄，或者消息

　　2 有了數據，需要對數據進行有效的采集，存儲，查詢。

　　這里就涉及到 一定的技術了，采集需要對業務進行分析，在有效的地方進行記錄。存儲需要考慮數據的增長量，或者安全性，是否會由于龐大的數據而存不存下，是否會因為某些 故障而漏掉信息，這個時候就要高一些分布式存儲之類的了。最后的查詢，可能會設計到一些搜索啊，MapReduce之類的。

　　3 數據已經有了，就要對數據進行分析了。這一塊基于某些業務肯定有不同的搜集方法，具體看業務而定吧。

　　4 數據的用途：既可以采取數據的可視化進行數據的直觀展現，也可以利用數據進行一些趨勢動向的分析預測，還可以進行某些特定預測的預警等等。

　　大數據的時代，重要的是數據的搜集，相關的技術，以及如何使用這些數據。

　　以上的博文，純屬個人的無聊記錄與吐槽，設計到某些互聯網的公司的部分，也是純屬希望能夠做得更好。

　　正如書中的最后一句話，凡是過去，皆為序曲。

　　個人理解，過去的歷史數據可能就直接丟掉了，但是現在我們應該利用這些數據，去做更有價值的事情。

最近幾年IT都成長在一個大數據的環境下，大家動不動就要分布式，想想就搞大數據。有的網站明明訪問量幾臺普通的服務器就可以搞定，非要弄分布式，掛著云計算的名字，卻做著屌絲的事情。

　　雖然，大環境如此，但是為了沾上這種高大上的氣息，也著手看一下這方面的書。

　　剛剛看完《大數據時代》這本書，感覺收獲也蠻多的。習慣性的整理了一下書籍的思維導圖

 　　這本書是國外人寫的，但是內容上還比較符合國內目前的環境，畢竟國內的大數據發展起步還是要晚一點的。

　　個人吐槽

　　就從法律這方面來說，感覺國內的個人隱私方面法律就不怎么看重，因此即便某些軟件或者網站侵犯了用戶的個人隱私，用戶也極少會采取一定的措施。況且很多網站或者軟件在不顯眼或者讓人不在意的地方使用了 聲明許可......簡直是推卸責任的最佳方案。

　　就這點來說，書中提倡，不應該采用個人許可這種類似的手段來避免大數據的使用責任，而是應該由使用方來承擔責任。

　　這樣，使用數據的人就會在使用過程中，去了解什么地方可能觸犯了用戶的隱私，什么地方可能會讓用戶陷入尷尬的困境，從而使用模糊化或者匿名化的手段來避免。

　　模糊化就是不給出數據的具體內容，只是粗略的描述。

　　而匿名化就好理解了，就是隱藏掉用戶的關鍵信息。

　　就目前的互聯網公司，也有很多公司根本不注重這種細節，就我特別反感的一點來說：

　　京東目前應該說是互聯網產業很火的一個產品了...由于它的東西很多都是京東自營的，質量上總是感覺比淘寶要有保障。因此，我買東西能在京東上買，就絕對不會去淘寶。但是京東的購物歷史，卻很是讓人尷尬！

　　比如下面這些標紅的地方，是購物的評價區

 　　點擊上面的用戶名，就直接可以看到這個人的消費歷史。當然這個歷史記錄是可以關閉，不顯示的。但是默認上來都是開啟的，一般用戶也不會在意。但是如果查看某XX斯這種尷尬的產品，查看其用戶，就可以發現很多有意思的購物歷史。

　　這里就當做一個吐槽吧！這雖然不是什么大數據，購物歷史應該說是簡單的歷史數據了。但是這也算是泄露了用戶的隱私吧。

　　大數據流程

　　其次呢，我們目前的這種生活環境，每天會產生大量的數據，這些數據利用好了，可以為我們進行一定的數據可視化，分析或者預測出生活中一些即將發生，我們有意去關注的事情。

　　因此好壞參半，大數據的使用還要看具體來做什么。

　　總的來說，其中的商機以及潛在的機會都是非常大的，如何有效的搜集數據，如何有效的利用分析數據才是目前最應該關注的事情。

　　大體上無非都是這些步驟：

　　1 數據一般都是某些應用的記錄，或者消息

　　2 有了數據，需要對數據進行有效的采集，存儲，查詢。

　　這里就涉及到 一定的技術了，采集需要對業務進行分析，在有效的地方進行記錄。存儲需要考慮數據的增長量，或者安全性，是否會由于龐大的數據而存不存下，是否會因為某些 故障而漏掉信息，這個時候就要高一些分布式存儲之類的了。最后的查詢，可能會設計到一些搜索啊，MapReduce之類的。

　　3 數據已經有了，就要對數據進行分析了。這一塊基于某些業務肯定有不同的搜集方法，具體看業務而定吧。

　　4 數據的用途：既可以采取數據的可視化進行數據的直觀展現，也可以利用數據進行一些趨勢動向的分析預測，還可以進行某些特定預測的預警等等。

　　大數據的時代，重要的是數據的搜集，相關的技術，以及如何使用這些數據。

　　以上的博文，純屬個人的無聊記錄與吐槽，設計到某些互聯網的公司的部分，也是純屬希望能夠做得更好。

　　正如書中的最后一句話，凡是過去，皆為序曲。

　　個人理解，過去的歷史數據可能就直接丟掉了，但是現在我們應該利用這些數據，去做更有價值的事情。CDA數據分析師培訓官網