實施數據挖掘項目考慮的問題

問題一 
  談到數據挖掘應從以下三方面加以考慮，一是用數據挖掘解決什么樣的商業問題，二是為進行數據挖掘所做的數據準備，三是數據挖掘的各種分析算法。 

數據挖掘的分析算法主要來自于以下兩個方面：統計分析和人工智能（機器學習、模式識別等）。數據挖掘研究人員和數據挖掘軟件供應商，在這一方面所做的主要工作是優化現有的一些算法，以適應大數據量。另外需要強調的是，任何一種數據挖掘的算法，不管是統計分析方法、神經元網絡、各種樹分析方法，還是遺傳算法，沒有一種算法是萬能的。不同的商業問題，需要用不同的方法去解決。即使對于同一個商業問題，可能有多種算法，這個時候，也需要評估對于這一特定問題和特定數據哪一種算法表現好。

做數據挖掘研究的人，往往把主要的精力用于改進現有算法和研究新算法上。人們都知道數據準備是必不可少的一步，但很少有人去真正花時間和精力去研究。其實數據挖掘最后成功與失敗，是否有經濟效益，數據準備起到了至關重要的作用。數據準備包含很多方面：一是從多種數據源去綜合數據挖掘所需要的數據，保證數據的綜合性、易用性、數據的質量和數據的時效性，這有可能要用到數據倉庫的思想和技術；另一方面就是如何從現有數據中衍生出所需要的指標，這主要取決于數據挖掘者的分析經驗和工具的方便性。

眾所周知，SQL是廣泛用于數據庫查詢的語言，有很多數據挖掘軟件提供商利用SQL來為數據挖掘做數據準備，但就筆者多年來的分析經驗和同其他專家探討感覺到，SQL在很多時候有些力不從心，因為數據挖掘和分析的一些算法通常要求數據具有一定的格式和規范性。

還需要強調的一點是，人們通常把數據挖掘工具看得過份神秘，認為只要有了一個數據挖掘工具，就能自動挖掘出所需要的信息，就能更好地進行企業運作，這是認識上的一個誤區。其實要想真正做好數據挖掘，數據挖掘工具只是其中的一個方面，同時還需要對企業業務的深入了解和數據分析經驗。一個企業要想在未來的市場中具有競爭力，必須有一些數據挖掘方面的專家，專門從事數據分析和數據挖掘工作。再同其他部門協調，把挖掘出來的信息供管理者決策參考，最后把挖掘出的知識物化。在國內的企業中，還很少有決策人員認識到這一點。如果管理者沒有這方面的意識，數據挖掘和數據分析就很難發揮應有的作用，很容易走向兩個極端，一是認為數據挖掘沒有用處，二是開始認為數據挖掘是萬能的。如此得到的結果往往與初始期望相去太遠。

- 問題二

1.超大規模數據庫和高維數據問題； 

2.數據丟失問題；

3.變化的數據和知識問題；

4.模式的易懂性問題；

5.非標準格式的數據、多媒體數據、面向對象數據處理問題；

6.與其他系統的集成問題；

7.網絡與分布式環境下的KDD問題。

8.個人隱私問題

當然數據挖掘也會帶來一些社會問題，其中最敏感的要屬個人隱私問題。當消費者感覺到他們的個人信息被非授權使用、濫用甚至出賣時，他們會感到他們的個人隱私受到了嚴重侵害。例如，在西方有的警察為了防止來自罪犯的報復，往往要注意保守自己家庭地址和電話號碼不被泄露，但當他的新生嬰兒在醫院出生后，醫院可能會將相應的信息出賣給專營新生兒用品或服務的公司，使他全然失去安全感。也許當你用信用卡為你妻子的婦科診療付費后，你會回家后收到來自保險公司的婦科保險征訂單、來自廠商的婦科保健用品廣告等，你會如何感受？正是由于這種狀況，在有些發達國家，許多人認為政府和商業機構對他們個人的事知道得太多了，為此，他們寧可放棄使用信用卡消費。