
人工智能創新有望解決大數據難題
我經常遇到著迷于深度學習、壓縮分類和自動駕駛汽車的數據科學團隊,它們渴望運用當下流行的算法。比如說,我最近在與一家大型金融機構合作,共同加強其網絡安全;我們甚至還沒有開始基本的監控,我團隊中的一名數據科學家就在談論K-均值聚類和神經網絡。
我們要始終記得先要了解問題和機會,然后運用正確的系統或算法。有時候,自學習神經網絡可能是最佳的選擇;而有時候,你得采用經典的技術:專家系統。
專家系統是一種基于規則的引擎,它基于專家們的集體智慧。它是人工智能(AI)領域歷史最悠久的創新之一,實際應用可以追溯到上世紀70年代。
數據科學界經常開玩笑說,專家系統好比是過時的恐龍,它們很有意思,但是就現代應用而言不切實際。我完全不同意,人工智能領域沒有哪一項進步完全取 代得了專家系統的功能和效用。此外,由于專家系統已存在相當一段長的時間,你可以運用久經考驗的最佳實踐。下面是使用專家系統、讓你開始入手的六個最佳實 踐。
1. 征集需求
構建一套專家系統最困難的部分就是,與實際的專家們見面討論。與任何最終用戶見面討論已夠困難了,而你項目需要的那些專家是非常特殊的最終用戶,每個人都想要與之討論。在征集需求之前,要征得管理層的同意,批準你與專家們見面討論。
比如說,我在接觸一家跨國交易處理公司時,整個公司只有五六個人知道交易網絡的內部結構。如果你沒有讓管理層承諾專家到時抽出時間,那么你休想與他們談論15分鐘以上。
2. 進行分析
盡量少花時間在分析上。忍住對專家訪談進行定性分析的沖動,這沒有必要。
專家系統旨在進行自己的分析。艱苦的工作在分析中并不多,難就難在框架的搭建和微調上。在這方面,它類似神經網絡。你的任務就是告訴系統如何思考,然后讓系統為自己處理思考任務。
3. 設計框架
將冗余性(verbosity)設計到你的專家系統框架中。專家系統由兩個基本部分組成:知識庫和推理引擎。知識庫負責存儲關于設計領域的事實,而推理引擎負責將歸納(正向鏈)推理和演繹(反向鏈)推理運用到知識庫中的事實。
這兩個系統都必須精心設計,讓你可以了解專家系統在想什么。你需要非常詳細地了解專家系統知道的情況,以及它如何得出結論。先進系統更側重于采用自然語言界面――這是我支持的一個最佳實踐。
4. 開發系統
開發速度要快。與分析一樣,如果你在開發方面花了大量的時間,那么做法不當。你唯一要開發的東西就是框架(知識庫和推理引擎)。暫時盡量避免編寫程序代碼。
然而,要從長計議。在程序代碼可以取代框架推理的地方構建接口。雖然將程序代碼換成基于框架的推理有悖于大眾的看法,但是一旦規則得到了全面審查,它就是你專家系統的一種實際延伸。程序代碼讓你有機會大大加快執行,這對許多應用程序(比如嵌入式系統)來說更切實際。
5. 訓練系統
不要低估了合理訓練專家系統所需要投入的時間、精力和專家數量。我使用“訓練”這個詞很寬泛――專家系統嚴格上來說并不是一種學習系統。但是,決定 專家系統成敗的卻是領域知識以及它如何進行推理。專家必須是這個過程的一部分,因為一旦饋送了需求征集階段收集的信息,專家就需要微調引擎。
這時候,情況變得有意思起來。讓一個專家解釋過程原本夠難的,更不用說讓一組專家就合適的過程達成共識了。到頭來這是值得的,但是勤奮和耐心在這個階段會給你帶來好處。
6. 改進系統
請專家委員會做以后的審查。一旦你的專家系統部署到位,很難長時間留住你的專家;他們需要定期審查實際的結論,確保你的系統仍盡到作為專家的責任。 事先獲得他們的這種承諾。就像你在需求征集階段那樣征得管理層的同意――可以這么說,專家系統穩定下來后,至少每年每季度你需要一次得到他們的關注。在你 開始動手之前,確保每個人對這個想法意見一致。
結束語
盡管種種新奇的系統和算法涌入數據科學界,但使用一種有幾十年歷史,并久經考驗的解決方案:專家系統根本不會錯。別因為設計的簡潔性而誤以為它過時或無效,事實恰恰相反。
只要你能找到合適的專家,就可以立即搭建起一套專家系統;與此同時,其他數據科學家仍在為壓縮分類絞盡腦汁。掌握了這里給出的幾個要點,以及你自己汲取的經驗教訓,你可能自己都沒意識到,就成了專家系統的專業人士。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25